AI coordinator

人工知能 & ロボティクス

© AI coordinator All rights reserved.

20177/22

Pepperのカメラ映像からリアルタイムで物体検出する方法

Pepperのカメラからリアルタイムに物体検出してみる

以前からチャレンジしてみたかったPepperに搭載されているカメラ映像からの物体検出にチャレンジしてみたので、その内容の紹介になります。

物体を検出できるPepperができれば、その情報から次のアクションを起こすことが可能になるため、Pepperの使用用途が飛躍的に上がるのではないかと考えています。

さらに、リアルタイム映像をPCに映し出すことができればPepperの遠隔操作も可能になるので、さらに使用用途を広げることができるようになります。

Pepperからの映像取得に興味がある方はぜひチャレンジしてみてください。

 

開発環境

MacBook Pro(13-inch,2016)

プロセッサ 2.9 GHz intel Core i5

ubuntu 16.4 LTS

python 2.7.12

OpenCV 3.2.0

pynaoqi-python2.7-2.5.5.5-linux64

Pepper実機

 

今回はubuntuで開発しています。

これは単純にOpenCVがインストールし易かったからです。

macでanacondaなしにOpenCVをインストールすると、なぜかうまくインストールできなかったためです。

anaconda環境ですとPython SDK(pynaoqi-python2.7-2.5.5.5-linux64)が使えませんしね。

 

 

Pepperのカメラを使用しますので、バーチャルペッパーでは確認できません。

Pepper実機での確認になりますので、お持ちでない方はアトリエ秋葉原で試してみてください。

 

参考にさせて頂いたサイト

GitHubのソースコードを参考にさせて頂きました。

こちらのソースコードはPepperのカメラ映像をPCに出力するソースコードになっています。

 

物体検出するソースコード

今回はOpenCVのカスケードファイルを使って人の顔を検出してみました。

OpenCVのカスケードファイルを使った物体検出方法については、以下の記事を参考にしてください。

OpenCVで簡単リアルタイム物体検出

 

以下ソースコードです。

PepperのIPアドレスとカスケードファイルのパス指定を間違えないようにして頂ければ、以下のソースコードそのままで動くと思います。

 

成功すれば、以下の画像のようにPeperのカメラで顔を識別できるようになります。

 

注意点

何度か接続し直していると、カメラ映像を取得できなくなります。

おそらく、unsubscribeメソッドを実行せずにプログラムを終了させることで発生するような気がするのですが、videoDevice.unsubscribe(‘test’)メソッドでビデオモジュールの登録を解除してもエラーが出続けてしまうことがあります。

その場合は、Pepper実機を再起動してください。(これがまた時間がかかる・・・)

 

今後の目標

今回、PepperでOpenCVを使ったリアルタイム映像からの物体検出ができるようになったので、今後はDeepLearning(ディープラーニング)で作成した学習モデルで特定の物体を検出できるようにチャレンジしていきたいと思います。

 

それができるようになれば、例えば人探しをするPepperを作成することだって可能になります。

 


その他のPepperアプリ記事はこちらから

 

それではまた

関連記事

  1. この記事へのコメントはありません。

  1. この記事へのトラックバックはありません。

20176/21

カメラ映像からの物体検出

PC内蔵カメラから自分の顔の物体検出をやってみる ほとんど筆者の備忘録的な内容になります。 色々な映像や画像からの物体検出をチャレン…

Watsonと連携したPepper:Visual Recognitionで画像が分析できるPepper開発

PepperでWatson API「Visual Recognition」を使ってみよう Pepperに搭載してあるカメラから、今映し出し…

映像からの物体検出(SSD_Keras)に挑戦 for ubuntu

映像からの物体検出 リアルタイム映像からの物体検出に挑戦してみました。 ただし簡単にはできず、色々ハマってえらく苦労したので、同じ悩…

Tensolflowで映像からの美人女優顔検出学習モデルの見直し

以前の記事で紹介したモデルが使い物にならなかった 以前紹介したリアルタイム映像からの美人女優検出で作成した学習モデルは、とりあえず学習モデ…

20173/11

Pepperコントローラー for Python

PythonでPepperコントローラーを作成 Pepperを簡単に動かせるPepper用コントローラーをPythonで作成してみましょう…

20173/3

Pepper用Python 2.7 SDK(MAC)セットアップ方法

コレグラフを使用しなくてもPepperを動かせるPython 2.7 SDKセットアップ方法 MAC編 プログラムソースをバリバリ記述しな…

Deep Learningを活用したChatBotをKerasで実装してみよう

Deep Learningを活用したChatBot Kerasを使ったChatBotの作成に挑戦したので、環境準備も含めて紹介します。 …

Watson APIを活用した英訳するPepperコントローラー

Python GUIを使ってWatson APIを使用したペッパー用コントローラーの作成方法 Watson APIの「LanguageTr…

Watson VisualRecognition を Python GUIで使ってみよう

Watson API 「VisualRecognition」をPythonで使ってみよう Watson API「VisualRecogni…

Watosn Speech to Text をPythonで使ってみよう

Watson APIのSpeech to TextをPythonで実装してみましょう WatsonのSpeech to textを使用する…

ページ上部へ戻る