IoTと組込みデバイス

ロボット聴覚技術の有望な応用はIoTや組込みデバイスです.組込みデバイスについては,ICTやモビリティへの応用を目指して,HRI-JPと共同で研究を進めてきました。例えばHRI-JPが開発元となり,現在システムインフロンティア社から超薄型のプロセッサボードを利用した,マイクロホンアレイ付きのタブレットデバイス,複数人対話機能搭載カーナビシステムの研究開発を行ってきました。また,ロボット聴覚技術をクラウドサービス化し,議論解析サービスを提供しているスタートアップ(ハイラブル社)も登場しています。

 

研究室では,現在,大きくに2つのテーマの研究を行っています。一つは,センサーネットワークの研究の一種であり,マイクロホンもしくは,マイクロホンアレイがIoTデバイスとして用いた場合の各デバイスのキャリブレーションです。一般に複数のマイクロホンやマイクロホンアレイを統合する場合,各マイクロホンアレイの位置や向きといった情報が必要となりますが,これをいちいち手動で計測せず,自動で推定する研究です。

 



もう一つは,5Gの普及を念頭に,MEC(Multi-access Edge Computing)用の音処理フレームワークの構築を行っています。MECを用いれば,今までクラウドで行っていた処理をある程度までであれば,IoTデバイスの近くで処理できるため,遅延の低下が期待できます。しかし、どの処理をIoTデバイス内で行い,どの処理をMECデバイスで行い,どの処理をクラウドで行うかは,アプリケーションによる部分が大きいので,ロボット聴覚の様々機能を実行するデバイスをアプリケーションに併せて,自由に選択し,システム設計できるようなフレームワークの構築を目指しています。

 

MEC を対象とした柔軟性の高い音響処理IoTフレームワーク構築

過去の研究例

HRI-JPと行った周囲にマイクロホンを埋め込んだタブレットのデモ.市販のタブレットでマイクロホンアレイ,すなわちHARKの機能を用いることができるようになり,聴覚障がい者をサポートしたり,多言語のコミュニケーションをサポートしたりするツールが構築できます。

 

HRI-JPと行った車載情報システムへの適用デモ。一般的な音声認識機能付きカーナビは発話前に必ずボタンを押す必要があります。ボタンを押すと,流れていた音楽がミュートされ,エアコンの風量が小さくなり,ピッっというビープ音がなります。このビープ音がなる前に発話を開始してしまうと音声認識機能がうまく動作しません。しかし,HARKを用いれば,音楽騒音下でもエアコンの風量が大きくても頑健に認識が可能になります。プッシュボタンレスのみならず、運転席と助手席の両方の人に対応できる音声認識機能付きカーナビが実現できます。

主要論文

Back to Top