複数マイクロホン間の時刻・サンプリングレート同期
マイクロホンアレイ構成するマイクロホンの位置校正
複数マイクロホンアレイの位置、向き、時刻校正
もう一つは,5Gの普及を念頭に,MEC(Multi-access Edge Computing)用の音処理フレームワークの構築を行っています。MECを用いれば,今までクラウドで行っていた処理をある程度までであれば,IoTデバイスの近くで処理できるため,遅延の低下が期待できます。しかし、どの処理をIoTデバイス内で行い,どの処理をMECデバイスで行い,どの処理をクラウドで行うかは,アプリケーションによる部分が大きいので,ロボット聴覚の様々機能を実行するデバイスをアプリケーションに併せて,自由に選択し,システム設計できるようなフレームワークの構築を目指しています。
MEC を対象とした柔軟性の高い音響処理IoTフレームワーク構築
過去の研究例
HRI-JPと行った周囲にマイクロホンを埋め込んだタブレットのデモ.市販のタブレットでマイクロホンアレイ,すなわちHARKの機能を用いることができるようになり,聴覚障がい者をサポートしたり,多言語のコミュニケーションをサポートしたりするツールが構築できます。
HRI-JPと行った車載情報システムへの適用デモ。一般的な音声認識機能付きカーナビは発話前に必ずボタンを押す必要があります。ボタンを押すと,流れていた音楽がミュートされ,エアコンの風量が小さくなり,ピッっというビープ音がなります。このビープ音がなる前に発話を開始してしまうと音声認識機能がうまく動作しません。しかし,HARKを用いれば,音楽騒音下でもエアコンの風量が大きくても頑健に認識が可能になります。プッシュボタンレスのみならず、運転席と助手席の両方の人に対応できる音声認識機能付きカーナビが実現できます。