顔データを含んだコミュニケーション解析に役立つ、コーパスをNEDOと東京電機大が公開：非言語情報も分かる

　グループディスカッション時の発言に加え、顔の表情、腕の上がり下がり具合といったジェスチャー、視線などのデータを収録した。

　従来のコーパスでは個人の顔データを含めることができなかったが、今回作成したコーパスでは実験協力者の同意を得て、コミュニケーション行動の分析に重要な要素となる表情や視線などの顔データも取り込んだ。

センサーから引き出せる情報と議論の内容との関係（出典：NEDO）

どうやって情報を集めたのか

　ディスカッションの様子は6台のカメラで撮影した。内訳は、個人の振る舞いを正面から観察するカメラが3台、ディスカッションの様子全体を撮影するカメラが1台、360度のパノラマ映像を撮影するカメラが1台、天井から着座位置や顔の向きを撮影するカメラが1台である。複数のカメラで同時撮影しており、多方向からコミュニケーションを観察できる。

　映像の撮影と同時に、各人に取り付けたヘッドセットマイクによる音声も収録した。参加者個々の発言を個別に分析できる。

　さらに、加速度と角速度のセンサーを参加者の頭部と胸部、両腕部の計4カ所に装着して、体の動きや姿勢などのデータも収録した。

　NEDOは、2017年から「次世代人工知能技術の社会実装に関するグローバル研究開発」の先導研究テーマの一つとして、東京電機大学と共同で、次世代AIの深層学習に使う大量データを収集、整理し、時系列分析技術の確立とデータへの注釈付けの半自動化を目指したプロジェクトに取り組んでいる。

　東京電機大学は同プロジェクトで、カメラやセンサーを使って学生の行動を詳細に把握することで、行動とコミュニケーションスキルとの因果関係を科学的に抽出し、コミュニケーションスキル向上に役立てるための基本技術の確立を目指した研究を行っている。