レーザーポインタ指示情報に基づく会議コンテンツの協調的提示手法の提案

PDF
大平 茂輝
名古屋大学エコトピア科学研究所
長尾 確
名古屋大学情報メディア教育センター

1 はじめに

ディスカッションマイニングは,人間同士の知識交換の場であるミーティングの活動から,映像・音声情報やテキスト情報,メタデータなどの実世界情報を獲得し,それらを半自動的に構造化することによって,そこから再利用可能な知識を抽出する技術である

本研究では,会議コンテンツを図に示す環境下において半自動的に生成している.会議コンテンツには,発言者名,発言タイプ,発言テキスト,議論構造,同意スタンス,スライド情報,発表者/発言者/スクリーン映像,レーザーポインタ情報などが含まれ,それらは時間情報とともに構造化され議事録として保存される.

ディスカッションルーム

図1: ディスカッションルーム

2 レーザーポインタ指示情報

会議コンテンツにおける発言箇所の指示方法には,発言中にレーザーポインタを用いてスクリーン上を直接指示する方法と,暗黙的に指示箇所を継承するなどしてレーザーポインタを利用しない方法の2通りがあり,本研究では前者による指示情報を用いる.

2.1 レーザーポインタ情報の抽出

スクリーン映像を記録するカメラとレーザーポインタを検出するカメラの2台を用意し,レーザーポインタ検出用のCCDカメラは,明るさ補正,露光時間,撮影感度,絞りのパラメータを事前に調整している.また,レーザーポインタは,ビーム形状(ドット/サークル)の切替とダイヤルによるサークル径の変更が可能なタイプを利用している.予備実験により,スライド背景色によるポインタ検出精度への影響は認められないことから,スライド背景色に対する制約はない.

レーザーポインタのリアルタイム検出には,赤色濃度値に対する30fpsのフレーム間差分を利用して,ポインタの出現開始・終了時間と検出区間における軌跡の最大領域を取得する.

のようにスクリーンに対して扇状に配置される座席でレーザーポインタを使用する場合,照射角度が検出精度に大きく影響する.ドット照射の場合,座席位置に関係なく80%程度の正解精度であるが,サークル照射(スクリーン上で直径10cm程度)の場合,図に示すように,照射角度が大きくなるにつれて検出精度が大きく低下する.そこで,フレーム単位の検出結果を前後1秒間の代表点とみなし,1秒間の窓長に対してスムージングをかけることで,図のように精度を改善している.

座席位置とポインタ検出精度の関係

図2: 座席位置とポインタ検出精度の関係

窓長1秒間でスムージング後の検出精度

図3: 窓長1秒間でスムージング後の検出精度

2.2 スライドアニメーション情報との連携

本研究では,PowerPoint の利用を前提としており,スライドタイトルを除くテキスト・図のすべてにアニメーション設定が施されているものとする.専用のプレゼンテーションツールを用いることにより,各アニメーションの出現時間とテキスト内容は自動的に取得され,スクリーン映像の解析によりスライド中のアニメーション領域が検出される.

レーザーポインタによる指示内容の同定には,これらスライドアニメーション情報を利用する.

3 会議コンテンツの協調的な提示手法

本研究では,発表者と参加者間の議論の過程において,発言内容がスクリーン上のどの部分を指しているのかを協調的に提示することにより,深い内容理解を促しインタラクティブな視聴を支援することを目指す.

構造化された会議コンテンツを効果的に提示する一手法として,レーザーポインタによる指示情報を活用する.具体的には,会議コンテンツに含まれる,スライド情報,発言者名,発言タイプ,発言テキストと,レーザーポインタの検出領域を,映像の再生に合わせて協調的に提示する(図).

会議コンテンツの協調的提示

図4: 会議コンテンツの協調的提示

「いつ,誰が,スクリーン(スライドやデモ画面)上のどの部分に対して,どのような意図で,発言しているのか」という情報を,会議コンテンツの視聴者に対して分かりやすく提示することが目的である.

電子的な議論札とボタンデバイスによって,発言がいつ誰によって行われたものであるかは自動的に記録される.またその発言内容は,書記によって記録される.発言の具体的な意図までは現在のところ扱っていないが,我々は,議論全体を議論セグメントの集合と捉え,個々の議論セグメントは議論への導入発言に始まり複数の継続発言によって構成されると仮定した.そこで,個々の発言を「導入」「継続」という2種類の議論札を用いて自動的に構造化している.

スクリーン上の部分要素に関する情報は,機械処理の精度に左右される.すなわち,スライドあるいはデモ画面中のレーザーポインタ検出領域が最低限の情報である.スライドの場合には,スライド中のアニメーション領域がより細かな部分要素となる.さらにアニメーションがテキストを含む場合には,検出領域に相当するテキストが部分要素となる.

4 今後の課題

レーザーポインタの用途にはいくつかのタイプがあり,言及箇所を直接的に指示するだけでなく,特定の文や文字列を必ずしも意図せず曖昧に指示したり,複数の指示箇所間の関連性を示したり,○×などの図形を描くことなどが挙げられる.当然,多少のノイズも含まれると考えなければならない.

これら異なる用途タイプを一様に扱い混同することは,会議コンテンツに対する視聴者の理解に多大な影響を与えることになる.そのため,検出されたレーザーポインタ情報をより詳細に分析することによって,用途タイプを分類し,情報の提示・非提示を機械的に判断可能にする必要がある.またレーザーポインタの使い方には個人性も現れると考えられる.

今後は,レーザーポインタで指示する部分要素に含まれる情報の検出精度向上とともに,レーザーポインタ利用の意図理解ならびに個人性の抽出に取り組み,視聴者の理解を促進するような会議コンテンツの提示手法を検討したいと考えている.