映像アノテーションを獲得・管理する講義コンテンツ共有システム

PDF
山本 大介
名古屋大学 大学院情報科学研究科
増田 智樹
名古屋大学 大学院情報科学研究科
大平 茂輝
名古屋大学 エコトピア科学研究所
長尾 確
名古屋大学 情報メディア教育センター

1 はじめに

映像アノテーションの獲得と利用を主な目的とした講義コンテンツ共有システムを開発した.講義コンテンツとは,講義映像とその関連資料(講義に利用したスライドなど)からなるコンテンツであり,講義の閲覧やレポート作成,質問掲示板などに関する支援機能を備える.さらに,ユーザが容易にアノテーションを作成できる環境を用意することによって,講義コンテンツの意味構造化を支援する.

映像コンテンツに対するアノテーションに関する既存の研究としてSynvieがある.Synvieは, ユーザが一般的なWebブラウザを用いてコンテンツを閲覧し,容易にコンテンツの内容に対する感想や評価などの情報の関連付けを支援する仕組みや引用の仕組みを持ち,映像コンテンツに対するアノテーションの獲得を容易にすることができる.ただし,講義コンテンツのように映像と同期する資料には対応できない,幅広い映像コンテンツを対象とするため 一定時間間隔に分割した単位を仮想的なショットとしているなど構造化が不十分, アノテーションを意味的に高度にするために、オントロジーに基づくアプローチがあるがオントロジーを利用できない,などの問題点がある.また,アノテーションに基づく応用として,アノテーションを基にしたビデオシーン検索システムを開発し、その有用性が検証されている

本稿では,講義コンテンツの構造化と,受講者によるアノテーションのための仕組みを提案する.

2 講義コンテンツの構造化

講義コンテンツの高度利用を実現するためには,講義コンテンツを意味構造化する必要がある.まず,講義コンテンツの作成時に取得される情報を用いて講義コンテンツの構造化を行い,次に講義コンテンツの意味付けを行う.

2.1 講義コンテンツの記録

本システムが想定する講義は,講演者が予め用意したPowerPointのスライドの内容に従って行う講義である.必要な機材は,音声と映像を同時に記録可能なカメラ1台と講演者用PC1台だけであり,講義映像を記録する上で最小限のシステム構成で動作する仕組みである. この構成で可能な限り講義情報の構造化に役立つ情報の取得を目指す.

そこで,講演者のスライド操作情報を記録する常駐ソフトウェアとしてPPRecを開発した.PPRecは現在講演者用PCで表示されているスライドの切り替え時に,1)ファイル名,2)スライドページ番号,3)アニメーション番号,4) スライドタイトル,5)スライドショー中か否か,6)現在時刻を順次記録していく.これらの情報を用いることによって,複数ファイルのスライドの操作状況を正確に記録することが可能になる. スライド切り替え時やスライド内のアニメーションの操作時を講義内容の意味的な切れ目と見なし,講義情報を構造化する.なお,スライドショー中ではない時は,講演者によるデモや黒板を用いた講義などを行っていると見なす.

さらに,専用のポインターを用いることによって,講義中にスライド内を指した情報も記録することができる.

2.2 講義コンテンツの構造化

獲得された情報に基づき,図1で示すように,2段階で講義コンテンツを構造化する.1段階目は,スライドの切り替えタイミングに基づいて構造化する.2段階目は,アニメーションの操作タイミングに基づいて構造化する.2段階目のセグメント情報は補助的なものであり,必ずしも講義の意味的な切れ目とは限らないが,意味的なセグメント候補として利用する.

これらの構造のセグメント単位で,講義コンテンツを構造化する.ただし,必ずしもこれらのセグメント単位が意味を記述する上での最少単位とは言えないため,複数のセグメントを統合して新たに意味単位として定義する仕組みとツールの作成も検討している.

講義コンテンツの構造

図1: 講義コンテンツの構造

また, 任意のコンテンツの任意のセグメントを指し示すことのできる柔軟な表現形式としてElementPointerの仕組みを利用した.

3 講義コンテンツに対するアノテーション

次に,講義コンテンツの要素に対してアノテーションを付与する仕組みを提案する. 具体的には,講義コンテンツの要素と,ユーザのレポートの要素や質問掲示板のコメントを関連付けることによって,暗黙的にアノテーションの獲得を試みる.

3.1 基本機能

講義コンテンツに対するアノテーションを付与するために必要な機能要件は,1)講義コンテンツの任意の要素に容易にアクセス可能である,2)簡単な操作で部分引用が可能である,3)閲覧のためのインタフェースと編集やアノテーションのためのインタフェースが一つの画面で完結している,4)複数の引用に関する編集が同時にできる,であると考えた.これらの要件を満たすことによって,ユーザにとってストレスの少ないインタフェースが実現できると思われる.これらの要件を満たす具体的なインタフェースを図2に示す.

画面左側が閲覧のためのインタフェースである.講義映像と同期してスライドが閲覧できるだけではなく,スライド単位でのシークや,スライドショー履歴から任意のスライド要素に直接シークすることが可能である. これにより,容易にスライドの任意の要素に移動可能である.

画面右側が編集のためのインタフェースである. 機能切り替えタブによって,複数の編集システムを統合し,切り替えながら操作することが可能である.また,講義映像もしくはスライド画像からサムネイル画像を作成し,それらのサムネイル画像をドラッグアンドドロップすることによって,講義コンテンツの要素を引用することが可能である.

画面例

図2: 画面例

3.2 編集システム

映像コンテンツに対する意味的情報を取得するために,映像コンテンツを編集するためのツールを開発した.

1つは,講義コンテンツを部分引用したレポートの編集ツールである.ユーザは,本ツールを用いて,講義コンテンツの任意の要素をドラッグアンドドロップで引用可能であり,それらの箇所についてコメントを執筆可能である.より講義内容に即したレポートが作成できると同時に,引用箇所と対応するコメント部分を獲得することによって,そのコメントが講義コンテンツに対するアノテーションとしても間接的に利用可能である.

同様な考え方で,質問機能付き掲示板や,Wikiツール等も開発可能である.これらのユーザの編集活動を通じてアノテーションを獲得できる仕組みである.

しかしながら,これによって獲得できるアノテーションは口語的な文章であり,必ずしも内容を的確に表現したコメントであるとは限らない.また引用の目的によっても,アノテーションとしての効果は変わってくると考えられる.将来的には,これらのユーザから獲得したアノテーションを取捨選択し,より良いアノテーションを作成する仕組みが必要になる.これは今後の課題である.

4 おわりに

本稿では, 講義コンテンツの構造化と講義コンテンツの要素に対するアノテーションに基づいて,講義コンテンツを意味構造化する仕組みを提案した.今後の課題は,これらのアノテーションに基づく応用システムを開発し,実証実験にもとづく評価を行うことである.