ビデオスクラップブックによる映像シーンの作成・管理と論文執筆支援への応用
概要
Webによる映像コンテンツの配信が一般的になり、映像の部分区間（映像シーン）を扱う試みも行われているが、シーンの再利用性（柔軟に検索し引用できること）は未だ十分とは言えない。また、シーンに対する検索と応用を可能にするために、ブログなど外部テキストとの関連付け、コメントやタグの入力といった仕組みも提供されているが、シーンに対し得られるこれらのメタ情報（アノテーション）の質は、コンテンツそのものの質に左右される傾向がある。
そこで本研究では、シーンの再利用性を高めるための仕組みとして、まず映像コンテンツの任意の区間を柔軟に指定してシーンを作成し、共有するためのシステムである、ビデオスクラップブックを開発した。
次に、コンテンツとしての質が十分に高いと考えられる論文に着目し、作成したシーンを論文執筆時に参照・引用することによって得られるアノテーションを、従来手法によって得られるアノテーションと比較評価する。
1 はじめに
近年、一般ユーザによって撮影・作成されたコンテンツを含む、多くの映像コンテンツがWeb上で配信されている。しかし、映像コンテンツの量が増加する一方で、ユーザがそれらのコンテンツの検索や視聴に費やすことのできる時間はあまり増加していない。そのため、限られた時間の中で必要な映像コンテンツの中の必要なシーンを検索・閲覧するための仕組みが必要とされている。
筆者が所属する研究室では、映像シーンの検索や映像全体の俯瞰支援を行うために、映像シーンに対するアノテーションを作成する研究が行われてきた。その手法の1つとして、別のWebコンテンツに映像シーンを引用することで、引用先のコンテンツからアノテーションを獲得することが試みられた[1][2]。しかし、シーンの作成がアノテーション作成過程の一部でしかなかったため、作成したシーンの再利用が困難であった。また、あらかじめシーンを作成することができず、コンテンツにシーンを引用する時にしかシーンを作成することができなかったため、映像コンテンツの一部を繰り返し見直すことなどを目的にしてシーンを作成して管理することができなかった。そこで、本研究では、シーンの作成と管理を行うシステムであるビデオスクラップブックを開発した。
また、研究室で開発・運用されている論文執筆支援ツールTDEditor[3]で、作成した映像シーンを参照・引用することで、マルチメディア論文の執筆を支援できるようにした。
2 ビデオスクラップブック
ビデオスクラップブック(図[mypage])では、ユーザがコンテンツ視聴時にチェックポイントを登録したコンテンツと、ユーザがシーンを作成したコンテンツが一覧表示される。チェックポイントの登録とシーン作成に関しては次の章で述べるが、チェックポイントやシーンが作成されたコンテンツはユーザにとって重要性が高いと考えられるので、そのようなコンテンツをまとめて表示することで、各ユーザにとって重要であるコンテンツにアクセスしやすくなる。
図1: ビデオスクラップブックのユーザページ
作成された映像シーンは、元になった映像コンテンツごとに自動的に分類されて一覧表示される。その際にシーンの代表サムネイルだけでなく、シーンタイトルやコメントを表示しておくことで、1つのコンテンツから複数のシーンが作成された場合でも、シーンを作成したユーザが目的のシーンを簡単に選択できるようにしている。また、それぞれのシーンを共有するかどうか設定したり、付与されているタグを確認して不足を感じたタグを追加したりすることも可能である。
ページを開いたときにはユーザ自身の登録コンテンツとシーンが表示されているが、タブを切り替えることで別ユーザによって作成された共有シーンを一覧表示することができる。別ユーザが作成している共有シーンを利用することで、後に同一シーンを利用したいユーザは自らシーンを作成する手間を省略することができ、シーンタイトルの変更やシーン区間の微調節などのために共有シーンを参考にして新しくシーンを作成することもできる。
ビデオスクラップブックに登録されたコンテンツの中から、カテゴリやシーンの更新日時、タグなどを用いて検索やフィルタリングすることが可能である。また、シーン作成時に付与されたコメントの部分一致などによってキーワード検索をすることができる。
3 映像シーンの作成
映像コンテンツ中のシーンとする時間区間を指定する際に、何の手掛かりもない状態から時間範囲を指定しようとすると、コンテンツを先頭から視聴あるいはシークしながら、シーンの始点と終点とするべきタイムコードを決める必要がある。作成する元の映像が短いものであるならそれほど問題はないが、長い映像である場合には、始点の位置や切りだすシーンの長さに応じて相応の時間がかかることが予想される。
図2: チェックポイントの登録ボタンと確認用シークバー
そこで、映像コンテンツの視聴中に後でシーンを作成する可能性のある周辺のタイムコードをチェックポイントとして保存できるようにした(図[check])。実際にシーンを作成する際には、チェックポイントに対してシークを行うことができるので、シーン作成時にコンテンツを再度視聴してシーンの始点を探し出す必要がなくなる。また、コンテンツの視聴の際にも、チェックされている部分が参照できるので、時間に余裕がないときはチェックされている部分を中心にコンテンツを視聴する、といったことができる。
図[create]にシーン作成インタフェースの例を示す。シーン作成の際には、まずはコンテンツ視聴時に付けたチェックを元にしてそのタイムコードまでシークを行う。次にサムネイルシークバーや巻き戻しボタンを用いてシーンの始点(終点)の少し手前に再生位置をずらして、始点(終点)になったタイミングで始点(終点)決定ボタンをクリックする。その後、始点(終点)決定ボタンの左右にあるボタンで1秒ずつ範囲を微調整できる。シーンとして選択されている区間はチェックポイントシークバーのハイライトやサムネイルシークバーの暗転などによって、分かりやすく示している。シーンの代表サムネイルはサムネイルシークバーをクリックすることで簡単に変更できる。
図3: シーンの作成
作成したシーンをビデオスクラップブックに登録する際に、シーンタイトルの他にコメントやタグを任意で付与することが可能である。あくまでも任意であるため、実際に役に立つ情報が入力されるかどうかはユーザ次第であるが、ソーシャルブックマークサービスなどの普及を考えると、有用なコメントやタグを残すユーザも多いのではないかと考えられる。
また、シーンを毎回新規に作成するだけでなく、以前作成したシーンの情報を読み込んで修正を加えることも可能である。その場合には、シーンの情報そのものを更新するか、別のシーンとして新しく登録するかを選択することができる。
4 論文執筆支援
ビデオスクラップブックで作成したシーンを、研究室で開発されている論文執筆支援ツールTDEditor[3]で参照・引用することができるようにした。TDEditorは日々の研究活動において作成され蓄積されたコンテンツを容易に検索・参照・引用することができる仕組みを提供することで、論文執筆に必要な情報の可視化を行い、執筆作業の効率化を行うことを目的としたツールである。
TDEditorから参照・引用する場合も、ビデオスクラップブックのユーザページと同様に元となったコンテンツごとにシーンが表示され、その中から目的のシーンを参照・引用することができる。執筆する内容に関連する映像シーンを参照しながら執筆活動を行うことで、文章をまとめやすくなったり、書くべき内容を整理しやすくなったりすることが期待される。また、映像シーンの代表サムネイルを論文に引用できるようにした。オンライン論文の場合、このサムネイルをクリックすると論文内で映像シーンを視聴できる。
5 評価方法
システムの評価の方法として、研究室で従来研究されてきたシーン引用システムのインタフェースと比較して、シーン区間の指定が容易になったかどうか、被験者による主観評価と実際の作業時間によって比較する。また、前もってシーンをビデオスクラップブックに登録しておくことによって、シーン引用が行いやすくなったかどうかも同様に、被験者による主観評価と作業時間によって比較する。
6 おわりに
本研究では、映像シーンを作成・管理し、それを別のユーザと共有することができるシステムを開発し、また、シーンの作成を補助するための仕組みも提供した。このシステムを用いることで、映像シーンの作成と利用が活発に行われるようになれば、それに伴って多くのアノテーションが集まっていくことが期待される。
今後の課題としては、ユーザがこのシステムを利用してシーンを作成するモチベーションを高めることが挙げられる。また、TDEditorでのシーンの論文への引用によって得られるアノテーションの質的な評価を行う必要がある。