個人用知的移動体の状況認識とその応用に関する研究

PDF
鬼頭 信貴
名古屋大学 工学部 電気電子・情報工学科

概要

AT (Attentive Townvehicle)は、搭乗者である人間や、自分を取り巻く 環境に適応し、個体間通信によって協調的に動作することを目指した、 情報的に強化された乗り物である。本研究では、搭乗者を取り巻く環境の 一つとして、ATの周囲に存在する物理的な対象を考える。それらの対象に 与えられたIDに基づいてATがそれらを認識し、関連情報を検索すると 同時に、ATからそれらの対象への距離や方向を知るシステムを構築した。 このシステムは、赤外線信号を送信する小型の赤外線タグを対象の表面に 貼り付け、赤外線信号の受信装置を持ったATが赤外線タグからの赤外線信号を 読み取ることで対象のIDを取得する。 この仕組みを応用して、ATに搭載されたカメラから得られる映像に、認識 された対象に関連する情報を重ね合わせて表示するシステムを構築することで、 対象を単に見ただけでは知ることのできない情報を搭乗者に提示することが 可能である。また、移動体が物理的な対象物の認識を行うことによって可能と なるさまざまな応用についても考察を行った。

1 はじめに

1.1 研究の目的と背景

情報化社会と言われて久しい。今日では、膨大な情報をWWW (World Wide Web)などを用いることで 手に入れることができる。ここで、得られる情報の中には、 具体的な「物」と対応付けられるものも多く存在する。たとえば、 お店の情報は、物理的なお店に対応しているし、 書籍の評判も本に対応している。 また、個人の書く日記も人間という物理的な存在と対応付けられる。 しかし、現在のWWWなど、情報を扱う仕組みでは 多くの場合、情報の操作が実世界に直接影響を与えることはなく、情報の世界のみで完結している。

たとえば、情報の世界の中の何か(お店の情報など)をみて、それに深く 興味を持ったとしても情報の世界だけではそれを体験することは難しい。 古くは通信販売、最近ではWWWでの書籍販売などは 情報の中の世界と物理的な世界とをつなげるひとつの手法として定着しているが、 その手法で可能となることは限られる。 それは、その手法で対応できるのは運搬できる物に限られるためである。 つまり、おいしい料理を自宅まで運んで持ってきてもらうことは可能だが、 おいしい料理を出してくれる料理店を持ってくることはできないのである。 そこで、より一般的に、情報の世界と物理的な世界をより滑らかにつなぐ方法が 求められている。

情報と、それが参照する物理的な対象を密接に関連付けるためには、 物理的対象がもつ性質が問題となる。 それは、物理的対象を移動させる、あるいは、物理的対象の位置まで移動する 手間が無視できないということである。 通信販売やインターネットショッピングでは対象物の運搬という手段を用いたが、 本研究では移動体を用いて人間を動かすという発想で情報と実世界の関連付けの方法を探っている。 つまり、乗り物に情報処理・通信機能を持たせ、情報処理と物理的な行動を連動させる、 いわばMountable Computing (搭乗型コンピューティング)という発想である。

また、一方で、それ自身が物理的な対象である移動体を情報技術で強化し 高度な輸送手段となることが可能である。 たとえば、 搭乗者個人の嗜好や特性を蓄積していくことによって、 乗りやすい仕組みを構築することが可能になる。 また、乗り物の周囲にある実世界の対象物を認識し、個人の嗜好とを考え合わせ、 興味を持ちそうな情報を搭乗者に提示することで、 より有用な乗り物とすることが考えられる。

以上のことを考慮して、AT (Attentive Townvehicle)という小型の知的移動体を研究・開発した。 ATは、搭乗者である人間や、自分を取り巻く環境に適応し、 個体間通信によって協調的に動作することを目指した乗り物である。 ATの開発には車体の開発だけではなく、物理的・情報的なインフラの 設計や実現が不可欠となる。本研究もこのようなインフラの設計と実現の一部をなすものである。

物理的対象を運搬するのではなく、人を物理的対象まで運ぶことで 情報と実世界の関連付けをするという構想を実現させるためには、たとえば、 移動体によって人を自動的に物理的な対象物まで運ぶことが必要とされる。 もし、あらかじめ地図が与えられているのであれば、それにしたがって 移動することで目的の場所まで到達するのはそれほど困難なことではないと思われる。 しかしそれだけでは不十分である。それは真っ暗な場所で照明を使わないで 歩き回っているのと同じである。危険であるし、本当に目的の対象物が地図の示す場所にあるかも分からず、 外見が類似しているものが多数並んだ状態ではどれがその対象物かは分からない。

したがって、移動体の周囲の状況を認識することは必要不可欠である。 特に、安全に移動するための障害物の検出と、移動体の周囲に存在する対象物を 認識するような仕組みが必要とされる。 本論文では、後者の仕組みの実現について中心的に述べる。 この仕組みは、先に述べたような周囲の対象物を認識し、搭乗者に情報を 提示するする際には必須の技術となる。

これまで、実世界の対象物を認識して、その情報を利用する試みとして拡張現実感システムの研究など が盛んに行われてきた。 対象物の認識以外に、人間の位置を認識して、利用する研究としては、 赤外線を発するバッジを用いる Active Badgeや超音波を用いるBAT、 タグなどを用いないでカメラのみを用いて映像から人間の位置を認識する研究などが 行われてきた。しかし、これらのシステムは 物理環境側にセンサーを埋め込む必要があり、導入が比較的困難であると考えられる。 また、画像処理のみを用いる方法では個々の物体を厳密に識別することが困難である。 そのため、同じ形状であっても別の「物」であれば異なる種類のIDを付け それらを別のものとして扱うこと想定している本システムには適用することはできない。

一方で、人間ではなく対象物に赤外線のタグを貼り付ける研究や、 対象物に視覚的タグを貼り付け、カメラを使って対象物を認識する研究 も行われてきた。これらは、設置は比較的簡単にできるが、 それらはHMD (Head Mounted Display)などの身体装着型の装置を用いてシステムを 実現していたり、小型の液晶ディスプレイを使うことで実現され、 それを持ち歩くことが必要とされたり、また、屋外で使用することができなかったりした。 これらの研究では、体にさまざまな装置を装着するため、装置の重みや違和感などにより 体の自由が損なわれるという問題点があった。 また、利用者に対して情報を示す方法としても、これまでディスプレイに表示することや 音声で知らせるなどの方法しかなかったが、移動体上にシステムを構築したことに よって乗り物の向きを変えたり対象物の方向に向かって走るなどの 物理的行動によって情報を提示する方法も可能となる。

これらの点で、乗り物であるAT上に構築した、本システムのような対象認識システムは 有用であると期待される。

1.2 本研究で提案するシステムの概要

本研究は、知的小型移動体ATの周囲に存在する対象物を認識する手法と、 その手法を用いたアプリケーションを開発することを目的としている。 このシステムでは、実世界対象を認識する方法として、ユニークなIDを赤外線信号で 送信する赤外線タグを対象に貼り付け、赤外線センサーアレイが搭載されたATで読み取るという 方法をとっている。このとき、赤外線信号の指向性を用いて対象物の方向も読み取ることができる。

このIDを元に対象物の関連情報を得て、その情報を搭乗者の 目の前にある液晶ディスプレイに提示するなどの応用を行っている。

それ以外にこの技術の将来的な応用としては、1つには複数のATが協調して実世界の対象物の位置のマップを作る ことが考えられる。 ATは地面に設置されたRFID (Radio Frequency Identification)タグを認識ことによって、 自身のだいたいの位置を知ることができる。 そこで、その周囲を走ることによって その位置にある対象物を意識的あるいは無意識的に認識することができるのである。 さらに、その情報を複数台のAT間でネットワークを介して共有することで、 多くの対象物の位置等の情報が徐々に獲得されていく。

また、このシステムによって、 対象物の位置にATを移動させたり、人間が赤外線タグを持ち、ATを 誘導することなどが実現できる。

1.3 本論文の構成

本論文は2章以降、次のような構成になっている。 まず第2章では、本研究のプラットフォームとなっている知的移動体ATに関して述べる。 第3章では、実世界の対象物を認識する方法として赤外線タグを用いる方法を提案し、その手法を述べる。 第4章では、前章の手法を用いたいくつかの応用システムについて述べる。 第5章では関連する研究を紹介し、本研究との比較について述べる。 最後に、第6章でまとめと今後の課題について述べる。

2 個人用知的小型移動体AT

AT (Attentive Townvehicle)は、搭乗者である人間や、自分を取り 巻く環境に適応し、個体間通信によって協調的に動作することが可 能な個人用の乗り物である。ATの開発は物理的・情報的なインフラの 設計や実現を含めて進められ、本研究もその一環として 位置づけられている。 本研究以外にも複数台のAT間での連携走行の研究や、RFIDタグを 用いて場所や対象に関するIDを取得し、関連情報を提示する実験などが行われている。

同様の研究としては、人の移動をより高度に支援することを目指した ITS (Intelligent Transport Systems)や、ITSの中でも特に 歩行者の移動を考えている歩行者ITSなどが存在している。 これらは、現在の車や道路等のインフラに適合する形での高度化を目指している。 したがって、 屋内も屋外も走行するような乗り物であるATの目指すものとは 異なる方向性を持っている。 また、ネットワーク技術の利用は、各移動体が情報インフラを通じて情報サービスを受けるためのものであり、ATが目指すような 搭乗者同士のコミュニケーションや移動体間のアドホック通信とは異なる方向に焦点が当てられている。

2.1 システム構成

ATは主に軽量化を図るためアルミ材でフレームを構築し、車輪には電動車椅子用の ものを装着して、それを移動体の動力として使用している。 ATは屋内、屋外どちらでも人を乗せたまま移動できることが前提であるので、 車体は一般的な扉やエレベータの入り口を通り抜けることができる幅に抑えられ、 さらに、エレベータに乗り込めるような長さに抑えられている。

ATには立ち乗り型で、電動雲台つきカメラやタブレット型情報端末を備えた高機能な タイプA(図)と、 立ち乗りや座り乗りまたは荷台へと変形が可能なタイプBとがあるが、 本研究ではタイプAのATを用いてシステムの実装を行っている。

写真を見て分かるように、タイプAのタブレット型情報端末は、搭乗者が乗り込んだとき ちょうど見やすい位置に装備されている。 同様な機能をタイプBではPDA (Personal Digital Assistant)を用いて実現しているが、 表示面積が小さいために機能には制約がある。 ただし、PDAは小型のため、ATから降りてからも取り外して携帯することができる。 そのため、PDAの携帯時に個人情報を入力したり、行動の記録をとることで、 ATをより個人に特化した乗り物にするという応用が考えられている

Attentive Townvehicle (Type A)

図2.1: Attentive Townvehicle (Type A)

Attentive Townvehicle のシステム構成図

図2.2: Attentive Townvehicle のシステム構成図

ATのシステム構成を図に示す。 以下で述べるように、ATの操作は足の左右2つのペダルによって行う。それを実現するために、 ペダルがどの程度踏み込まれているか調べるための角度センサーがそれぞれのペダルの裏側に1つずつ装備されている。 しかし、斜面ではペダルが踏み込まれていなくても、計測値からでは踏み込まれている状態と区別できないので、 斜面であることを検出するためにペダルではなく車体側に3軸の角度センサーを装備している。 この3軸角度センサーは、yaw,pitch,rollの直交する3つの軸の角度を知ることができるセンサーである。 このセンサーは、自律走行を行うときに車体の方向を知る目的にも利用される。 ほかにも、モーターに内蔵されたエンコーダを監視する装置が搭載されており、 これを用いて速度や走行距離、車輪の回転方向を検出している。

上に挙げたような、走行制御にかかわるセンサーや装置だけではなく、 このほかに、AT車体下には、地面に埋め込まれたRFIDタグを認識できるように、 RFIDタグリーダーが2個設置されている。 これは、見通しの悪い屋外や屋内などGPSの使用できない場所で、 ATの現在地を知るためのひとつの方法として使用されたり、 情報の提示のトリガーとして用いられたりする。 将来的には、UWB (Ultra Wide Band)などを用いて屋内でも詳細な位置情報を得ることが可能となると考えられる。

特に、タイプAのATには、衝突回避を実現するための超音波距離センサーや、 屋外でATの位置を知るために必要となる GPSとDGPS (Differential GPS)レシーバーが搭載されている。 超音波距離センサーは、超音波の送信機と受信機がペアになっており、 送信機から出た超音波が反射して受信機に戻ってくるまでの時間から 距離を算出するセンサーである。このセンサーは20cmから100cmまでの 距離が計測でき。障害物が50cm以内にある場合には停止する。 また、万が一障害物に衝突した場合のために、 バンパーがATの前後に設置され、その衝突を検出できるようになっている。

さらに、タイプAには個人認証を可能にする指紋センサーが搭載されている。 この指紋センサーは個人を特定し、その人に適した操作感を実現するのに使われる。 たとえば、現時点ではペダルを操作したときの加速・減速の具合を個人の熟練度に適した 状態にするのに使われている。将来的には、それだけではなく 個人の嗜好にあった情報を優先して提示するようにしたり、個人の過去の履歴から 次に行う行動を予測するなどの利用法が考えられている。

2.2 操作法

ATの走行はペダルを使って足で操作する。ペダルを前に踏み込めば前に進み、 後ろに踏み込めば後ろに進む。回転する場合にはペダルを両足で互い違いに すればよい。つまり、ATは両足だけを使って操作することができる。 この方法は、自動車のように速度はペダルを用いて調節し、 方向は手を使ってハンドルで調節するという方法では無く、 両足がペダルをどのように踏み込んだかによって速度と方向が決まるという点で ユニークである。 これは、ATでは搭乗者は情報端末を用いることが前提になっているので 手を走行のために使用するのは好ましくないからである。

3 実世界対象の認識

本研究で最も重要な部分は実世界対象の存在と方向を認識する手法である。 これまで、カメラより得られる映像から画像処理を用いて対象を認識する方法や、 超音波や赤外線などを発するタグを用いることで位置を 検知する方法など が考えられてきた。 しかし、これらの方法は実世界に適用するには適していない、大掛かりな設備が必要であるなどの 問題があった。

本研究で提案するシステムでは、対象に貼り付けられた赤外線を発する赤外線タグと、 カメラからの映像の画像処理を組み合わせることで対象の存在と方向を検知する。 このとき、特殊な設備を部屋の中に備え付ける必要は無い。また、認識に必要となる機器は 移動体であるATに搭載するので身体的な負荷は受けない。

本システムで、使用した実世界対象の認識手法の概略を述べると次のようになる。 まず、対象を一意に指定できるようにIDを赤外線信号として発信する 赤外線タグを対象に貼り付ける。そのIDをATに取り付けられた赤外線センサーアレイ で読み取る。このとき、センサーアレイでの読み取り状況からどの方向に 対象があるかおおよその見当がつく。さらに、タグから送信されている 赤外線信号を赤外線のみを通すフィルタをつけたカメラで撮影すると点として 見えるため、さらに詳細な方向が分かる。 さらに、その点の大きさがどの程度であるかを求めることで距離を知る ことができる。

システム構成図

図3.1: システム構成図

このシステムは図のような構成となっている。 赤外線センサーと赤外線LEDから構成される赤外線センサーアレイは赤外線信号送受信装置につながり、 可視光フィルタが装着されたカメラと同様にPCに接続されている。 このPCでは、可視光フィルタがつけられたカメラからの映像を画像処理し、 同時にセンサーアレイで読まれる赤外線タグのIDも受信を行っている。

この過程で得られる情報は、図中には載っていないがもう一台のPCに送られ、 次章で述べるような対象物の関連情報を提示するためなどに利用される。

3.1 赤外線タグとカメラを用いた対象位置の認識

上に述べたように、対象に張り付けられた赤外線タグ(図) から発せられる赤外線信号は、ATに搭載されている赤外線信号送受信装置(図) に接続された赤外線センサーアレイの16個のセンサーで読み取られる。 このセンサーアレイは、赤外線信号を送信するための赤外線LED、 赤外線信号を受信する赤外線センサーと、 センサーの読み取りに指向性を持たせるため、1つ1つのセンサーごとに仕切りをするための 光を通さない黒色のABS樹脂でできている。 センサーは、図のように 1つの面に8個、これを2段に重ねて配置している。

赤外線タグ

図3.2: 赤外線タグ

赤外線信号送受信装置とセンサーアレイ

図3.3: 赤外線信号送受信装置とセンサーアレイ

赤外線センサーの配置

図3.4: 赤外線センサーの配置

を見ると分かるように、センサーアレイ中のセンサーはそれぞれ別の方向に向けられているため、 どのセンサーで信号を受信したかによってATから見た対象の相対的な方向を知ることができる。 このとき、図中のとおり上段の左側から8番から15番、下段の左側から0番から7番までセンサーに 番号をふると、下段のセンサーiで信号を受信したならば水平方向での対象の角度D

\begin{displaymath} D = 11.25 + i \times 22.5 \end{displaymath}

上段のセンサーjで受信したならばD

\begin{displaymath} D = 11.25 + (j-8) \times 22.5 \end{displaymath}

となる。ただし、単位は度で、方向は図の左側を0度とおき、正面を90度と置いている。 垂直方向の場合の角度S

\begin{displaymath} \begin{array}{cccc} S & = & -7.5 & (センサー0から7) \\ S & = & 7.5 & (センサー8から15) \end{array} \end{displaymath}

と仮定する。センサーは上下には2段しか並んでいないため、上下方向にはあまり正確な 方向は出ない。 しかし、水平方向と異なり、人間が対象物を見る時の垂直方向の角度の範囲はある程度 絞られおり、大抵のものはこの15度(=7.5+7.5)の範囲に入ると想像される。

上の変換式を用いれば、対象物の位置がおおよそ分かるのであるが、 対象が送信するIDをエンコードした赤外線信号は秒に数回という割合でしか発信されないため、 単純に考えると赤外線信号が出ていない瞬間には対象を認識することができない。 そこで、センサーアレイで読み取った結果に寿命を つけ、寿命が尽きるまではまだ有効な結果であると判断する方法を用いた。 現在有効な対象をリストとして保存しているが、その情報の更新手順を箇条書きで示す。

  1. リストの各要素を調べ、同じセンサーで読まれた同じIDの要素がすでにあれば、その要素の生存時間を0にする
  2. リストの各要素を調べ、同じセンサーで読まれた同じIDの要素が無ければ、新しい要素を作り、生存時間を0にする
  3. 一定時間ごとに、生存時間を増やし寿命を超えたものをリストから削除する

これで、現在有効なデータを更新し続けることができる。 このリストの情報から、搭乗者が見ているカメラ映像の中での画面上の座標を計算する。 この座標点は、搭乗者に対象の関連情報の提示を行う際に必要となるものである。 計算するには、つぎの4つの値が必要となる。

  1. 対象の方向(垂直方向の角度$D$、水平方向の角度$S$)
  2. 雲台の方向(垂直方向の角度$Dr$、水平方向の角度$Sr$)
  3. カメラの水平画角($Hl$)と垂直画角($Vl$)
  4. カメラ映像の縦幅($height$)、横幅($width$)

使用した電動雲台つきカメラ(Sony EVI-D100)の垂直画角はズームしていないとき、仕様から65度で、 垂直画角はカメラから得られる映像の縦横比から推定され、48.8度と計算できた。 なお、ズームしたときには画角の値が変わるが、ほかの値はズーム前と変わらない。

計算の手順としては、まず、対象の方向から雲台の方向を引くことで、カメラから対象への 相対的な方向を出し、その方向がカメラ映像の中のどの座標に対応するのか計算するのである。 そのためにはまず、対象の方向を算出する必要がある。 上に書いたように、IDとそのIDを読み取ったセンサーの対はリストとして保存されているので、 初めに挙げた式から対象の方向が分かる。ただし、ATが移動したときなど、1つのIDを複数のセンサーで 読み取る場合がある、その場合には、平均を取って方向を出す。 ここで、カメラから対象への相対的な方向をDc(水平方向の角度), Sc(垂直方向の角度)とすると

\begin{displaymath} \begin{array}{ccc} Dc & = & D - Dr \\ Sc & = & S - Sr \end{array} \end{displaymath}

で求められる。この方向がカメラの映像中のどの座標点に投影されるかは次の式で求められる。 左上を原点とする座標系でyは下向きに伸びているとき、(x,y)に対応付けられるとするとx,y

\begin{displaymath} \begin{array}{ccc} x & = & \frac{width}{2} \times \frac{ \tan(Dc) }{ \tan(\frac{Hl}{2}) } + \frac{width}{2} \\ y & = & -\frac{height}{2} \times \frac{ \tan(Sc) }{ \tan(\frac{Vl}{2}) } + \frac{height}{2} \end{array} \end{displaymath}

で計算される。

ただし、赤外線センサーアレイによって得られる、対象の方向は大雑把なので、 より正確な方向を得るために搭乗者提示用のカメラと同じ向きに、 赤外線のみを通すフィルタをつけたもう1台のカメラを設置した。 このカメラを通すと赤外線タグ上の赤外線LEDは白い点として見え、背景は黒く映る。 この映像のフレームを切り取って画像処理を行う、手順は次のように進められる。

  1. 閾値処理: 蛍光灯などからも弱い赤外線が放出されるため薄く映ってしまう。それらを 取り除くため、適当な値を閾値として閾値処理を行う。
  2. 2値化: 閾値処理で得られた結果を元に、画像を明るい1の点と、暗い0の点というように 2つの値で置き換える。
  3. ラベル付け: 明るい点の集まりに番号をつけていく。それらの1つ1つが対象の 存在する方向の候補となる。
  4. ラベルの中心座標と面積の計算: 明るい点の集まりの1つ1つのピクセルの座標について 平均を計算することでラベルの中心座標を求める。同時に、対象までの距離を推定するために ラベルに含まれるピクセル数を計算する。

対象までの距離は、赤外線フィルタを装着したカメラで撮影した際の、赤外線LEDの点の大きさ から算出している。これは、点の大きさと対象までの距離は反比例の関係になることを利用している。 ただし、電池の消耗による赤外線LEDの輝度の低下や、 カメラに映る際のサンプリングのタイミングの問題などによって対象までの距離と画像上での点の大きさとが 対応しない場合があるため、距離の値がふらついてしまった。 そこで、次章では距離を計測する別の方法について考察を行っている。

また、この処理には搭乗者提示用のカメラとは異なる種類のカメラを用いているため、画角と カメラ映像の大きさが異なる。そのため、補正を行わないと搭乗者に提示する映像の中の どの座標点に対応するのか分からない。 そこで、画像処理に用いるこのカメラの垂直画角をVl、水平画角をHl、幅をwidth、 高さをheightとおくと、座標点(xは次のようにして、 おおよそ搭乗者提示用カメラの座標点(x,y)に変換できる。

\begin{displaymath} \begin{array}{ccc} x & = & \left(\left(\frac{x'}{width'} -\frac{1}{2}\right) \times \frac{Hl'}{Hl}+\frac{1}{2}\right) \times width \\ y & = & \left(\left(\frac{y'}{height'}-\frac{1}{2}\right) \times \frac{Vl'}{Vl}+\frac{1}{2}\right) \times height \\ \end{array} \end{displaymath}

これまでの処理からカメラ映像から画像処理を用いて対象位置の候補が得られた。 しかし、これも赤外線センサーアレイから得られるIDの情報と同じで、 常に値が得られるわけではないため、 有効な情報のリストを作り、情報に寿命をつけて管理する必要がある。 具体的には、次の手順で行う。

  1. リストの各要素を調べ、その要素から得られた点までの距離が近いときには同じ点だとみなし、その要素の生存時間を0にする
  2. リストの各要素を調べ、それまでの点とは遠い場合には、新しい要素を作り、生存時間を0にする
  3. 一定時間ごとに、生存時間を増やし寿命を超えたものをリストから削除する

カメラでは赤外線信号を読み落とすことが多いため、情報の寿命は長めにとっている。 これは、赤外線信号の送出にかかる時間が短く、カメラのサンプリング間隔と合わないためだと考えられる。 ただし、情報の寿命を長めに取ると、ATで移動したときに古い情報がしばらく残ることになる ため好ましい方法ではない。 この問題は、赤外線タグから赤外線信号を送信する頻度を高くすることである程度避けることが できる。 しかし、赤外線タグの電池寿命が著しく短くなるというトレードオフの問題となるため、 それほど頻度をあげることはできない。

こうして得られた、対象の細かい位置の情報をセンサーアレイで 得られたIDの情報と組み合わせる必要がある。手順は次のようになる。

  1. センサーアレイで得られたIDについて、推定されるカメラ画像上での座標と、 画像処理で得られた点とを比較して一定の閾値以下になっていて、一番近いものを選ぶ。
  2. その点とIDが一致しているとみなす。ただし、すでにその点が別のIDと一致している 場合には近いほうを選び、遠かったほうは無効にする。

これまでの対象位置の認識手順をまとめると図のようになる。

対象認識手順の概要

図3.5: 対象認識手順の概要

注意すべきなのは、カメラの視野の外にある対象については細かい 位置を知ることができないという点である。 また、赤外線センサーアレイの中心と、雲台の回転の中心とは物理的な制約からずれやすい。 しかし、 位置を離しすぎると対象の方向によっては位置の認識がうまくいかなくなることがある。 特に、近距離にある対象ではそれが強く現れる。したがって、センサーアレイとカメラは 近づけて設置することが必要になる。 センサーを増やし垂直方向にもセンサーを多くつけるようになると、取り付け位置の物理的な 制約が厳しくなるため、カメラを設置する位置についての考慮が必要になる。

3.2 赤外線タグと読み取り装置

赤外線タグは、8bitの固有のIDを持ち、タグ上の赤外線LEDからそのIDを送信する小型の装置(図)である。 IDは1秒間に数回程度の頻度で常に送信され続けている。それと同時に、赤外線タグは 赤外線信号の受信も同時に行い、IDに依存した特定の赤外線信号によってタグ上の可視光の LEDが点灯するようになっている。

まだ実装は行っていないが、双方向通信が行えるためATが近づいたときだけIDの赤外線信号を 送信するようなものとすることも可能である。そのような双方向の通信をすることによって 電池の寿命を延ばすことが可能となる。 また、ここではIDを8bitにしているが、IDのビット数を大きくすることも可能である。

赤外線タグの回路は図のようになっている。 使用したマイコンはAtmel社の AT90S2313-10PC で、このマイコン用のクロスコンパイラとして gcc version 3.3.1を用いてC言語でプログラムを開発した。 遠くからでも対象の位置が分かるように するため、LEDが明るくなるようLEDに流れる電流が大きくなるような設計になっている。 電源は、単三乾電池を3本直列につないで4.5Vとして使用している。 赤外線センサには3つの端子Vs,GND,OUTがあるが、VsとGNDはそれぞれ電源端子とグラウンド端子で、 OUTが出力端子である。 タグには、ジャンパピンがつけられているが、これは赤外線を使って赤外線タグにIDを書き込むときに使用する。 誤ってIDを書き換えないようにするためである。 赤外線タグのIDはマイコン内のEEPROM (Electrically-Erasable Programmable Read-Only Memory:不揮発性の半導体メモリ) に保存されるので、電源をつないでいなくてもIDは保持される。

赤外線タグ回路図

図3.6: 赤外線タグ回路図

ATに搭載されている赤外線信号送受信装置(図)はAltera社の FPGA (Field Programmable Gate Array) EP1C12Q240C8 を用いている。 また、回路の記述にはVerilogHDLを用い、コンパイルには Quartus II Version 3.0 Web Edition を使用した。 この装置には16個の赤外線センサーと、赤外線タグに向けて赤外線信号を送信するための16個の 赤外線LEDで構成されたセンサーアレイが接続されている。 この装置にはシリアルインタフェースが用意されており、PCとシリアル接続で接続して使用する。 装置は、センサーで読み取られた赤外線信号をデコードして得られた赤外線タグのIDをPCに送り、 タグ上の可視光LEDを点灯する場合には、PC側からIDを装置に送ることでエンコードして 赤外線信号として送信する働きをする。

3.3 赤外線通信

赤外線タグとATとの間では赤外線を用いて数バイトのコマンドを送受信している。 赤外線LEDは点灯と消灯の状態しか持たないので、モールス信号のように 点灯・消灯の組み合わせで送信するのである。そのため、 どのような形で消灯と点灯を組み合わせてコマンドを送信するかを決める必要があることが分かる。 本章では、ATと赤外線タグとがどのようにデータを通信しているかを述べる。

ATと赤外線タグとは数バイトデータを送り、そして受信しているが、それらは1バイト の送信または受信を繰り返すことで達成している。 ATが赤外線タグに向かって、可視光のLEDを点灯させたい場合には、1バイトづつ 数回に分けてコマンドを送っていくことが必要ということである。 ここで、まずはじめに 1 バイトずつの通信がどのようになされているのかをみてから、 その後に、AT-赤外線タグ間の通信の内容について見ていくことにする。

赤外線タグとATとの間でやり取りされる赤外線信号は、赤外線タグ上の リソースを最大限に使うため、PCで使われるシリアル通信と同じ形式で送受信を行う。 これは、今回使用したマイコンにはシリアル通信を行うための UART (Universal Asynchronous Receiver Transmitter)モジュールが 組み込まれているため、このモジュールを用いることで容易に効率的な 通信を行うことが期待できるためである。 なお、空中を光で通信するため、ノイズが入ることが十分考えられるので パリティつきの通信を行っている。通信速度は2400bpsとした。

パリティつきのシリアル通信で1byteを送る際の信号を図にしたものが図 である。はじめにあるスタートビットは、データを送信する前に これからデータを送信することを知らせるためにあるものである。 データビットはLSB (Least Significant Bit:もっとも小さい桁)から送信することに なっている。 パリティビットは、奇数パリティとなるように設定している。つまり、データビットと パリティビットを含めてHiになっているビット数が奇数になるように設定するのである。 こうすることで、ビットが反転するなどの障害に強くなる。

シリアル通信

図3.7: シリアル通信

この図のLowを赤外線LEDの点灯、Hiを赤外線LEDの消灯に対応付けると 赤外線LEDとセンサーで通信が可能となる。 この割り当ては直感とは逆となっているが、ここでHiを赤外線の点灯に割り当てると、 信号を送信していない間は赤外線LEDが 点灯し続け消費電力が大きくなるためである。

一方で、赤外線センサーの中ではノイズの影響を避ける目的で、 38kHz周辺の周波数をよく通すようなバンドパスフィルタがかけられている ため38kHzの信号を使って通信を行う必要がある。このときのセンサーの出力は図 のように38kHzの部分が消えて出力される。また、 図を見て分かるように、赤外光が無いときに出力の電圧が高く、 光があるときに低い電圧が出力されるという仕様になっている。

赤外線センサーの入出力の関係

図3.8: 赤外線センサーの入出力の関係

したがって、図のようにシリアル通信のデータを38kHzの信号に乗せたものを タグとATの間でやり取りをする。図を見ると分かるように、シリアル通信で Lowだった部分が38kHz での赤外光の点滅に変わっている。 この信号がセンサーで読み取られると、赤外光の点滅があるときにはセンサの出力電圧が 低くなり、光が無いときには出力電圧が高くなるため、センサーで読み取られた 結果は図で示したような通常のシリアル通信の信号と形状が同じとなる。

この通信方法は、Lego社のMindStormsの赤外線通信で使われている方法と 同じものである。この通信方法は、 容易にRS-232の信号と相互に変換することができるため、 PCなどと組み合わせて使うことが容易である。 その一方で、テレビなどに使われているようなリモコンが使用している 赤外線通信の方法とは異なっている。

赤外線通信

図3.9: 赤外線通信

以上のデータ送信法に基づいて、 赤外線タグが送信するID情報のコマンドと AT側からタグ上の可視光LEDを点灯させるコマンドを表に示す。

表3.1:赤外線通信で用いられるコマンド

コマンド

\multicolumn{5}{|c|}{フォーマット}

タグから発信されるID情報

0x55

0xee

0x11

id

0xff-id

タグ上のLEDを点滅

0xaa

0xee

0x11

id

0xff-id

数値は 0x で始まる16進数で書いている。 たとえばIDが1のタグを光らせる場合には 0xaa,0xee,0x11,0x01,0xfeの順に赤外線で信号を送ればよい。

最小限の通信内容しかないが、これは、対象に対する、より複雑な操作は 無線LANなどの無線通信を使うことで伝達するという方針からである。 赤外線の指向性をうまく使って対象を特定し、それに対する 複雑な情報処理が必要な場合は、通常の無線データ通信を用いるべきだろう。

4 実世界対象認識の応用

前章の議論から、ATより実世界の対象物を認識することが可能である。 この技術を用いて、いくつかのアプリケーションを構築した。 また、この技術をベースにして将来可能になるシステムについても考察を行った。

ここではまず、2種類のアプリケーションについて述べる。 1つ目のアプリケーションは得られた対象の情報から対象の関連情報を検索し 搭乗者に提示するものである。2つ目は、認識された対象に対して操作を行うアプリケーションで ある。

それから、さらに2つの応用例を挙げる。 これらは現時点では構想の段階ではあるが、 本手法を応用することで可能となるものである。 1つ目は、乗り物であるATの特性を活かし、赤外線タグを用いて ATを誘導する、もしくは、対象を追尾するものである。 もうひとつは、走りながら対象物を認識するATは対象の位置を含めた関連情報を 徐々に収集していくが、複数のAT間で情報交換を行うことによって 物理的な検索を行うものである。

4.1 関連情報の提示

搭乗者の前方に取り付けられたタブレット型情報端末に 認識された実世界の対象の関連情報を カメラ映像に重ね合わせる形式で 搭乗者に提示するシステムを実現している。 以下では、実世界対象の関連情報をどのように取得し、 そして表示するかについて述べる。

4.1.1 関連情報の取得

第3章で述べたように、 実世界対象に貼り付けられた赤外線タグから発信される赤外線信号を ATに搭載された赤外線信号送受信装置で読み取ることで、その対象に つけられたIDを読み取る。したがって、 このIDをキーとして関連情報を取り出すことができる。

具体的には、取得したIDをキーとしてローカルマシン上のデータベースを検索する。 将来的にはネットワーク上のサーバーに問い合わせることで対象の 関連情報を検索できるようにするべきであろう。

たとえば、認識した対象のIDが208で、何らかの手段でデータベースサーバーの アドレスが分かった場合、図のように、そのアドレスに対して、 決められた手順で、IDに対応した関連情報について問い合わせを行えばよい。

サーバーへの関連情報の問い合わせ

図4.1: サーバーへの関連情報の問い合わせ

ATは移動体であり、屋内だけではなく屋外でも走行するため、 ネットワーク環境が整った場所だけではなく、 屋外での局所的でアドホックなネットワーク環境をも想定している。 したがって、本システムの関連情報のサーバーもアドホックな ネットワーク環境を想定したものである必要があるだろう。

たとえば、インターネットにつながらないような屋外などを想定して、 局所的なアドホックな無線のネットワークと そのネットワークにつながっているサーバー を使うことによって、その近辺にある対象物に関する 関連情報を検索するのである。

この手法は、たとえば場所に局所的な情報を提供するためにも使うことができる。 これは、情報を公開するとどこからでも見られるようにする、という これまでのネットワークの目標とは違う方向性を持っている。 しかし、どこからでも見られることが常に良いこととは言えない。 そのときのためにも、このような方法が提供されるのが 望ましい。

4.1.2 情報の提示法

IDを基にして得られた関連情報は図のようなカメラ映像に 重ね合わされた形式(オーバーレイ)で搭乗者に 提示される。

関連情報の重ね合わせ表示

図4.2: 関連情報の重ね合わせ表示

しかし、カメラの視野には入らない対象もあるため、認識されたすべての対象の 関連情報は映像を表示するウィンドウの脇に一覧として提示している。 また、映像ウィンドウ内に表示されている対象とそれ以外とを区別するために、 図のように関連情報の一覧につけられたアイコンの色を区別している。

認識された対象物の一覧

図4.3: 認識された対象物の一覧

これら以外にも、カメラ映像の右側と下側にスライドバーを付け、 これを動かすことでカメラを上下左右に動かす機能がつけられている。

ウィンドウ内や、脇には対象物に関する名称等の簡単な情報が表示されるが、 それらの対象物に関するさらに詳細な情報を搭乗者に提示する場合、 対象物の関連情報の一覧の中の任意の要素をクリックすると その対象のより詳細な関連情報をWebブラウザを用いて 搭乗者に示す仕組みになっている。 そのとき、その対象物が画面内に映っていたときには、どの対象物なのか を示すために図のようにオーバーレイして表示 されている関連情報の部分の背景色が変化する。

対象選択時の関連情報提示

図4.4: 対象選択時の関連情報提示

対象が映像ウィンドウ内に現れていない場合、その対象物がどれなのか知りたい場面も考えられるので、 表示された関連情報の一覧の中の要素をダブルクリックした時に 以下の動作が行われ、対象物の位置が分かるようになっている。

  • カメラ雲台を回転し、対象がカメラの映像の中心に来るように調整
  • ATから赤外線信号を送信し、対象上の赤外線タグの可視光LEDを光らせる
  • カメラを2倍のズームにして対象を表示
  • 詳細な関連情報があれば、それを搭乗者に示すためにWebブラウザをひらく

その時、画面は図のように表示される。 カメラのズームがそのまま変わらないのでは不便なため、 ウィンドウ内の任意の場所をクリックすることでズームを解除できるようになっている。

ズーム時の対象物の提示

図4.5: ズーム時の対象物の提示

この図の例では、正しく対象が画面内に収まったが、ズームの倍率が 固定となっているため場合によっては対象物が画面からはみ出してしまう ことがありうる。 それを避けるためには、対象の大きさと対象までの距離がわかっている必要がある。

現時点では、認識された対象物をすべて画面脇に表示し、対象物が画面内に映っていたときには その対象物に対する関連情報はすべて表示する。 しかし、それでは周囲に多くの対象物が存在する場合には画面が関連情報であふれるため、 カメラ映像が見えなくなるという問題が起こる可能性がある。 その問題に対応するために、情報提示に優先順位を考え、遠くにあると認識された 対象は優先順位を低くし、近くにあると認識されたものは優先度を高くすることで、 優先順位が高いものから順に画面にあふれない程度表示するという方法が考えられる。 これは、画面脇に表示される認識された対象物のリストに対しても当てはまり、 近くにあるものを上に、遠くにあるものを下に表示する方法が考えられる。

さらに、情報提示の優先度をもとめる別の方法として、個人の過去の履歴を用いる方法が考えられる。 たとえば、毎日見て見慣れている対象物は優先度を低くし、 初めて見るものは優先度を高くする。あるいは、何度も詳細な情報を必要としたならば 高い優先度を与える、などのルールを用いるのである。

4.2 対象の遠隔操作

対象が電気製品であれば、遠隔で複雑な制御をすることが原理的には可能である。 ここでは、簡単な対象の制御を試みている。 これまで、対象に赤外線タグを貼り付けることを考えていたが、 電気製品であれば、機器に赤外線タグの機構をあらかじめ組み込んでおくことが可能であり、 電池が切れるという心配が無いため、このシステムとの親和性は高いと考えられる。

そこで、図に示すような赤外線タグ機能を内蔵した照明器具を試作し、 その照明器具をATの上から操作できるようにした。 ここでは、冷陰極管を用いて照明器具を製作している。

赤外線タグの機能を内蔵した照明器具

図4.6: 赤外線タグの機能を内蔵した照明器具

ATからも照明器具の状態を識別できたほうが都合がよいため、 状態ごとに別々のIDを用いた。つまり点灯しているときと、点灯していないときで 異なるIDを送信するようになっている。 こうすることで、部屋に入ったときに消えていた照明器具が点灯し、 部屋を出るときに照明が消えるなどの操作を自然に実現することができると考えられる。

なお、先に述べた情報提示アプリケーションを拡張して、 画面上で照明の点灯や消灯ができ、図のように 現在の状態を表示できるようにした。

照明器具の状態表示

図4.7: 照明器具の状態表示

ここでは、赤外線を用いて照明器具を操作を通信していたが、実際には無線通信を 使ってこの機能を実現することが好ましい。 なぜなら、赤外線で通信を行うよりは無線を用いて通信を行ったほうが 汎用性があり、通信速度もより高速である。 たとえば、将来的にATから少し離れたコーヒーメーカーを操作してコーヒーを沸かせ 出来上がったところで搭乗者を誘導するというような仕組みを 実現する場合を考えると、コーヒーメーカーのステータスの取得や操作などは 赤外線通信で実現するのには向いていない。 搭乗者がコーヒーメーカーから離れた場所で操作する場合も あるからである。

また、赤外線信号からIDを取得すれば対象物の識別は可能なため、 それ以降の処理では無線通信を用いることは可能である。無線通信を使って 対象物の操作やステータスを得るときの枠組みをどのようなものにするか という問題点があるが、 具体的には、先に述べたような、搭乗者に提示される Webブラウザから対象を操作するような方法と、 cogma (COoperative Gadgets for Mobile Appliances) のようなモバイルエージェントシステムをベースとしたミドルウェアを 用いる方法などが考えられる。

4.3 ATの誘導

本システムでは、対象の認識と同時に、ATから見た対象の方向が分かるため その対象の方向にATを移動させることも可能である。 これは、たとえば、ATからコーヒーメーカーを操作して動かし、 コーヒーが出来上がったころに、搭乗者にそれを伝え、 自動的にコーヒーメーカーの位置まで移動できるようにする場合など、 移動体としてのATの応用を考えるときには必要となる。

たとえば、コーヒーメーカーまで移動するとき、 大まかな現在位置は床に設置されているRFIDタグを 読み取ることで知ることができる。 しかし、それだけでは、どれがコーヒーメーカーなのか知らずに ATは移動するため、最終的に コーヒーメーカーから少しずれた位置に到着する可能性がある。

そこで、このシステムを使用してコーヒーメーカーを探しその位置に 正確に移動できるように補正するのである。 このほかに、人間が赤外線タグを持ち、それを持ちながら歩くことで 無人のATを誘導することなどが考えられる。 また、複数台のATを連携して動かす実験が行われているので、 赤外線タグによって複数台のATを一列に並べて誘導することなども できるようになるであろう。

本システムが対象を認識できるということは対象が発する赤外線が ATまで到達するということであるから、 その場合、ATから対象までの間には大きな障害物は存在しないと考えることができる。 そのため基本的にはATを対象物の方向に向け、そして対象物に対して直線的に動けば良い。 このとき、その経路に障害物があった場合には、 ATに接続された超音波センサーや、バンパーへの接触などによって 認識されるため停止すれば問題は無いと考えられる。

ただし、この制御を行うためには対象物までの正しい距離が 分かっていることが必要である。 しかし、カメラに映る赤外線LEDの大きさだけでは 対象物までの距離が不正確にしか分からないためその方法を 考える必要がある。

4.3.1 対象物までの距離の計測

これまで、対象に対してひとつのタグのみを貼り付けてきたが、 異なるIDを持つ複数のタグを対象に貼り付けることで、 対象物までの距離を計測できる。 タグ間の間隔データをあらかじめIDと関連付けておけば、 認識された時の映像内での間隔と比較し、スケールに関する計算を行うことで 対象までの比較的正しい距離が認識できる。

ただし、関係ないタグがカメラ画像内に現れており、タグとIDの対応付けに 失敗した場合、対象との距離を正しく計算できない場合がありえる。 このような問題に対応するためには、たとえば以下の3つの方法が考えられる。

  1. ATからの指示で赤外線タグ上の可視光LEDを点灯させ、 可視光LEDの点灯前と点灯後でカメラ画像の差分をとることで タグの位置を検出する方法である。 その結果、IDと位置の正しい関係付けが得られるので正確な 距離を計測することができる。この方法では、 可視光LEDが光るため、対象物の位置に誘導しているということが 視覚的にも分かりやすい。
  2. 他の対象物認識手法と組み合わせる方法も考えられる。たとえば、 赤外線タグに特殊な視覚的タグを印刷するなどして、 カメラに映るその視覚的タグの大きさからも距離を計測する方法である。
  3. 誤って衝突しそうになった場合のために センサーを強化する方法である。 現時点でも超音波距離センサーが接続されているが、センサーが比較的大きく、また 超音波が出てから反射して戻ってくるまでの時間を計ることで距離を計測する デバイスであるので、対象物に凹凸面がある場合など、送信された超音波が 戻ってこない場合には障害物までの距離を計測できないという問題点がある。 したがって、さらに指向性は強いが小さい、光学的に距離を測る PSD (Position Sensitive Detector)センサーなども用いて衝突しないように 対策することなどが考えられる。

4.4 知識の構築と利用

現時点ではこのシステムは、ネットワークを介して情報を検索するが、 自ら新しい情報の生成は行わない。 しかし、 GPSやRFIDタグなどを用いてATが自らの位置を知っていることを前提とすると、 さまざまな場所を移動し、同時に対象物を認識するこのシステムは、 対象物とその位置に関する対応付けを知らない間に構築していると 考えることもできる。

さらに、複数のAT間でその情報を共有すれば情報は飛躍的に増え、 対象物の物理的な検索にも応用ができるようになるはずである(図)。

実世界対象と位置の対応付けと検索

図4.8: 実世界対象と位置の対応付けと検索

ただし、対象物の位置が変わりうることも考えられるため、 関連情報として移動の頻度などをあらかじめ与えておくことで 対応することが可能である。また、認識されてから間もないものは その場所にとどまっている可能性が高いので、認識されてからの 時間を見て存在する場所の確からしさを提示することも考えられる

対象物を探すだけではなく、対象物に対する関連情報を強化する枠組みを構築する方向にも 応用を考えることが可能である。 たとえば、掲示板やアノテーションのような仕組みを用いることで搭乗者が 少しずつ対象に関する情報を補足していくのである。 ただし、乗り物に乗りながらその作業を行う必要があるので、たとえば音声入力などを用いて、 簡潔で、なおかつ短時間でその作業が行われる必要があると考えられる。 そういう意味で、このようなシステムの実現には、ユーザー入力に関するさらなる考察が必要になるであろう。

これまでは、システム全体としての知識の構築について考察を行ったが、 個人のレベルでの経験の記録とその応用を考えることもできる。 たとえば、この章のはじめに述べた対象物の関連情報を提示する アプリケーションでは、 利用者のカメラの操作や、クリックの操作などで、搭乗者が どの対象物に対して興味を持ったかが推察される。 このような搭乗者の行動を記録しておくことによって、 対象物の検索を行うなどの際には、過去に興味を持ったものが 上位にくるようにするなどの応用が考えられる。 また、移動中にも対象物の認識をすることで、 利用者がよく見ているであろう対象を推察することができる。 たとえば、搭乗者のオフィスの中にコーヒーメーカーがあれば、 ATはそのコーヒーメーカーを何度も認識するはずである。そして、 そのコーヒーメーカーは毎日見るため強く印象に残っているはずである。 この場合も、搭乗者がコーヒーメーカーを検索する際には、 オフィス内のコーヒーメーカーを先に提示するなどの工夫が 可能となる。

さらに、コーヒーメーカーの使用頻度が高くなると、コーヒーメーカーの前を 通るときにATが搭乗者に注意を促すなど、搭乗者側からではなく、環境側から 自動的に、有用と思われる働きかけを行うなどの応用が可能となる。

5 関連研究

実世界の対象物を認識する際、あるいは、人間の位置を知る際には 何らかのセンサーを必要とする。たとえば、赤外線センサーであったり、 カメラであったりする。ここでは、対象物を認識する手法として 人間がセンサーを携帯するものと、環境側にセンサーを埋め込むものとで 大別しそれぞれについて関連する研究を取り上げた。

そして最後にまとめとして、今回取り上げていないものも含め、 さまざまなシステムをさまざまな観点で比較し、 本システムの優位点についての考察を行った。

5.1 センサー携帯型の対象物認識手法

5.1.1 Ubiquitous Talker

これは、拡張現実感を実現するために、Sony CSLの長尾(現所属は、名大)らが作成したシステムである。 自然言語処理の過程で発話された状況や文脈が限定される仕組みを構築することで、 言語の認識を容易にするという発想からシステムを構築している。

このシステムは、周囲を映し出す小型の液晶ディスプレイと、 視覚的タグ(色分けされたバーコード)によってIDを付与された実世界の対象物を認識するカメラ、 音声認識用のマイクと合成された音声を出力するスピーカーから構成されている。 システムはディスプレイと音声によって対象物に関連する情報をユーザーに提示し、 また、音声によって対象物に質問などの要求を行えるようになっている。

しかし、このシステムは、開発当時のマシンの制約から音声・映像処理用マシンと有線で接続されているため、 どこにでも携帯できるものではなかった。

5.1.2 WalkNavi

WalkNaviはUbiquitous Talkerと同様に長尾らによって開発されたシステムである。 このシステムは基本的に、背負って屋外で使用することを想定しており、 GPSと赤外線のIDを用いることによって利用者の位置を知ることで 場所に関連したWebページを携帯ディスプレイに表示したり、音声や地図で経路案内を行う。

歩きながらシステムの操作に集中することは難しく、また、入力の負荷を 減らすために、このシステムは自然言語での対話によって操作ができるようになっている。

このシステムは、GPS、バッテリをはじめ多くの機器を背負う必要があるため 体力が必要とされるシステムである。その点で、ATは機器を背負ったりする必要が 無いため利用者に優しい。

5.2 センサー埋め込み型の対象物認識手法

5.2.1 Active Badge Location System

Active Badge Location SystemはORL (Olivetti Research Ltd, 現在のAT&T Laboratories Cambridge)で 開発されたオフィス環境で人の位置を読みとるシステムである。 利用者は、各人の固有の赤外線信号を出すようなバッジを身に着ける。 これは環境に設置されたセンサーネットワークで読み取られさまざまなサービスに利用される。 たとえば、人の居場所とその人から一番近い電話の内線番号を 一覧にすることで、電話の転送を効率化することなどが行われた。 このサービスを実際にORLで使用したところ、電話の受付をした人が 電話の転送のために人を探し回ったり、人の居場所をたずね回ったりする必要が無くなり、 同時に、研究員も会議をひらく際の連絡がとりやすくなるなどの利点が確かめられた。

ただし、行動が自分の手の届かないところで記録され、そして使われることになるので、 プライバシーについて気にかねる必要があるという問題点がある。 しかし、このシステムは単にバッジのありかをトレースしているのであり、 システムは利用できなくなるが、都合が悪いときはバッジをはずすという 手段が用意されている。 このような回避法があることについて開発者は、システムが受け入れられるためには 重要なことだと考えているようである。

このシステムは、人間にバッジをつけ、環境側にセンサーをつけるという仕組みになっており、 環境側の対象物にタグをつけ、人の乗る乗り物にセンサーをつけるという本研究での 手法とは異なっている。 そのため、人間が行動する範囲にセンサーをつける必要があり、 広いオフィスでは設置するコストが大きくなるという問題がある。

5.2.2 ALTAIR

Active Badgeと同様に、赤外線を発信するタグを用いて人の位置を 認識する方法にはほかに 奈良先端科学技術大学院大学の坂田によるALTAIRがある。 このシステムでは、タグの検出にカメラのみを用いる。 このシステムは赤外光に撮像感度を持つ広角カメラを用いて、 ユーザーが持ち歩く無線端末に取り付けたタグの発光する 赤外光を撮影することでユーザーの位置同定を行い、ネットワーク技術を利用してタグを制御することで、 自動的に各ユーザーを識別することを可能にしているのである。 タグの位置をカメラで同定する点では本論文で提案する手法と同じであるが、 タグの識別方法が異なっている。 本論分で提案するシステムでは、タグ自身が赤外線でIDを発信しているので 無線端末以外の対象物にも対応が可能であるが、 このシステムでは、タグの識別に無線端末の存在を仮定しているので、 無線端末を持った人の位置しか認識できない。

5.2.3 Active Bat System

また、一方で、Active Badgeの後継としてAT&Tで開発された、Active Bat System も存在する。 このシステムはBatと名付けられた利用者が携帯する小型のデバイスを用い、 3次元で位置をはかり取ることができるものである。 計測原理としては3点測量を用い、Batから発せられる超音波を多点で読み取り位置を計測する。 計測の精度は高いが、読み取りセンサーは1.2mの格子状に配置しなくてはならないという問題点がある。

5.3 関連研究との比較

これまでに挙げた関連研究などと本システムを比較する。

ここでは、6つの点でシステムの比較を行った。その結果を、表に示す。 比較項目は以下に挙げるものである。

  • 手法: その対象物の認識手法が用いている、手法を挙げている。
  • 対象識別能力: 対象物や人間を区別することができるかを比べている。 EasyLivingでは個々の人が誰であるかわからないので、この能力は 無いと判断した。
  • 認識主体: 対象物あるいは人間の位置を認識する場合、 ユーザーが自ら周囲の対象物を認識するのか、環境側に 埋め込まれたセンサーなどで全体を一元的に認識する方法かを 分別している。
  • 精度、粒度: システムごとの対象物認識の精度や、目的としている 対象の粒度について比較を行っている。
  • 機動性: システムを利用したアプリケーションを利用する際の 利用者の動きやすさを比べている。たとえば、 WalkNaviは重い機材を背負う必要があるため△である。
  • コスト: 設置する際に必要とされる、導入コストを比較している。 環境側にセンサを設置する必要の無いATやUbiquitous Talker は◎とした、また、 環境側にセンサーを設置する必要がある、Active BadgeやALTAIR,BATなどは 導入に必要なセンサーの量などに応じて○または△の評価をしている。
表5.1:システムの比較

手法

対象識別能力

認識主体

精度、粒度

機動性

コスト

Ubiquitous Talker

カラーコード,カメラ

ユーザー

×

WalkNavi

GPS,センサー

ユーザー

Active Badge

赤外線,センサー

システム

部屋単位

ALTAIR

画像処理,ネットワーク

システム

Bat

超音波

システム

EasyLiving

カメラ

システム

AT(提案手法)

赤外線,センサー,カメラ

ユーザー

表から明らかなように、本研究で提案しているAT上の対象物認識システムは 他の手法と比べても優位であることが分かる。

このほかに、 この表から分かることは、環境側にセンサーを埋め込む方式ではシステム側で一元的に 読み取る方式が多いという点である。これは、読み取る対象物と同じ場所にある タグが赤外線や超音波でIDを出す仕組みになっているためである。 このような仕組みは、対象物の位置が常にシステムに読み取られることになるため 物理的な検索には適しているが、人間の位置を把握ためのシステム(ロケーションシステム) としてはプライバシーの問題を意識する必要がある。

しかし、ATでも用いている手法であるが、逆にRFIDタグのように物理的環境に固定されている対象がIDを 持つ場合もある。この場合には対象物の位置をユーザー側で認識することになるため 人間の位置の把握が可能であると同時にプライバシーの管理にも適していると考えられる。 RFIDタグを用いるこのような手法で先行する研究としてはNaviGetaなどがある。

6 おわりに

本章では、本研究のまとめと今後の課題について述べる。

6.1 まとめ

本研究では、乗り物に情報機器を搭載し、人間がそれに乗り込むというMountable Computing (搭乗型コンピューティング)という 発想のもと、情報世界と物理世界の融合を実現するプラットフォームとして 開発を行った知的移動体AT上に、赤外線信号を送受信するタグがつけられた実世界対象の 対象物を認識し、その方向を検出する仕組みを設計・実装した。

また、その仕組みを用いたアプリケーションとして、 対象に関連する情報をカメラ映像内に重ねて搭乗者に提示する 拡張現実感システムを構築した。 従来、拡張現実感を実現するシステムでは重い機材を持ち歩くことなどが 求められたが、移動体上に機材を搭載することでそのような不便さを感じさせない システムを構築することができた。 また、移動体上にシステムを構築したことによって初めて可能になる、 この仕組みをベースにした、さまざまな新しいアプリケーションについて 考察を行った。

6.2 今後の課題

今後、改良すべき点などを挙げる。

6.2.1 機能の統合

現在、ATを用いてさまざまな実験が行われている。 たとえば、1台のATがたどった経路を、別のもう1台のATが たどる実験や、地図情報を与えて指定の位置まで移動する実験が 行われている。 このほかにも、床や地面に設置されたRFIDタグからIDを得て場所を認識し、 情報を提示するなどの機能が実現されている。

したがって、今回提案した、赤外線タグを用いる方法だけではなく。 対象物が建物などの大きい場合はRFIDタグを用いて、 対象物が小さい場合は赤外線タグを用いるなどの使い分けを考えることができる。 しかし、RFIDタグと赤外線タグを統合して扱えるような仕組みにはなっていないため 現時点ではそういった使い分けができない。 また、走行制御と赤外線タグやRFIDタグのシステムとが緊密に連携したシステムに はなっていないため、得られる情報を総合して搭乗者に提示することや、 利用者が興味を持ちそうなので減速するなどの処理ができないでいる。

本システムと、RFIDタグのシステム、走行制御とを連携して 動かすことができれば、電源が切れかけているときに コンセントの近くを通りかかったときに搭乗者に、充電することを促したり、 速度の制限が必要な場所では速度が制限内に収まるようにするなどの応用が 考えられる。

6.2.2 認識方法の併用

このシステムは、近距離にある、比較的小さいものを対象にしている。 遠距離になると赤外線が届かなくなるが、大抵の場合、大きなものは 離れた場所から見るので大きなものには適していない。 たとえば、大きな山や海のようなもの、ビル全体などを認識するのは 難しいのである。このような対象物には画像処理、特にパターンマッチング が適していると考えられる。

パターンマッチングを単体で用いると、海の写真や、 山のポスターにも反応してしまう可能性があるが、赤外線のタグも 併用すればそのような誤認識を防ぐことが可能であろう。 タグを設置することであらかじめそれは写真であると認識 できるようにしておけば良いからである。

6.2.3 装置の小型化

センサーが大量に必要なため本システムは比較的大きなものとなってしまった。 ATに搭載している赤外線信号送受信装置ではFPGAを使用しているが、これはやや オーバースペックであった。したがって、適切な性能のものに変更することで多少の小型化は可能である。 また、装置で一番大きな体積をとっているのは赤外線センサーであるので、センサーを 小型化できれば装置全体の小型化を実現できる。 ATは乗り物であるので大きな装置を搭載することができるが、装置を小さくすれば より多くの装置を詰め込めるため都合がよい。

6.2.4 赤外線の指向性

本システムでは赤外線の指向性を用いることで対象の位置を認識することが可能となっているが、 一方で指向性が強いために赤外線タグの設置位置とATとの位置関係によっては 対象を認識することができないという問題点がある。 しかし、赤外線LEDの光に指向性があることによって、より細かい 情報提示が可能となっている。たとえば対象物の面ごとに別のIDを割り振ることで、 異なった情報を提示することが可能となっている。 したがって、赤外線タグの指向性はそのまま残し、 対象物の複数の位置にタグを貼り付けることで その問題点を緩和することが期待される。つまり、対象物の複数の位置に 赤外線タグをつけることで、ATから見たときに 赤外線の信号が受信できない死角を作らないようにするのである。 しかし、このタグを複数貼る方法は十分に赤外線タグが小さくないと タグが目立ってしまい実用的ではない。ただし、 赤外線タグの機能はそれほど複雑ではないので現在の半導体技術でも 十分に小型化することができると考えられる。

6.2.5 対象認識の精度

赤外線センサーから得られる対象のIDとカメラ映像を画像処理して得られる対象の位置 とを対応付ける処理がなされるが、ここで対応付けに失敗することがあるため 誤った位置に関連情報が提示されるという問題点がある。 この問題点は、さらにたくさんのセンサーを装着することで緩和されると考えられるが、 装置の体積がさらに増えることになるため、バランスをとる必要がある。

また、移動中では、誤った場所に情報の提示がなされるという問題点がある。 これは、赤外線タグから送信される赤外線信号の送信頻度が低く、それを補うために 情報の寿命を長くとっているのが原因となっている。これを解決する方法として 赤外線信号を送信する頻度を上げることが考えられるが、 この方法を用いると赤外線タグの電池寿命を著しく短くするため 運用コストが高くなる。しかし、 ATと赤外線タグ間では双方向通信が可能なので、ATが近くにいるときだけ IDの情報を赤外線信号として出すようにすれば、電池寿命を伸ばすことが 可能である。

謝辞

本研究を進めるにあたり、指導教官である長尾確教授、大平茂輝助手には、研究の心構えなど基礎的なことから、 ゼミ等を通しての貴重なご意見、論文指導等を賜り大変お世話になりました。御礼申し上げます。

梶克彦さんには、研究室の明るい雰囲気作りに努めていただき大変感謝しております。 山根隼人さんには、研究に関する多くの有用なコメントをいただき大変感謝しております。 山本大介さんには、映像を扱う際にアドバイスをいただいたり、研究だけではなく 生活面でも相談にのって頂きました。 松本和之さんには、研究以外の面でもさまざまな助言を頂き感謝しております。 加藤範彦さんには、さまざまな新しいテクノロジについて教えていただきました。 松浦真治さん、清水敏之さん、細野祥代さんには、研究に関して大変有用なコメントを頂きました。 ありがとうございました。

田中和也君には、本研究だけではなく研究室生活などさまざまな局面で 有用な意見を頂きました、本当に感謝しております。 また鈴木考行君、不破洋平君、小酒井一稔君には、本研究に関して多くの助言などを頂き、 大変参考になりました。ありがとうございました。

長尾研究室秘書の兼松英代さんには学生生活ならびに研究活動のための 様々なサポートをいただきました。この場を借りて御礼申し上げます。