以下、本発明の実施の形態について、図� ��を参照して詳細に説明する。

 (実施の形態1)
 図1は、本発明の実施の形態1に係る空間入� �動作表示装置の構成を示す図である。本実� �の形態は、コンピュータやオーディオ装置� �どの電子機器のユーザとのインターフェー� �用途に好適な空間入力システムに適用した� �である。

 図1において、空間入力動作表示装置100は 、カメラ101と、形状認識部102、形状データ格 納部103、認識データ格納部104、動作認識部105 、動きデータ格納部106、制御部107、画像生成 部108、表示部109、及び画像データ格納部110を 備えて構成される。

 カメラ101は、画像を入力する手段であり� ��レームごとに逐次画像を送出する。

 形状認識部102は、カメラ101の画像と形状� ��ータ格納部103に格納された形状データとを� ��較して対象の形状を認識する。また、形状� ��識部102は、カメラ101が出力する画像と形状� ��ータ格納部103にある形状データとを比較し� ��最も近い形状を選択後、その差分データと� ��像のどの位置に形状データがあるかの位置� ��報とを出力する。また、形状認識部102は、� ��メラ101が出力する画像と形状データ格納部1 03にある形状データと補助データを比較し、� ��も近い形状を選択後、その差分データと画� ��のどの位置に形状データがあるかの位置情� ��とを出力する。

 形状データ格納部103は、形状データと色� ��どの補助情報を予め格納する。

 認識データ格納部104は、形状認識部102か� ��の差分データと位置情報とを格納する。具� ��的には、認識データ格納部104は、形状デー� ��のベクトルデータの差を差分ベクトルデー� ��として蓄積し、さらに、形状が画面のどこ� ��あるかを指し示す位置情報も同時に蓄積す� ��。

 動作認識部105は、認識データ格納部104に� ��納された差分データと動きデータ格納部106� ��格納された動きデータとを比較して動きパ� ��ーンの認識及び/又は予測を行う。例えば、 動作認識部105は、差分データと動きデータと を比較して最も近い順にN(Nは任意の自然数)� �の動きデータを選択し、選択した動きデー� �から補間データを作成し、動きデータと補� �データとの比較により動きパターンを認識� �る。また、動作認識部105は、差分データと� �きデータとを比較して最も近い動きデータ� �選択して認識データ格納部104に書き込むと� �もに、認識データ格納部104から以前の認識� �ータを読み出し、現在と過去のデータの差� �からさらなる動きベクトルを生成する。さ� �に、動作認識部105は、判定結果を動きデー� �格納部106に蓄積し、該判定結果の頻度によ� �一致した動きデータの順序付けを行うとと� �に、順序で動きデータを検索する。

 動きデータ格納部106は、登録した動きデ� ��タを予め格納する。

 制御部107は、動作認識部105の動きパター� ��情報と認識データ格納部104の位置情報に基� ��いて、生成すべき画像の選択及び回転・拡� ��・縮小を含む加工情報を加えた画像情報を� ��像生成部108に出力する。

 画像生成部108は、画像情報から画像デー� ��格納部110に格納された画像データを選択し� ��選択した画像データを元に回転・拡大を含� ��加工を行うことで画像を生成する。

 表示部109は、画像生成部108により生成さ� ��た画像を空間に表示する。また、表示部109� ��、カメラ101の出力画像と画像生成部108が出� ��する画像を合成する。

 画像データ格納部110は、画像データを予� ��格納する。

 ここで、空間入力動作表示装置100は、形� ��データ格納部103が、形状データに加え色を� ��む補助情報を予め格納し、形状認識部102が� ��カメラ101の画像と形状データ格納部103の形� ��データと補助データを比較し、認識データ� ��納部104が、形状認識部102の認識結果を基に� ��最も近い形状を選択し、その差分データと� ��像のどの位置に形状データがあるかの位置� ��報とを格納する態様でもよい。

 以下、上述のように構成された空間入力� ��作表示装置100の動作について説明する。

 形状認識部102は、カメラ101が出力する画� ��を入力し用意された形状データ格納部103内� ��形状データを用いて登録された形状である� ��をフレーム単位で判定する。判定方法は、� ��録された形状との相関をとることが基本で� ��る。相関を取る方法にはさまざまな手法が� ��る。例えば、入力画像と登録された形状を� ��素単位で差分を取り、その絶対値の和が閾� ��を超えれば登録された形状として認識でき� ��。別の認識方法として、輪郭抽出を行い、� ��郭情報だけで判定したり、細線化処理を行� ��トポロジー(図形の構造)で判定したりする� �ともある。さらには、判定された形状が占� �る色の割合を勘案したり、以前のフレーム� �判定した結果と時間経過した判定結果を用� �たりすることもある。これらは組み合わせ� �りすることで判定精度が向上する。

 形状データとの判定の結果とは完全に一� ��することは殆どない。この差を示すため、� ��状をベクトル集合体で表したベクトル情報� ��判定結果から生成する。形状データのベク� ��ルデータを付属データとして作成しておけ� ��、両者のベクトルデータの差が形状データ� ��らの変形を示すことになる。このベクトル� ��ータの差を新たに差分ベクトルデータとし� ��認識データ格納部104に蓄積していく。さら� ��、形状が画面のどこにあるかを指し示す位� ��情報も同時に蓄積する。したがって、フレ� ��ムごとに認識されたデータが逐次蓄積され� ��ことになる。

 図2は、手200の場合のベクトルデータの例 を示す図である。図2において、●印で示す� �ード(ここでは指の関節)201間を結ぶ線分202が ベクトルデータとなる。

 また、前述した位置情報には形状の大き� ��を判断することで奥行き情報を含ませるこ� ��ができる。すなわち位置情報からは3次元的 な位置を、差分ベクトルデータからは形状の 角度や状態を得ることができる。したがって 、3Dアプリケーション、例えばゲームのよう� ��物体をモデリングしたことと等しい。

 動作認識部105は、認識データ格納部104の� ��分ベクトルデータを用いて動作判定を行う� ��具体的には、動作認識部105は、予め登録し� ��おいた動きデータ格納部106内の動きデータ� ��の比較を行うことで動作判定を行う。動き� ��ータは、図1Aに示すように、動きのパター� �によりテーブル化される。動作認識部105は� �認識データ格納部104の差分ベクトルデータ� �比較し、最も一致度が高いテーブルを抽出� �ることで、一致する動きパターンを認識す� �。

 制御部107は、形状認識部102が出力する所� ��の形状を認識したことを示す一致度及び相� ��座標と、動作認識部105が出力する動きパタ� ��ンを入力し表示制御を行う。形状の認識度� ��低い場合及び定常状態、すなわち動きパタ� ��ンにおいて差分ベクトルデータが最も小さ� ��場合、基本となる映像データの生成を画像� ��成部108に指示する。ここで、形状の認識度� ��低い場合はなにも表示しない、もしくは半� ��明の映像データを作るなどいくつかの表現� ��法が考えられる。さらに、形状認識部102が� ��す相対座標、動作認識部105が出力する動き� ��ターンに従った映像出力指示を出す。

 画像生成部108は、与えられた指示と画像� ��ータ格納部110にある映像データを用いて画� ��を生成する。生成した画像は、表示部109に� ��りフレームごとに表示される。

 以上によれば、動きパターンごとに映像� ��変化し表示部109に出力される。例えば、手� ��指の動きに対する動きデータを作っておく� ��この動きに対するキーボード画像も合わせ� ��データ化しておく。指の動きに連動したキ� ��ボード画像が見えることになる。通常キー� ��ードで変化するものは一部のキーであるの� ��、相対座標と動きパターンにより定常時の� ��ーボード映像から該当するキーだけの映像� ��変化させる。例えば、図1(a)に示す[F]のキー 位置に左手の人差し指があることが相対座標 によって把握されており、動きパターンによ り[F]が押されたことが分かる。

 以上詳細に説明したように、本実施の形� ��によれば、空間入力動作表示装置100は、カ� ��ラ101で取得した画像と形状データ格納部103� ��格納されたデータとを形状認識部102で比較� ��ることで対象の形状を認識する形状認識部1 02と、形状認識部102により認識されたデータ� ��差分ベクトルデータと動きデータ格納部106� ��格納された差分ベクトルデータとを比較し� ��動きパターンの認識と予測を行う動作認識� ��105と、動作認識部105の動きパターン情報と� ��識データ格納部104の位置情報に基づいて、� ��成すべき画像の選択及び回転・拡大・縮小� ��含む加工情報を加えた画像情報を出力する� ��御部107と、画像情報から画像データ格納部1 10に格納された画像データを選択し、選択し� ��画像データを元に回転・拡大を含む加工を� ��うことで画像を生成する画像生成部108と、� ��像生成部108により生成された画像を空間に� ��示する表示部109と備える。これにより、空� ��での手の動きを画像によって認識すること� ��でき、空中に手や指を静止させることなく� ��空間での入力操作が可能となる。例えば、� ��ーボード押下したボタンの位置を認識する� ��とで仮想的なキー入力が可能となる。また� ��物理的な装置やスペースを必要とせず、空� ��入力操作を表示装置で確認しながら電子機� ��などの操作を行うことができる。

 また、本実施の形態では、動作認識部105� ��、差分データと動きデータとを比較して最� ��近い順にN個の動きデータを選択し、選択し た動きデータから補間データを作成し、動き データと補間データとの比較により動きパタ ーンを認識するので、予め格納される動きデ ータと完全に一致しない場合でも補間データ との比較により適切な操作の動きを検出する ことができる。

 また、本実施の形態では、動作認識部105� ��、差分データと動きデータとを比較して最� ��近い動きデータを選択して認識データ格納� ��104に書き込むとともに、認識データ格納部1 04から以前の認識データを読み出し、現在と� ��去のデータの差分からさらなる動きベクト� ��を生成するので、予め格納される動きデー� ��と完全に一致しない場合でも、次回以降は� ��たな動きベクトルとして生成され、記憶さ� ��た動きデータとの比較により、前回と同様� ��認識結果を示すことができる。

 また、本実施の形態では、表示部109は、� ��メラ101の画像と画像生成部108の画像を合成� ��るので、例えばカメラの取り付け位置を頭� ��やメガネの一部に固定するなどとすること� ��、実際の視点での映像に画像生成装置で生� ��したキーボード等の画像を合成して表示さ� ��ることができる。

 また、本実施の形態において、形状デー� ��格納部103は、形状データに加え色を含む補� ��情報を予め格納し、形状認識部102は、カメ� ��101の画像と形状データ格納部103の形状デー� ��と補助データを比較し、認識データ格納部1 04は、形状認識部102の認識結果を基に、最も� ��い形状を選択し、その差分データと画像の� ��の位置に形状データがあるかの位置情報と� ��格納する構成とすることで、予め格納して� ��る形状データだけでは判定が困難な場合で� ��、補助データとの比較により判定精度を向� ��させることができる。

 また、本実施の形態において、動作認識� ��105は、判定結果を動きデータ格納部106に蓄� ��し、該判定結果の頻度により一致した動き� ��ータの順序付けを行うとともに、順序で動� ��データを検索する構成とすることで、よく� ��う操作の動作との比較が処理の前段で行わ� ��るようになるため、判定速度と判定精度を� ��上させることができる。

 (実施の形態2)
 実施の形態2は、判定精度の向上を図る例に ついて説明する。

 実施の形態2では、形状認識部102は、形状 認識のための判定基準を有する構成とする。 形状認識部102に、予め判定基準を与えておく ことで判定精度を向上させることができる。 例えば手を判定させる場合、操作する者の手 の特徴を登録することなどである。指の長さ や太さ、指輪の情報などが特徴に相当する。

 また、入力画像から平面情報だけでなく� ��体情報を認識させることができればさらに� ��定精度が向上する。立体情報を認識するに� ��形状の大きさがどのくらいの縮尺率かなど� ��相対的な奥行き位置が分かる。また、手の� ��状により立体情報は予め判断できる場合が� ��い。例えば、指先を曲げるとその画像の指� ��短く映ることから曲げていることが判断で� ��、指先を曲げている場合は人間工学上曲げ� ��度などがある程度類推できるので、指の節� ��との立体情報もデータベース化しやすい。� ��た、カメラ101を原点とした指までの相対座� ��を得ることも可能である。

 動作認識部105は、動きデータ格納部106内� ��動きデータに完全に一致しない差分ベクト� ��が生じた場合、動きデータから一致判定の� ��いものを2つ抜き出し、一致度から動きデー タの遷移を判断する。例えば、動作認識部105 は、動きデータの中のテーブル1とテーブル4� ��一致度が高くそれぞれ等しければテーブル1 からテーブル4へ、もしくはテーブル4からテ� ��ブル1の動きを行うと判定できる。ここでは 2つを抜き出して判定する例を示すが3つでも4 つでも遷移を示す中間情報が詳細化されるだ けであり、上記2つの場合と同様に判定可能� �ある。

 (実施の形態3)
 実施の形態3は、必要な箇所を手前に表示さ せるマスク処理の例である。

 実施の形態3では、画像データ格納部110は 、画像データと共にマスクデータを有し、形 状認識部102は、形状データを出力し、画像生 成部108は、形状データに属する部分と画像デ ータ格納部110のマスクデータの論理和を行い マスク情報として出力し、表示部109は、画像 生成部108のマスク情報に従ってマスク状態と なる画素にはカメラ101の画像出力画素を割り 当てそれ以外は画像生成部108が出力する画素 を割り当てた画像を表示する。

 表示部109が透過型であり背景が透かして� ��るものを仮定する。ここで、形状認識対象� ��ある物体と重ね合わせるように画像生成部1 08が映像出力位置を調整することが考えられ� ��。また位置だけでなく、映像の拡大・縮小� ��変形を行うことで、形状認識対象物に一致� ��た表示が可能である。これらの処理は汎用� ��グラフィックスエンジンなどで行うが画像� ��成部108に組み込まれているとする。

 この場合、表示部109と形状認識対象物と� ��相対的な関係を予め情報として与える必要� ��ある。カメラ101と表示部109との距離が0、す なわちそれらが物理的に一体化しているか、 相対距離や相対角度が固定になる必要がある 。但し後者は、表示部109の視線情報を把握し ておく必要もある。

 また、映像データをそのまま表示部109に� ��すと、写された映像が形状認識対象物を覆� ��隠してしまう。ここで、形状認識部102によ� ��形状対象物をマスクさせるマスクデータを� ��ることで、マスクされている画素には映像� ��出さないことにすれば形状認識対象物は覆� ��隠れなくなる。

 図3は、本発明の実施の形態3における形� �対象物をマスクした場合の表示例を示す図� �ある。図1と同一構成部分には同一符号を付� ��ている。

 図3において、頭部210に、オーバヘッドデ ィスプレイの表示部109と、カメラ101を設置す る。表示部109がキーボード300を表示する場合 、手200の上に表示してしまうと手200の動きが 分からなくなるが、図3a.に示すように、手200 の部分をマスクしてキーボード300を表示すれ ばキーボード300の上に手があるようにするこ とができる。

 このように、本実施の形態によれば、画� ��合成において、手などの画像生成装置の出� ��よりも手前に見える必要のある箇所をマス� ��することで、必要な箇所を手前に表示させ� ��ことが可能になり、操作性をより向上させ� ��ことができる。

 (実施の形態4)
 実施の形態4は、学習機能により判定精度の 向上を図る例について説明する。

 実施の形態4では、動作認識部105は、予め 学習機能を有する構成とする。動作認識部105 に予め学習機能を与えておくことで、判定精 度を向上させることができる。動作認識部105 は、過去に動きデータ格納部106内の動きデー タから一致判定した動作パターンを蓄積して 自動的にデータベース化を行い、動きデータ 格納部106に追加することで、次の動作をその データベースから予測することが可能となる 。

 例えば、実施の形態2で述べたように、動 きデータに完全に一致しない差分ベクトルが 生じた場合において、2つ以上のテーブルか� �動きを判定したとき、その一連の動作を学� �し記憶しておくことで、次に同じ動きを認� �した場合は同様の判定結果を得ることがで� �、判定精度を向上させることができる。

 また、この機能を拡張し、予めある動き� ��ターンを学習させておくことで、その動き� ��よる新たな入力操作を可能にすることもで� ��る。

 さらに、人が表示された結果を判断して� ��定することで確実に結果をフィードバック� ��ることも考えられる。

 (実施の形態5)
 実施の形態5は、3Dグラフィックス表示を適� ��した例である。

 実施の形態5では、形状データ格納部103は 、形状データに加え形状の3Dモデリング座標� ��びテクスチャ画像を含む3Dグラフィックス� �示用情報を予め格納し、画像生成部108は、� �御部107が出力する形状データに応じて3Dグラ フィックス表示用情報を取得して3D画像を生� ��し合成する。

 形状データ格納部103内の形状データに付� ��データとして3Dデータを格納しておくこと� �、画像生成部108を用いて3D画像を生成するこ とが可能となる。表示部109が透過型であり左 右別々の画像表示が可能な場合、3D画像を立� ��的に空間に表示させることができる。また� ��表示部109に実際のカメラ位置からの視点と� ��異なった仮想的な3D画像を表示させること� �できる。これらの処理は汎用の3Dグラフィッ クスエンジンが画像生成部108に組み込まれて いるとする。

 図4は、本発明の実施の形態5における仮� �的な立体映像の表示例を示す図である。

 図4に示すように、表示部109に仮想的に立 体的なキーボード300Dと手200Dを表示させるこ� ��ができる。この構成によれば、実際の視点� ��は異なった位置で立体的にキーボードや手� ��表示させることもでき、実際は見えないよ� ��な位置でも認識できるようになるため、操� ��しやすくなる。

 このように、本実施の形態によれば、実� ��の視点からは見えないような位置でも認識� ��きるようになるため、操作性をより向上さ� ��ることができる。

 (実施の形態6)
 実施の形態6は、さらに音声出力を備える例 である。

 実施の形態6では、音声合成LSI等からなる 音声発生装置(図示略)をさらに備え、制御部1 07は、動作認識部105の動きデータの選択情報� ��認識データ格納部104の位置情報に基づいて� ��生成すべき音声の選択情報を音声発生装置� ��出力し、音声発生装置は選択された音声を� ��生する。

 画像生成部108は、2D,3Dグラフィックスエ� �ジンが組み込まれており、この2D,3Dグラフィ ックスエンジンにより与えられた指示に対応 した画像を生成し、入力操作に対応した結果 を表示部109に出力する。また、制御部107は、 入力操作に対応した結果を音声などにして出 力する。この場合、制御部107にスピーカなど が組み込まれているとする。これにより、入 力状態をユーザにフィードバックすることで 入力操作の安定性を向上させることができる 。

 例えば、図3及び図4に示すように、表示� �109にキーボード画像が表示されている場合� �、例えば[F]のキーが押下されたという指示� �与えられたとき、画像生成部108は[F]のキー� �表示を点灯させる画像データを生成する。� �れにより、入力操作が視覚的に確認でき、� �た、制御部107により聴覚的にも確認が可能� �なる。これらによって、実際にはキーを押� �していないが、ユーザは押下したことが感� �的に認識できる。

 このように、本実施の形態によれば、聴� ��的にキーを押下したことを認識でき、キー� ��力操作の安定性をより向上させることがで� ��る。

 以上の説明は本発明の好適な実施の形態� ��例証であり、本発明の範囲はこれに限定さ� ��ることはない。例えば、上記各実施の形態� ��、各種の電子機器に適用した例であるが、� ��力対象を空間に表示するものであればどの� ��うな機器にも同様に適用できる。

 また、上記各実施の形態では空間入力動� ��表示装置という名称を用いたが、これは説� ��の便宜上であり、空間入力システム、空間� ��力装置等であってもよいことは勿論である� ��

 さらに、上記空間入力動作表示装置を構� ��する各装置、例えばデータ格納部等の種類� ��数及び接続方法などは前述した実施の形態� ��限られない。

 2007年12月18日出願の特願2007-325649の日本出 願に含まれる明細書、図面及び要約書の開示 内容は、すべて本願に援用される。