Login| Sign Up| Help| Contact|

Patent Searching and Data


Title:
SCREEN DISPLAY SYSTEM AND SCREEN DISPLAY PROGRAM
Document Type and Number:
WIPO Patent Application WO/2009/125481
Kind Code:
A1
Abstract:
A small screen display system (100) comprises a display device (1) having a large screen (11), a position detecting means (a sensor device (2) and a position detecting unit (4)) for detecting sight line positions of users (H) existing in a detection range (S) in front of the large screen (11), and a screen processing unit (6) for displaying small screens (7) on the large screen (11) depending on the sight line positions of the users (H) detected by the position detecting means.

Inventors:
MIYATA AKIRA (JP)
Application Number:
PCT/JP2008/057071
Publication Date:
October 15, 2009
Filing Date:
April 10, 2008
Export Citation:
Click for automatic bibliography generation   Help
Assignee:
PIONEER CORP (JP)
MIYATA AKIRA (JP)
International Classes:
G09G5/00; A63F13/213; A63F13/215; A63F13/26; A63F13/27; A63F13/52; A63F13/5378; A63F13/843; G06F3/01; G06F3/0481; G09G5/14; H04N5/66
Foreign References:
JP2001319217A2001-11-16
JP2007272365A2007-10-18
JPH08278758A1996-10-22
JP2003330697A2003-11-21
JPH11327753A1999-11-30
Attorney, Agent or Firm:
KIKUCHI, YASUHIRO (JP)
Yasuhiro Kikuchi (JP)
Download PDF:
Claims:
 第1の大きさの画像表示面を有する表示手段と、
 前記画像表示面の前方の所定領域に存在する利用者の視線位置を検出する位置検出手段と、
 前記位置検出手段が検出した前記利用者の視線位置に合わせて、前記画像表示面上に前記第1の大きさよりも小さな第2の大きさの小画面を表示する画面処理手段と、
を有することを特徴とする画面表示システム。
 前記画面処理手段は、
 前記位置検出手段が検出した前記利用者が移動したと判断した場合には、前記利用者の視線に合わせて表示した小画面を消去することを特徴とする請求項1記載の画面表示システム。
 前記位置検出手段は、
 前記画像表示面の前方の所定領域に存在する複数の利用者それぞれの視線位置を検出し、
 前記画面処理手段は、
 前記位置検出手段が検出した前記複数の利用者それぞれの視線位置に合わせて、前記第2の大きさの小画面をそれぞれ表示することを特徴とする請求項1記載の画面表示システム。
 前記画面処理手段は、
 前記位置検出手段が検出した複数の利用者それぞれの視線位置が予め定めた範囲内にある場合には、前記複数の利用者の視線位置に基づいて、前記第2の大きさの共通小画面を1つ表示することを特徴とする請求項3記載の画面表示システム。
 前記画面処理手段は、
 前記共通小画面を前記複数の利用者それぞれの視線位置を平均した位置に表示することを特徴とする請求項4記載の画面表示システム。
 前記画面処理手段は、
 前記複数の利用者のうち、前記位置検出手段が検出した最初の利用者の視線位置に合わせて、前記共通小画面を表示することを特徴とする請求項4記載の画面表示システム。
 前記画面処理手段は、
 前記位置検出手段が前記複数の利用者のうち、いずれかの利用者の移動を判断した場合には、残された利用者の視線位置に基づいて、前記共通小画面を移動して表示することを特徴とする請求項4乃至6のいずれか1項に記載の画面表示システム。
 前記画面処理手段は、
 前記残された利用者が2人以上の場合には、前記共通小画面を前記残された利用者の視線位置を平均した位置に表示することを特徴とする請求項7記載の画面表示システム。
 前記画面処理手段は、
 前記残された利用者が1人の場合には、前記共通小画面を前記残された利用者の視線位置に合わせて表示することを特徴とする請求項7記載の画面表示システム。
 前記画面処理手段は、
 前記位置検出手段が検出した複数の利用者それぞれの視線位置が予め定めた範囲内にあって、複数の利用者それぞれの視線位置の高さの差異が予め定めた閾値以上の場合には、前記複数の利用者それぞれの視線位置に合わせて、前記第2の大きさの小画面をそれぞれ表示することを特徴とする請求項4記載の画面表示システム。
 前記位置検出手段は、
 複数の人の体型及び姿勢に関する三次元形状パターンを備えており、
 検出した形状と、前記三次元形状パターンと比較することで検出した物体が人であるか否かを判定する第1の検出手段と、
 検出した物体が人である場合には、検出した利用者の頭頂の3次元位置を検出する第2の検出手段と、
 前記検出した利用者の頭頂の3次元位置から予め定められた方法により視線位置を算出する補正手段と、
を備えることを特徴とする請求項1乃至10のいずれか1項に記載の画面表示システム。
 前記画面処理手段は、
 前記位置検出手段が検出した前記利用者の視線位置の前記画像表示面からの距離に基づいて、前記第2の大きさを変化させることを特徴とする請求項1乃至11のいずれか1項に記載の画面表示システム。
 前記画面処理手段は、
 前記位置検出手段が検出した前記利用者の視線位置の移動に追随して、前記第2の大きさの小画面を表示することを特徴とする請求項1記載の画面表示システム。
 第1の大きさの画像表示面を有する表示手段に情報を表示するコンピュータが読み取り可能な画面表示プログラムであって、
 前記画像表示面の前方の所定領域に存在する利用者の視線位置を検出する位置検出ステップと、
 前記位置検出ステップで検出した前記利用者の視線位置に合わせて、前記画像表示面上に前記第1の大きさよりも小さな第2の大きさの小画面を表示する画面処理ステップと、
を前記コンピュータに実行させることを特徴とする画面表示プログラム。
 前記画面処理ステップは、
 前記位置検出ステップで検出した前記利用者が移動したと判断した場合には、前記第2の大きさの小画面を消去することを特徴とする請求項13記載の画面表示プログラム。
Description:
画面表示システム及び画面表示 ログラム

 本発明は、画面を表示する技術に関し、 に、大型ディスプレイに小画面を表示する 面表示システム及び画面表示プログラムに 適に適用できる。

 昨今、大型ディスプレイを街頭やイベン 会場に設けて、大型ディスプレイに広告画 やプレゼンテーション画像を表示すること ある。大型ディスプレイは同時に多数の聴 に対して情報を表示することできる便利な ールであるが、個々の聴衆それぞれがイン ラクティブに操作して、個々の操作に応じ 情報を大型ディスプレイに表示できるとさ に便利である。

 このようなインタラクティブ性を備える 型ディスプレイシステムとしては、例えば タッチパネルを設置した大型ディスプレイ おいて、複数の利用者がタッチパネルを操 すると、複数の利用者ごとに大型ディスプ イ上に子ウィンドウを表示する技術が提案 れている(例えば、特許文献1参照)。

特開2006-18348号公報

 しかしながら、タッチパネルを設置した 型ディスプレイにおいては、利用者は画面 触れて操作しなければならないので、その 作が煩わしいと感じる利用者も存在する。 に、子ウィンドウを表示させる際の操作は だしも、表示させた子ウィンドウを消去す 際の操作は煩わしく感じる。また、手が塞 っているような状況においては、操作がで ないという問題もある。

 一方、このような大型ディスプレイシス ムを管理する側においても、子ウィンドウ 表示させたままユーザが立ち去ってしまう とが想定されるので、子ウィンドウを消去 るシステム保守要員を必要とするという問 もある。

 本発明は、上記の事情を鑑みてなされた のであり、その課題の一例としては、大型 ィスプレイ上に小画面を表示するに際して ユーザが操作に煩わしさを感じることがな とともに、システム保守が容易な画面表示 ステム及び画面表示プログラムを提供する とにある。

 上記の課題を達成するため、請求項1に記 載の発明は、第1の大きさの画像表示面を有 る表示手段と、前記画像表示面の前方の所 領域に存在する利用者の視線位置を検出す 位置検出手段と、前記位置検出手段が検出 た前記利用者の視線位置に合わせて、前記 像表示面上に前記第1の大きさよりも小さな 2の大きさの小画面を表示する画面処理手段 と、を有する画面表示システムである。

 また、請求項14に記載の発明は、第1の大 さの画像表示面を有する表示手段に情報を 示するコンピュータが読み取り可能な画面 示プログラムであって、前記画像表示面の 方の所定領域に存在する利用者の視線位置 検出する位置検出ステップと、前記位置検 ステップで検出した前記利用者の視線位置 合わせて、前記画像表示面上に前記第1の大 きさよりも小さな第2の大きさの小画面を表 する画面処理ステップと、を前記コンピュ タに実行させる画面表示プログラムである

本発明の実施の形態に係る小画面表示 ステムの概観構成を示す図である。 本発明の実施の形態に係る小画面表示 ステムの機能構成図である。 本発明の実施の形態に係る小画面表示 ステムのセンサ装置の概観構成を示す図で る。 本発明の実施の形態に係る小画面表示 ステムの範囲検出処理の流れを示すフロー ャートである。 本発明の実施の形態に係る小画面表示 ステムの範囲検出処理の流れを示すフロー ャートである。 本発明の実施の形態に係る小画面表示 ステムの画面表示処理の流れを示すフロー ャートである。 本発明の実施の形態に係る小画面表示 ステムの画面消去処理の流れを示すフロー ャートである。 本発明の実施の形態に係る小画面表示 ステムにおいて別々の小画面を見ている2人 の利用者が近づいた場合の小画面表示制御を 説明する図である。 本発明の実施の形態に係る小画面表示 ステムにおいて小画面を見ている利用者に の利用者が近づいた場合の画面表示制御を 明する図である。 本発明の実施の形態に係る小画面表示 システムにおいて複数の利用者が同時に大画 面に近づいた場合の画面表示制御を説明する 図である。 本発明の実施の形態に係る小画面表示 システムにおいて複数の利用者が1つの小画 を見ている状態からいずれかの利用者が立 去る場合の画面表示制御を説明する図であ 。

符号の説明

  1 表示装置
  2 センサ装置
  3 表示制御装置
  4 位置検出装置
  5 記憶装置
  6 画面処理装置
  7 小画面
  10 位置検出部
  20 記憶部
  30 画面処理部
  100 小画面表示システム
  H 利用者
  S 検知範囲
  P10 範囲検出処理
  P20 詳細位置検出処理
  P30 画面表示処理
  P40 画面消去処理

 以下、本発明の実施の形態を図面を用い 説明する。

<構成>
 図1は、本発明の実施の形態に係る大型ディ スプレイを用いた小画面表示システム(以下 小画面表示システムと略す)100の概観構成を す図である。小画面表示システム100は、例 ば、100インチを超えるような大画面11を有 る表示装置1と、大画面11前方の検知範囲Sに ける利用者Hを検出するセンサ装置2と、セ サ装置2の利用者検出の態様に応じて、表示 置1の大画面11上に利用者Hごとの小画面7を 成して表示する表示制御装置3と、を備えて 成され、個々の利用者Hの目線に応じて最適 な位置に最適な小画面7を表示するようにな ている。なお、本実施の形態においては、 1に示すような座標軸、すなわち、矩形の大 面11の横方向をx軸、縦方向をz軸(大画面11は xz平面上にある)、大画面11に垂直な方向をy軸 とした座標軸を用いて、以下、説明を行う。

 また、表示制御装置3は、センサ装置2と 続され、利用者Hの位置を検出する位置検出 置4と、小画面7を表示するための各種情報 記憶する記憶装置5と、表示装置1と接続され 、位置検出装置4による位置検出状況に応じ 、大画面11上に小画面7を表示したり、大画 11上に表示された小画面7を消去したりする 面処理装置6と、を備えている。なお、表示 御装置3の形態は、物理的に一つからなる装 置、または複数の装置がネットワーク接続さ れたシステム構成のいずれであってもよい。

 図2は、図1に示した小画面表示システム10 0の機能構成図である。小画面表示システム10 0は、機能的には大別して、位置検出部10と、 記憶部20と、画面処理部30と、を備える。

 位置検出部10は、センサ装置2と、位置検 装置4と、から構成されている。センサ装置 2は、検知範囲Sに利用者Hが存在すること、並 びに存在する利用者Hの三次元位置を検出で る非接触型のセンサ装置であれば何であっ もよい。本実施の形態では、図1及び図3に示 すように、センサ装置2として、赤外線セン 8と、超音波センサ9を検知範囲Sの上方の天 に配設し、検知範囲Sに存在する利用者Hを監 視可能としている。すなわち、赤外線センサ 8及び超音波センサ9は、検知範囲Sの真上に碁 盤目状に等間隔に配置され、赤外線及び超音 波を下方に向かって照射することにより、検 知範囲Sに存在する物体を検出するようにな ている。本実施の形態では、赤外線センサ8 、検出した物体(利用者H)の二次元位置(xy座 )を検出し、超音波センサ9は、検出した物 (利用者H)の三次元位置(xyz座標)を検出するよ うになっている。なお、本実施の形態では、 赤外線センサ8は、物体の大まかな位置を検 するのに用いているため、配置密度は超音 センサ9と比べて低くてもよい。

 位置検出装置4は、センサ装置2が検出し 情報を用いて、位置検出処理を行うように っている。本実施の形態における位置検出 理は、範囲検出処理P10と、詳細位置検出処 P20に大別される。範囲検出処理P10は、赤外 センサ8を稼働させて、赤外線センサ8が取得 した情報に基づいて、物体が存在する大まか な範囲を検出する処理である。一方、詳細位 置検出処理P20は、範囲検出処理P10の結果を受 けて、超音波センサ9を稼働させて、超音波 ンサ9が取得した情報に基づいて、範囲検出 理P10で検出された物体が人であるか否かを 断し、人である場合には、利用者Hの視線位 置を算出する処理である。

 記憶部20は、記憶装置5から構成され、小 面7を表示するための各種情報を記憶してい る。詳しくは、記憶部20は、検知範囲Sにおけ る各利用者Hの視線位置を管理している構造 配列A、表示されている各小画面7の表示位置 及び当該小画面7を見ている利用者Hを管理し いる構造体配列B、新たに視聴を開始した人 を管理する新規人ID、視聴を終了した人を管 する消去人IDなどの情報を記憶している。

 構造体配列Aは、利用者Hに関する情報を 理しており、利用者Hを一意に識別可能な人I D(HIDと表記する)、当該利用者Hの視線位置(3次 元座標で表し、EL(x,y,z)と表記する)、及び当 配列番号のデータが使われているか否かを す人ID使用フラグ(HIDFと表記する)を構成要素 とする構造体配列である。本実施の形態では 、構造体配列Aの配列番号をHIDとして用いて り、また、HIDFには、当該配列番号のデータ 使用されているときは1、使用されていない ときは0が設定されるようになっている。

 構造体配列Bは、表示する小画面7に関す 情報を管理しており、小画面7を一意に識別 能な小画面ID(DIDと表記する)、当該小画面7 表示位置(2次元座標で表し、DL(dx,dz)と表記す る)、当該小画面7を見ている人の人ID(WIDと表 する)、当該配列番号のデータが使われてい るか否かを示す小画面ID使用フラグ(DIDFと表 する)、及び当該小画面7を表示開始した時刻 (DTと表記する)を構成要素とする構造体配列 ある。本実施の形態では、構造体配列Bの配 番号をDIDとして用いており、また、DIDFには 、当該配列番号のデータが使用されていると きは1、使用されていないときは0が設定され 。

 新規人IDは、位置検出部10の処理において 、新たに視聴を開始した利用者Hを検出した きに記録される情報であり、当該利用者Hの ID(HID)が新規人ID(NewHIDと表記する)として設 される。

 消去人IDは、位置検出部10の処理において 、視聴を終了した利用者Hを検出したときに 録される情報であり、当該利用者Hの人ID(HID) が消去人ID(DelHIDと表記する)として設定され 。

 画面処理部30は、画面処理装置6と、表示 置1から構成されている。画面処理装置6は 位置検出部10における位置検出状況に応じて 、表示装置1の大画面11に小画面7を表示する 面表示処理P30、及び表示装置1の大画面11に 示されていた小画面7を消去する画面消去処 P40を実行するようになっている。

 画面表示処理P30は、位置検出部10の処理 おいて、新たに視聴を開始した利用者Hを検 したときに、検出された利用者Hの視線位置 に小画面7を表示する処理である。ただし、 に近傍に小画面7が表示されている場合や、 ぼ同時に複数人の利用者Hが現れた場合には 、新しく小画面7を表示しない、または既に 示されている小画面7を複数人の利用者Hにと って好適な位置に再表示するようになってい る。画面表示処理P30のこのような表示制御に 関しては、詳しくは後述する。

 画面消去処理P40は、位置検出部10の処理 おいて、視聴を終了した利用者Hを検出した きに、当該利用者Hが見ていた小画面7を消 する処理である。ただし、当該利用者Hが見 いた小画面7を他の利用者Hも見ていた場合 は、小画面7を消去せずに、他の利用者Hにと って好適な位置に小画面7を再表示するよう なっている。画面消去処理P40のこのような 示制御に関しては、詳しくは後述する。

 なお、小画面表示システム100は、具体的 は、少なくとも演算・制御機能を備えた中 演算装置(CPU)、プログラムやデータを格納 る記憶機能を備えたROM、RAM等からなる主記 装置(メモリ)及びハードディスクなどの補助 記憶装置から構成されている。このうち、位 置検出部10及び画面処理部30は、小画面表示 ステム100における演算・制御機能、記憶部20 は、小画面表示システム100における記憶機能 を具体的に示したものに他ならない。

 また、本実施の形態に係る各種処理(具体 的には、範囲検出処理P10、詳細位置検出処理 P20、画面表示処理P30、画面消去処理P40)を実 するプログラムは、上述した主記憶装置ま はハードディスクに格納されているもので るが、当該プログラムを携行可能なフラッ ュメモリ、CD-ROM、MO、DVD-ROMなどのAV機器やコ ンピュータが読み取り可能な記録媒体に記録 することも、通信ネットワークを介して配信 することも可能である。

<動作>
 次に、図4~図7を用いて、本発明の実施の形 に係る小画面表示システム100の動作につい 説明する。ここで、図4は、小画面表示シス テム100の位置検出部10における範囲検出処理P 10の流れを示すフローチャートであり、図5は 、小画面表示システム100の位置検出部10にお る詳細位置検出処理P20の流れを示すフロー ャートである。また、図6は、小画面表示シ ステム100の画面処理部30における画面表示処 P30の流れを示すフローチャートであり、図7 は、小画面表示システム100の画面処理部30に ける画面消去処理P40の流れを示すフローチ ートである。

(範囲検出処理)
 範囲検出処理P10は、上述したように、物体 存在する大まかな位置を検出する処理であ 、位置検出部10において常時、稼働してい 。

 まず、位置検出装置4は、赤外線センサ8 ら周期dt1ごとに、検知範囲S全体の値を取得 る(ステップS10)。

 次いで、位置検出装置4は、取得した値か ら、大画面11を見ている物体がいるか否かを 定する(ステップS20)、具体的には、取得し 赤外線センサ8の値から、温度T1(人間の体温 近い値が設定されている)以上の熱を有して 、面積S1(人間が占める面積に近い値が設定さ れている)以上の物体が検出され、かつ、こ 物体がほとんど動かないか否か(具体的には 周期dt1ごとに検出される物体の位置の変化 ら判断する)を判定する。すなわち、本実施 の形態では、温度T1以上の熱を有して、面積S 1以上の物体が検出され、かつ、この物体が とんど動かない場合は、物体は大画面11を見 ていると判断する。

 大画面11を見ている物体がいると判断し 場合には(ステップS20:YES)、位置検出装置4は 物体が占める範囲a1の面積s1を計算し(ステ プS30)、次いで、詳細位置検出処理P20を生成 て、範囲a1及び面積s1を引数として渡し(ス ップS40)、ステップS10に戻る。一方、大画面1 1を見ている物体がいないと判断した場合に (ステップS20:NO)、ステップS10に戻る。

 なお、ステップS20において、同時に複数 大画面11を見ている物体を検出した場合に 、それぞれの物体に合わせて、詳細位置検 処理P20を複数生成し、並列に動作させる。 た、ステップS20において、大画面11を見てい る物体を検出した場合の以降の範囲検出処理 P10においては、当該物体の再度の検出を防止 するため、赤外線センサ8を当該範囲a1におい ては稼働させないようにする。

(詳細検出処理)
 詳細位置検出処理P20は、上述したように、 囲検出処理P10で検出された物体が人である 否かを判断し、人である場合には、人の視 位置を算出する処理であり、範囲検出処理P 10からの指示により起動する。

 まず、位置検出装置4は、範囲検出処理P10 から範囲a1及び面積s1(ステップS40参照)を受け 取ると、範囲a1において超音波センサ9を稼働 させ(ステップS110)、超音波センサ9からの範 a1における値を取得し、物体の三次元形状を 検出する(ステップS120)。

 次いで、位置検出装置4は、検出した物体 の三次元形状と、予め登録されている人の形 状パターンとのマッチングを行い、検出した 物体の三次元形状が人の形状であるか否かを 判定する(ステップS130)。この判定処理は、人 間以外の物体(例えば、動物等)に対する誤作 をなくすための処理である。ここで、人の 状パターンとは、例えば、立っている状態 前かがみの状態、地面に座っている状態な 想定される人の姿勢に関する複数のパター を意味し、この人の姿勢に関する複数のパ ーンは、予め位置検出装置4に登録されてい る。このように、複数の人間の姿勢に関する パターンを保持しておくことにより、直立姿 勢の人を検出するほか、腰の曲がった老人な ど様々な体型及び姿勢の人を検出することが 可能となる。なお、除外パターン(例えば、 や猫などの動物の姿勢パターン)を予め登録 ておき、除外パターンに合致するか否かの 定機能も加え、除外パターンに合致する場 には、検出した物体の三次元形状が人の形 ではないと判断するようにしてもよい。こ 場合には、人間以外の物体に対する誤作動 さらに減少させることができる。

 検出した物体の三次元形状から、物体が であると判定したときは(ステップS130:YES)、 位置検出装置4は、利用者Hのxy平面上におけ 中心位置(x1,y1)と、利用者Hの高さz1を検出し( ステップS140)、次いで、利用者Hの高さz1から の高さz2を算出する(ステップS150)。ここで 利用者Hの高さz1は、頭頂部の高さであるの 、目の視線位置を算出するためは、z1を補正 する必要がある。本実施の形態では、目の位 置は頭の長さの略中央に位置すると考え、三 次元形状から検出される人の頭頂部の高さと 肩の高さの差から頭部の長さを算出し、それ を2で割った値Z1を引くことにより、目の高さ z2を算出するようにしている(例えば、頭部の 長さを略20cmとすると、Z1は略10cmとなる)。な 、より精密に目の高さを算出する場合には 頭頂部の高さに合わせた補正値テーブルを 成しておき、当該補正値テーブルを用いて の高さを算出するようにしてもよい。

 次いで、位置検出装置4は、記憶装置5の 造体配列Aを参照して、使用していない配列 号(HIDF=0)のデータ、かつ最も小さい配列番 のデータを取得し(ステップS160)、当該デー の視線位置EL(x,y,z)に算出した利用者Hの視線 標(x1,y1,z2)を設定し、HIDFに1を設定して更新 る(ステップS170)。例えば、構造体配列Aの中 で、配列番号N1のデータが使用されてなく、 つ使用されていないデータのうち配列番号N 1が最も小さい場合には、構造体配列AのN1番 のデータの視線位置ELに(x1,y1,z2)を設定し、HI DFに1を設定して、データを更新する。

 また、位置検出装置4は、記憶装置5の新 ID(NewHID)に当該利用者HのHID(配列番号)を設定 (ステップS170)、画面処理装置6に対して画面 表示処理P30を生成するように命令する(ステ プS180)。例えば、構造体配列AのN1番目のデー タに対して視線位置ELを更新した場合には、N ewHIDにはN1を設定して、記憶装置5に記録する この結果、画面処理装置6は、後述する画面 表示処理P30において、どの人に対して新たに 小画面7を表示すればよいのかを把握するこ ができる。なお、記憶装置5に新規人IDを記 する際には、初期化処理が行われるため、 れまでに記録されていた新規人IDに対応する 要素はクリアされることとなる。

 次いで、位置検出装置4は、利用者Hの三 元形状に基づいて、利用者Hの占める体積v1 dt2の時間間隔ごとに計算する(ステップS190) これは、利用者Hの位置を検出した後、当該 用者Hが大画面11(小画面7)前を離れるか否か( 留まっているか)を監視するための処理であ 。

 位置検出装置4は、計算した体積v1の変化 ら人が移動したか否かを判定する(ステップ S200)。詳しくは、体積v1の変化が大きい、例 ば、体積v1の減少率が予め定めた閾値より大 きい場合には、人が視聴位置から離れたと判 定し、そうでない場合には、人が視聴位置に 留まって、小画面7を見ているものと判定す 。

 体積v1の変化から利用者Hが移動したと判 したときには(ステップS200:YES)、位置検出装 置4は、利用者Hは小画面7を見ることを止めた と判断して、記憶装置5の消去人ID(DelHID)に当 利用者HのHIDを設定して、画面処理装置6に して画面消去処理P40を生成するように命令 て(ステップS210)、処理を終了する。例えば この利用者HのHID(配列番号)がN1である場合に は、DelHIDにはN1を設定して、記憶装置5に記録 する。この結果、画面処理装置6は、後述す 画面消去処理P40においては、どの小画面7を 去すればよいのかを把握することができる なお、記憶装置5の消去人IDを記録する際に 、初期化処理が行われるため、それまでに 録されていた消去人IDに対応する要素はク アされることとなる。また、体積v1の変化か ら利用者Hが移動していないと判定したとき は(ステップS200:NO)、ステップS190の処理を繰 返す。

 これに対して、検出した物体の三次元形 から、物体が人でないと判定したとき(ステ ップS130:NO)、位置検出装置4は、範囲a1におい 稼働していた超音波センサ9を停止させる( テップS220)。さらに、範囲a1に関しては、別 詳細位置検出処理P30からも超音波センサ9を 稼働させないように、超音波センサ9をロッ した状態とする。これは、人でない物体を 度も検出することを防止するためである。

 次いで、位置検出装置4は、検出した物体 が移動したか否かを判定する(ステップS230)。 詳しくは、範囲a1のうち、温度T1以上の部分 面積s2が最初の面積s1と比べて大きな変化が った、例えば、面積s2が面積s1より著しく小 さくなったときは、検出した物体が移動した ものと判断する。

 検出した物体が移動したときは(ステップ S230:YES)、位置検出装置4は、ロックした状態 超音波センサ9を解除し、範囲a1における超 波センサ9の稼働を可能として(ステップS240) 処理を終了する。これは、当該地点に他の 体が来るかもしれないので、他の物体の検 を可能とするためである。一方、検出した 体が移動しなかったときは(ステップS230:NO) ステップS230の処理を繰り返す。

(画面表示処理)
 画面表示処理P30は、上述したように、位置 出部10で新たに検出された利用者Hの視線位 に小画面7を表示する処理であり、詳細位置 検出処理P20からの指示により起動する。

 まず、画面処理装置6は、記憶装置5に記 された新規人ID(NewHID)を読み出し、読み出し 新規人IDに従って、構造体配列Aから該当す データの視線位置ELを取得する(ステップS310 )。例えば、NewHIDがN1であり、構造体配列AのN1 番目のデータの視線位置ELが(x3,y3,z3)であると する。

 次いで、画面処理装置6は、小画面7が表 されるべき位置(x3,z3)の近傍に別の小画面7が あるか否かを判定する(ステップS320)。これは 、(x3,z3)の近傍に小画面7が表示されている場 には、当該小画面7の近傍にさらに新たな小 画面7を表示すると、却って邪魔になり適切 ないので、小画面7を表示させないようにす ため、当該判定を行うものである。詳しく 、位置(x3,z3)から予め定めた半径R1以内に別 小画面7が存在するか否かを、構造体配列B 表示位置DLを参照して、判定する。

 小画面7が表示されるべき位置(x3,z3)の近 に別の小画面7がないときは(ステップS320:NO) 画面処理装置6は、小画面7が表示されるべ 位置(x3,z3)に小画面7を表示する(ステップS350) 。本実施の形態においては、画面処理装置6 、x軸方向に関してはx3を中心に、また、z軸 向に関してはz3を上限にして、約12インチ程 度の小画面7を表示する。すなわち、利用者H やや見下げる姿勢で小画面7を見ることがで きる。

 次いで、画面処理装置6は、記憶装置5の 造体配列Bを参照して、使用していない配列 号(DIDF=0)、かつ最も小さい配列番号のデー を取得し(ステップS360)、当該データの表示 置DLに小画面7が表示された位置(x3,z3)を設定 、WIDにNewHIDを設定し、DTに現在時刻を設定 、DIDFに1を設定して、データを更新し(ステ プS370)、処理を終了する。例えば、構造体配 列Bの中で、配列番号N2のデータが使用されて なく、かつ使用されていないデータのうち配 列番号N2が最も小さい場合には、構造体配列B のN2番目のデータの表示位置DLに(x3,z3)を設定 、WIDにNewHIDを設定し、DTに現在時刻を設定 、DIDFに1を設定して、データを更新する。

 一方、小画面7が表示されるべき位置(x3,z3 )の近傍に別の小画面7があるときは(ステップ S320:YES)、構造体配列Bを参照して、最も近い 置にある小画面7(以下、最近接小画面7とい )の表示位置DL(dx,dz)を取得し(ステップS330)、 近接小画面7のz座標dzとz3を比較し、その差 Z2以上あるか否かを判定する(ステップS340) 例えば、最近接小画面7のDIDをN3とし、その 示位置DLを(dxN3,dzN3)とした場合には、z3とdzN3 差がZ2以上あるか否かを判定する。これは xy位置が略同一または近くても、z位置があ りに離れている場合には(例えば、大人が見 いる小画面7を子供が見ようとする場合など )、高さに応じて異なる小画面7を表示したほ がよいので、このような場合に該当するか かを判定するものである。

 z3とdzN3の差がZ2以上あるとき(ステップS340 :YES)、すなわち、高さの差が予め定めた閾値Z 2以上あるときは、画面処理装置6は、新たな 画面7を表示すべく、上述したステップS350~S 370の処理を実行する。この結果、新たに現れ た利用者Hは、新たに表示された小画面7を見 ことができる。

 これに対して、z3とdzN3の差がZ2未満であ ときは(ステップS340:NO)、最近接小画面7を表 してから一定時間TT1以上経過しているか否 を判定する(ステップS380)。これは、複数人 利用者Hが略同時に検知範囲Sに現れたとき 小画面表示において、複数人のうち最初に 出された利用者Hの視線に合わせて小画面7が 表示されることを防止するために当該判定を 行うものである。本実施の形態では、TT1は数 秒程度の値が設定されている。なお、最近接 小画面7を表示してからの時間は、DTと現在時 刻から算出される。

 最近接小画面7を表示してから一定時間TT1 以上経過しているときは(ステップS380:YES)、 面処理装置6は、最近接小画面7の位置補正を 行わず、構造体配列Bから、最近接小画面7のD IDを有するデータを取得して、当該データのW IDにNewHIDを追加して、データを更新する(ステ ップS410)。例えば、最近接小画面7のDIDがN3の 合には、構造体配列BのN3番目のデータのWID NewHIDを追加して、データを更新する。

 このように、最近接小画面7が表示されて から長い時間が経過した後、別の利用者Hが 該最近接小画面7の近傍に来た場合には、画 処理装置6は、先の利用者Hに対して表示し いた最近接小画面7の位置を変更せずにその まの位置で表示を継続する。

 これに対して、最近接小画面7を表示して から一定時間TT1以上経過していないときは( テップS380:NO)、画面処理装置6は、構造体配 Bから、最近接小画面7のDIDを有するデータを 取得して、当該データのWIDから最近接小画面 7を見ている人全員の人IDを参照し、参照した 人IDに基づいて、構造体配列Aを参照して、最 近接小画面7を見ている人全員の視線位置ELの x座標及びz座標の平均値を計算する(ステップ S390)。ここで、最近接小画面7を見ている人全 員の視線位置ELのx座標の平均をxav1、z座標の 均をzav1とする。

 次いで、画面処理装置6は、(xav1,zav1)に小 面7を表示し、構造体配列Bから、最近接小 面7のDIDを有するデータを取得して、当該デ タの表示位置DLに(xav1,zav1)を設定し(ステッ S400)、さらに、WIDにNewHIDを追加して、データ を更新する(ステップS410)。例えば、最近接小 画面7のDIDがN3の場合には、構造体配列BのN3番 目のデータの表示位置DLに(xav1,zav1)を設定し WIDにNewHIDを追加して、データを更新する。

 このように、最近接小画面7が表示されて からあまり時間が経過していないときに、別 の利用者Hが当該最近接小画面7の近傍に来た 合には(ほぼ同時に複数人の利用者Hが大画 11に近づいて来た場合)、画面処理装置6は、 数人の利用者Hの視線の平均位置を計算し、 計算した平均位置に最近接小画面7を移動し 表示する。

(画面消去処理)
 画面消去処理P40は、上述したように、利用 Hが小画面7を見ることを止めたときに当該 用者Hが見ていた小画面7を消去する処理であ り、詳細位置検出処理P20からの指示により起 動する。

 まず、画面処理装置6は、記憶装置5に記 された消去人ID(DelHID)を読み出し、読み出し 消去人IDに基づいて、構造体配列BのWIDを参 して、該当するデータを取得する(ステップ S510)。例えば、DelHIDがN1であり、構造体配列B 中で、WIDにN1が含まれているデータのDIDがN4 であるとする。

 次いで、画面処理装置6は、構造体配列B N4番目のデータのWIDに含まれる要素、すなわ ち、WIDに含まれる人IDの数を数える(ステップ S520)。ここでは、WIDに含まれる人IDがN5個ある ものとする。

 次いで、画面処理装置6は、上述したN5の を用いて、DIDがN4の小画面7(以下、消去対象 小画面7という)を見ている利用者Hが1人か否 を判定する(ステップS530)。

 消去対象小画面7を見ている利用者Hが1人 あるときは(ステップS530:YES)、画面処理装置 6は、消去対象小画面7を消去するとともに、 造体配列BのN4番目のデータを初期化する(ス テップS540)。ここで、構造体配列Bのデータの 初期化とは、具体的には、該当データの表示 位置、WID、DIDF、及びDTを初期化すること意味 する。なお、DIDFには0が設定される。

 次いで、画面処理装置6は、消去人IDをHID する構造体配列Aのデータを取得し、取得し たデータを初期化して(ステップS590)、処理を 終了する。ここで、構造体配列Aのデータの 期化とは、具体的には、該当データの視線 置EL、及びHIDFを初期化することを意味する なお、HIDFには0が設定される。例えば、DelHID がN1である場合には、構造体配列AのN1番目の ータを初期化する。

 消去対象小画面7を見ている利用者Hが1人 ないときは(ステップS530:NO)、 画面処理装 6は、消去対象小画面7を見ている利用者Hが3 以上であるか否かを判定する(ステップS550)

 消去対象小画面7を見ている利用者Hが3人 上でない、すなわち、利用者Hが2人のとき (ステップS550:NO)、その後消去対象小画面7を 続ける利用者H(残された利用者Hという)は1 なので、消去対象小画面7の表示位置を残さ た利用者Hの視線位置に合わせて移動し、構 造体配列BのN4番目のデータの表示位置DLに残 れた利用者Hの視線位置を設定して、更新す る(ステップS560)。例えば、構造体配列BのN4番 目のデータのWIDから、残された利用者の人ID N5の場合には、構造体配列AのHIDがN5のデー の視線位置ELを取得し、取得した視線位置EL x座標及びz座標に消去対象小画面7を表示し 取得した視線位置ELのx座標及びz座標を構造 体配列BのN4番目のデータの表示位置DLに設定 る。なお、消去対象小画面7の表示位置DLを 更し、構造体配列Bを更新した後は、上述し たステップS590に進み、画面処理装置6は、DelH IDをHIDとする構造体配列Aのデータを取得し、 取得したデータを初期化して、処理を終了す る。

 一方、消去対象小画面7を見ている利用者 Hが3人以上のときは(ステップS550:YES)、その後 消去対象小画面7を見続ける利用者Hは2人以上 いるので、残された利用者Hの視線位置の平 を算出する(ステップS570)。例えば、構造体 列BのN4番目のデータのWIDから、残された利 者の人IDがN5及びN6の場合には、構造体配列A HIDがN5及びN6のデータの視線位置ELを取得し 取得した視線位置ELの平均を算出する。こ で、残された利用者Hの視線位置ELのx座標の 均をxav2、y座標の平均をyav2、z座標の平均を zav2とする。

 次いで、画面処理装置6は、(xav2,zav2)に消 対象小画面7を表示し、構造体配列BのN4番目 のデータの表示位置DLに(xav2,zav2)を設定し、 ータを更新する(ステップS580)。なお、消去 象小画面7の表示位置DLを変更し、構造体配 Bを更新した後は、上述したステップS590に進 み、画面処理装置6は、DelHIDをHIDとする構造 配列Aのデータを取得し、取得したデータを 期化して、処理を終了する。

<小画面表示制御の具体例>
 次に、上述した小画面表示システム100の小 面表示制御を利用者Hの行動と対比して具体 的に説明する。

(別々の小画面7を見ていた2人の利用者Hが近 く場合)
 図8を参照して、利用者HAが小画面7A、利用 HBが小画面7Bをそれぞれ見ている状態から、 用者HBが利用者HAに近づく場合について説明 する。

 まず、利用者HBが小画面7Bから離れると、 小画面表示システム100は、利用者HBが見てい 小画面7Bを消去する(詳細位置検出処理のス ップS200、S210、画面消去処理のステップS530( NO)、S540参照)。

 次いで、利用者HBが利用者HAに近づいて、 小画面7Aに近い場合には、小画面表示システ 100は、新たな小画面7を表示しないとともに 、小画面7Aの表示位置も変更しない(画面表示 処理のステップS320(YES)、ステップS340(NO)、ス ップS380(YES)、ステップS410参照)。従って、 用者HBは、表示位置の変わらない小画面7Aを ることとなる。

 一方、利用者HBが利用者HAに近づいたが、 利用者HBと小画面7Aと遠い場合には、小画面 示システム100は、利用者HBの視線に合わせた 新たな小画面7Bを表示する(画面表示処理のス テップS320(NO)、S350参照)。この結果、利用者HB は新たな小画面7Bを見ることとなる。

(小画面7を見ていた利用者Hに別の利用者Hが づく場合)
 図9を参照して、利用者HAが小画面7Aを見て るときに、別の利用者HBが近づいて来る場合 について説明する。

 まず、利用者HBが利用者HAに近づいて、小 画面7Aに近い場合には、小画面表示システム1 00は、新たな小画面7を表示しないとともに、 小画面7Aの表示位置も変更しない(画面表示処 理のステップS320(YES)、ステップS340(NO)、ステ プS380(YES)、ステップS410参照)。従って、利 者HBは、表示位置の変わらない小画面7Aを見 こととなる。

 一方、利用者HBが利用者HAに近づいて、小 画面7Aに近いが、利用者HBの視線位置の高さ 利用者HAの視線位置の高さと大きく離れてい る場合には、小画面表示システム100は、利用 者HBの視線に合わせて新たな小画面7Bを表示 る(画面表示処理のステップS320(YES)、ステッ S340(YES)、ステップS350参照)。

 また、利用者HBが利用者HAに近づいたが、 小画面7Aと遠い場合には、小画面表示システ 100は、利用者HBの視線に合わせた新たな小 面7Bを表示する(画面表示処理のステップS320( NO)、S350参照)。この結果、利用者HBは小画面7B を見ることとなる。

(複数人の利用者Hが同時に小画面7を見に来た 場合)
 図10を参照して、利用者HAと利用者HBがほぼ 時に検知範囲Sに進入してきて、小画面7を る場合について説明する。

 利用者HAと利用者HBの距離が近い場合には 、小画面表示システム100は、二人の視線平均 位置(視線位置のx座標及びz座標の平均)に小 面7Aを表示する(画面表示処理のステップS320( YES)、S340(NO)、S380(NO)、S390、S400参照)。したが て、利用者HA及び利用者HBは、二人の間の中 間位置に表示された小画面7Aを見ることとな 。

 一方、利用者HAと利用者HBの距離が遠い場 合には、小画面表示システム100は、利用者HA びHBの視線に合わせた新たな小画面7A及び7B それぞれ表示する(画面表示処理のステップ S320(NO)、S350参照)。この結果、利用者HAは小画 面7A、利用者HBは小画面7Bをそれぞれ見ること となる。

(複数人の利用者Hが1つの小画面7を見ている 態からいずれかの利用者Hが立ち去る場合)
 図11を参照して、まず、利用者HA及び利用者 HBが小画面7Aを見ている状態から、利用者HBが 立ち去る場合について説明する。この場合に は、利用者HAだけが小画面7Aを見ることにな ので、小画面表示システム100は、利用者HAの 視線位置に合わせて、小画面7Aを移動して表 する(画面消去処理のステップS530(NO)、S550(NO )、S560参照)。この結果、利用者HAは自分の視 位置に表示された小画面7Aを見ることとな 。

 次に、利用者HA、利用者HB及び利用者HCが 画面7Aを見ている状態から、利用者HCが立ち 去る場合について説明する。この場合には、 利用者HA及びHBが小画面7Aを見ることになるの で、小画面表示システム100は、利用者HA及びH Bの視線平均位置(x座標及びy座標の平均)に合 せて、小画面7Aを移動して表示する(画面消 処理のステップS530(NO)、S550(YES)、S570、S580参 照)。この結果、利用者HA及び利用者HBは、二 の間の中間位置に表示された小画面7Aを見 こととなる。

 以上、本実施の形態に係る小画面表示シ テム100によれば、大画面11を有する表示装 1と、大画面11の前方の検知範囲Sに存在する 用者Hの視線位置を検出する位置検出部10と 位置検出部10が検出した利用者Hの視線位置 合わせて、大画面11上に小画面7を表示する 面処理装置6と、を有するので、大型ディス プレイ上に小画面7を表示するに際して、利 者Hが操作に煩わしさを感じることがない。 なわち、本実施の形態に係る小画面表示シ テム100は、位置検出部10のセンサ装置2を非 触センサとするので、利用者Hが表示操作を することなく、位置検出装置4が自動的に利 者Hの視線位置を検出して、画面処理装置6が 利用者Hの視線位置に合わせて小画面を表示 るので、利用者Hは表示操作に煩わしさを感 ることがない。また、本実施の形態に係る 画面表示システム100は、利用者Hが消去操作 をすることなく、位置検出装置4が自動的に 用者Hの移動を検出して、画面処理装置6が表 示されていた小画面7を消去するので、利用 Hは消去操作に煩わしさを感じることがない ともに、小画面7を消去するためのシステム 保守要員を必要としないので、システム保守 を容易とすることができる。

 また、本実施の形態に係る小画面表示シ テム100によれば、複数の利用者Hの集まり状 況に応じて最適な位置に小画面7を表示する 示制御アルゴリズムを備えているので、複 の利用者Hが同時に大画面11の前に存在する 合でも、複数の利用者Hそれぞれにとって最 な位置に小画面7を表示することができる。 例えば、複数の利用者Hが離れて存在する場 には、それぞれの利用者Hの視線位置に合わ て、好適な位置に小画面7をそれぞれ表示す る。また、複数の利用者Hが近接して存在す 場合には、それぞれの利用者Hの視線位置の 均位置に共通の小画面7を表示したり、最初 に見ていた利用者Hの小画面7の表示位置に固 して表示したりするので、近接していても れぞれの利用者Hに邪魔にならずに小画面7 表示することができる。また、複数の利用 Hが近接していても、視線の高さ位置が大き 離れている場合には、利用者Hごとに小画面 7を表示するので、背の高さを考慮した小画 表示をすることができる。さらには、複数 利用者Hが1つの小画面7を見ていたときに利 者のいずれかが立ち去るような場合におい も、残された利用者Hの数に応じて、最適な 線位置に小画面7を移動して表示することが できる。例えば、残された利用者Hが1人の場 には、残された利用者Hの視線位置に合わせ て小画面7を表示し、また、残された利用者H 2人以上の場合には、残された利用者Hそれ れの視線位置の平均位置に小画面7を表示す ので、残された利用者Hにとってより好適な 位置に小画面7が表示されることとなる。

 また、本実施の形態に係る小画面表示シ テム100によれば、人と判断した場合に利用 Hの視線位置を検出するので、不要な物体に 対する誤作動を排除することができる。

 なお、本実施の形態に係る小画面表示シ テム100においては、小画面7の大きさを12イ チ程度としたが、小画面7の大きさはこれに 限定されるものではない。また、本実施の形 態に係る小画面表示システム100においては、 小画面7の大きさを固定して表示したが、小 面7の大きさを可変させて表示するようにし もよい。例えば、表示装置1の大画面11から 距離(y座標)に応じて、小画面7の大きさを変 化させるようにしてもよい。この場合には、 大画面11からの距離が離れるに従って、小画 7の大きさを大きくするように制御してもよ い。また、1人の利用者Hが1つの小画面7を見 いる場合だけに、このような小画面7の大き を変化させる制御を適用してもよい。また 複数の利用者Hが1つの小画面7を見ている場 においても、複数の利用者Hのy座標の平均 基づいて、小画面7の大きさを決定するよう してもよい。

 また、本実施の形態に係る小画面表示シ テム100においては、利用者Hの位置を検出す る装置としてセンサ装置2(赤外線センサ8、超 音波センサ9)を用いたが、利用者Hの位置を検 出する装置はこれに限定されるものではない 。例えば、動画を撮影できるカメラを用いて 、検知範囲Sの画像を撮影し、撮影した画像 処理して、検知範囲Sに存在する利用者Hを検 出するようにしてもよい。また、利用者Hに 分の身長などの情報(高さ情報)が記憶された 電子タグを装着してもらい、利用者Hが装着 た電子タグと通信を行って、電子タグの位 情報(xy座標)を検出するとともに、高さ情報( z座標)を取得するようにしてもよい。特に屋 に表示装置1を設置するなどして天井にセン サ装置2を配設することができない場合には 上述したカメラや電子タグを用いた方法が 効である。

 また、本実施の形態に係る小画面表示シ テム100は、種々の施設に適用が可能である 、特に表示装置1を広告用ディスプレイとし て使用する場合に好適である。例えば、街頭 に設置された超大型ディスプレイに近づくと 、利用者Hの存在位置を検出して、利用者Hの 線位置に広告画像を表示するようにしても い。この場合には、利用者Hが荷物等を持っ ていて両手が空いていなくても、超大型ディ スプレイに近づくだけで自分に向けた広告が 表示されるので、便利である。

 また、超大型ディスプレイに表示される 像の大きさを距離に応じて変化させるよう してもよい。例えば、超大型ディスプレイ の距離が遠い場合には、超大型ディスプレ の表示画面全体に広告画像を表示し、超大 ディスプレイとの距離が近い場合には、小 面7に同一の広告映像を表示するようにして もよい。超大型ディスプレイの場合には、近 づき過ぎると、何が映っているかよくわから ないので、近づいても表示画像を把握できる ようにするためである。

 なお、本実施の形態に係る小画面表示シ テム100においては、利用者Hが移動すると小 画面7を消去するように制御していたが、こ に代えて、利用者Hの視線位置に追随して、 画面7を移動させて表示するようにしてもよ い。この場合には、例えば、上述した表示装 置1を広告用ディスプレイとして使用すると 利用者Hは歩きながらその横に広告画像を見 ことが可能となる。

 また、利用者Hの視線位置に追随して、小 画面7を移動させて表示するような小画面表 システム100の場合には、アミューズメント 設に好適である。例えば、大画面11の前にお いて複数人で遊ぶようなシューティングゲー ムの場合には、利用者Hの視線位置に追随し 、ゲームに必要な情報を視線位置に表示す ことができる。また、水族館などにおいて 槽に透過型のディスプレイが貼られている 合には、利用者Hの移動に追随して、視線位 にガイド情報を表示するようにしてもよい

 以上、本発明の実施の形態について説明 てきたが、本発明は、上述した実施の形態 限られるものではなく、本発明の要旨を逸 しない範囲において、本発明の実施の形態 対して種々の変形や変更を施すことができ そのような変形や変更を伴うものもまた、 発明の技術的範囲に含まれるものである。




 
Previous Patent: ELECTRIC VEHICLE

Next Patent: ACCELERATION SENSOR