以下、本発明の実施の形態について図面を� ��照して説明する。 
 図12に、カメラからの出力をA/D変換する例� �示す。図12の(a)は、カメラのアナログ出力信 号および顔領域についてのアナログ出力レベ ルヒストグラムである。A/D変換器に対して、 ゲイン値g1、g2、g3(g3>g2>g1)を与え、図12の (a)から得られる入力画像および顔領域につい ての輝度ヒストグラムは、それぞれ、図12の( b)、(c)、(d)となるとする。

 図12の例では、図12の(b)のように、顔領域 の輝度が全ての画素について階調の最小値と なるようなゲイン値g1や、図12の(d)のように� �顔領域の輝度が全ての画素について階調の� �大値となるようなゲイン値g3は望ましくなく 、図12の(c)のように、入力画像の階調の中に� ��まるようなゲイン値g2に設定することが望� �しい。

 具体的には、ゲイン値を段階的に変えて� ��入力画像からの顔パターンの検出および検� ��した顔候補領域の輝度ヒストグラムから評� ��値の計算を行ない、評価値が最大となるゲ� ��ン値を選択する。

 評価値としては、白とび率、黒つぶれ率� ��考慮した次のような値が考えられる。

   -max(白とび率、黒つぶれ率)
 白とび率とは、所定の領域(上記の場合は顔 の領域)で、輝度が飽和している(輝度値が入� ��画像の階調の最大値となっている)画素数の 割合である。黒つぶれ率とは、所定の領域で 、輝度値が入力画像の階調の最小値である画 素の割合である。

 また、カメラから一定時間ごとに得られ� ��入力画像系列から、動きのある領域(変化領 域)を検出する変化検出方法としては、輝度� �レーム間差分の計算を用いる方法や増分符� �フレーム間差分の計算を用いる方法が知ら� �ている。

 輝度フレーム間差分とは、時刻tの入力画像 I _t (x,y)と時刻t-1の入力画像I _t-1 (x,y)から、以下のように変化画像DIFF _t (x,y)を計算する方法である。

 まず、入力画像から、下記式1に示す差分画 像DI _t (x,y)を計算する。 

 次に、計算した差分画像DI _t (x,y)と閾値TH_FDとを比較し、下記式2に示す比� ��結果を得る。

 DIFF _t (x,y)=1は、画素(x,y)において変化が検出された ことを表す。また、DIFF _t (x,y)=0は、画素(x,y)において変化が検出されな かったことを表す。

 このような輝度フレーム間差分は、入力� ��像It(x,y)の輝度を直接用いているため、フリ ッカや照明のオン/オフなどに影響を受けや� �く、および、対象物(人物等の認証対象)と背 景物の輝度差が小さい場合に、対象物が検出 されにくい。

 これに対して、入力画像It(x,y)について直接 時間差分を計算するのではなく、It(x,y)から� �算される増分符号画像の時間差分を用いる� �とが考えられる。 
 増分符号とは、たとえば、文献(佐藤雄隆,� �子俊一,五十嵐悟,“周辺増分符号相関画像に 基づくロバスト物体検出及び分離”,信学論,v ol.J84-D-II,No.12)にあるように、注目画素と周囲 の画素との輝度の大小関係を符号化したもの である。

 増分符号としては、たとえば、着目画素の� ��平方向に隣接する画素との差を符号化して� ��られるDS_X _t (x,y)、および、着目画素の垂直方向に隣接す� ��画素との差を符号化したDS_Y _t (x,y)を用いる。

 DS_X _t (x,y)、DS_Y _t (x,y)は、下記式3-1、式3-2、式4-1、式4-2に示す� ��算により得られる。 

 増分符号フレーム間差分画像DIFF_S _t (x,y)は、下記式5-1、式5-2、式5-3のように計算� ��る。 

 増分符号フレーム間差分は、周辺画素と� ��大小関係に基づくため照明変動に対してロ� ��ストであり、かつ、背景と対象物との輝度� ��が小さい場合でも、対象物の検出の性能が� ��いという利点がある。

 顔を対象にしたゲイン制御により、以下が� ��こり得る。 
 (1)人物が移動する場合に、顔認証に適した� ��イン値および顔画像が得られないことがあ� ��。

 (2)カメラの視野内に同時に複数の人物が� ��在し、かつ、顔に対しての照度が大きく異� ��る場合に、一方の人物の顔領域に対してゲ� ��ン制御を行うと、他の人物の顔領域に対し� ��、顔認証に適した入力画像が得られない。

 上記(1)について説明すると、人物はカメ� ��の前に立ち止まり、認証処理が終了するま� ��待つことを想定している。このため、顔認� ��に適した顔画像が得られるまで、ゲイン値� ��徐々に変化させながら、顔を撮影すること� ��できる。

 しかし、本発明で対象とする人物は、カ� ��ラの前に立ち止まることなく、移動する人� ��(通行者)である。このため、ゲイン値を徐� �に変化させながら、顔認証に適したゲイン� �を得ようとする間に、人物がカメラの視野� �ら外れしまう場合がある。

 上記(2)について説明する。たとえば、図1 3A及び図13Bに示すような状況を考える。図13A� ��は、複数のスポット光照明装置L1,L2が一定� �隔で配設された環境を、複数の人物M1,M2が図 示矢印方向に移動している状況を表している 。

 この場合に、カメラCAのアナログ映像出� �は、図13Bに示すようになり、人物M1と人物M2� ��顔の明るさが大きく異なっている。このよ� ��な場合、人物M1の顔領域についてゲイン制� �を行なえば、人物M2の顔領域において多く白 とびが発生し、人物M2については、顔認証に� ��した入力画像が得られない。一方、人物M2� �顔領域についてゲイン制御を行なえば、人� �M1の顔領域について多く黒つぶれが発生し、 人物M1については、顔認証に適した入力画像� ��得られない。

 図13A及び図13Bの人物M1と人物M2の顔領域に ついて輝度調整を行なった場合の具体例を図 14A及び図14Bに示す。図14Aは、人物M1の顔領域� ��対してゲイン制御を行なった結果である。� ��の場合、人物M2の顔領域において多く白と� �が発生しており、顔認証に適した入力画像� �得られていない。図14Bは、人物M2の顔領域に 対してゲイン制御を行なった結果である。こ の場合、人物M1の顔領域において多く黒つぶ� ��が発生しており、顔認証に適した入力画像� ��得られていない。

 また、増分符号フレーム間差分による変� ��領域の検出方法によると、光ショットノイ� ��の影響により、テクスチャがなく、かつ、� ��きのない領域を変化領域として誤って検出� ��てしまうことがある。

 ここに、光ショットノイズとは、周知の� ��うに、カメラに用いられるイメージセンサ� ��発生するノイズである。一般に、イメージ� ��ンサに一定照度で一定時間の光を当てた場� ��でも、イメージセンサの出力にばらつきが� ��生する。光ショットノイズは、このばらつ� ��として観測される。

 図15Aに示すように、イメージセンサに一定� ��度で一定時間の光を当てたときの出力Sを時 刻tについてプロットすると、図15Bに示すよ� �になる。これは、平均値S_meanを中心とした� �準偏差ノイズ成分を含んだ信号である。な� �、標準偏差は下記式6により示される。

 図15BをSの値についてヒストグラムを生成 すると、図15Cに示すように、平均値S_mean、標 準偏差の正規分布となる。

 イメージセンサの出力をA/D変換して得られ� ��入力画像中では、光ショットノイズの標準� ��差σ _t (x,y)は、下記式7に示すように、輝度の平方根 に比例する。ここで、I _t (x,y)は、入力画像の輝度とする。 

 図16Aの入力画像の直線y=y _o での輝度値I _t (x,y ₀ )を垂直軸とし、入力画像のx軸を水平軸とし� ��グラフは、図16Bのようになる。I _t (x,y ₀ )をx方向に微分した画像DI_X _t (x,y ₀ )を垂直軸に、入力画像のx軸を水平軸とした� ��ラフは、図16Cのようになる。図16Aにおいて� ��Mは人物を示している。

 図16A、図16B、図16Cから明らかなように、明� ��い壁の領域E1において、ノイズにより閾値TH _SDよりも値が大きくなる、あるいは、閾値-TH _SDよりも値が小さくなる画素が多く存在する 。このような明るい壁の領域での増分符号DS_ X _t (x,y)およびDS_Y _t (x,y)は、時間的に頻繁に変動する。

 そのため、図17に示すように、輝度の高い� �域において、ノイズの影響を受け、たとえ� �、壁の領域E1と天井の領域E2を変化領域とし� ��誤って検出してしまう。図17の差分画像DIFF_ S _t (x,y)では、変化の検出された画素は黒と斜線� ��、変化の検出されなかった画素は白で表さ� ��ている。

 光ショットノイズの影響を受けないように� ��閾値TH_SDの値を大きくすることが考えられ� �。しかし、図16の例では人物の輪郭部分がエ ッジのない平坦とみなされてしまい、つまり 、増分符号DS_X _t (x,y)およびDS_Y _t (x,y)において、人物の輪郭部分が「0」となっ てしまい、人物の移動を変化として検出でき なくなる。

 入力画像での光ショットノイズは、入力� ��像の輝度値に比例するため、入力画像の1画 素当たりのビット数nが大きいほど、入力画� �の輝度値の最大値が大きくなり、その結果� �増分符号フレーム間差分は、光ショットノ� �ズの影響を受けやすくなる。

 そこで、本実施形態で説明する顔認証装� ��及び顔認証方法によれば、顔認証に適した� ��画像が得られ、結果として顔の認証性能が� ��上する。また、本実施形態で説明する顔認� ��装置及び顔認証方法によれば、光ショット� ��イズを変化として検出しなくなり、変化検� ��の性能が向上し、結果として顔の認証性能� ��向上する。

 以下、本実施形態の概要について簡単に� ��明する。本実施形態では、たとえば、図2に 示すように、人物(歩行者)Mが図示矢印方向に 移動する通路1などの壁面2にカメラ11を配設� �、一定時間ごとに人物Mの少なくとも顔を含� ��画像を取得する。得られる画像系列から人� ��Mの顔領域を検出し、追跡する。得られた顔 画像から、移動する人物Mがあらかじめ登録� �れた人物が否かを判定する。

 本発明が適用される対象としては、たとえ� ��、入室の制限を行ないたい部屋の入口付近� ��設置し、あらかじめ入室を許可する人物で� ��ると判定した場合に、部屋の鍵を開錠する� ��に用いることが考えられる。 
 または、店舗等に設置し、あらかじめ要注� ��人物を登録しておき、通行する人物が要注� ��人物であると判定した場合には、警報を発� ��る等に用いることも考えられる。

 以下、第1の実施の形態について説明する。  
 図1は、第1の実施の形態に係る顔認証装置� �構成を概略的に示すものである。この顔認� �装置は、ビデオカメラ(以降、単にカメラと� ��称する)11、A/D変換部12、高階調入力画像バ� �ファ13、変化検出部14、頭部候補領域検出部1 5、顔輝度変換部16、低階調入力画像バッファ 17、顔検出辞書(メモリ)18、顔パターン検出部 19、顔追跡部20、顔認証辞書(メモリ)21、及び� ��認証部22を備えている。

 ビデオカメラ11は、歩行者Mの少なくとも� ��を含む画像を取得する。A/D変換部12は、カ� �ラ11から得られるアナログ映像信号をデジタ ル高階調入力画像(第1階調度の入力画像)に変 換する。高階調入力画像バッファ13は、A/D変� ��部12から得られる高階調入力画像を一時格� �する。

 変化検出部14は、高階調入力画像バッフ� �13に格納された高階調入力画像から移動物体 の領域を変化領域として検出する。つまり、 変化検出部14は、高階調入力画像を構成する� ��数フレーム間から変化領域を検出する。頭� ��候補領域検出部15は、変化検出部14により検 出された変化領域の画像から人物の頭部候補 領域を検出する。顔輝度変換部16は、頭部候� ��領域検出部15により検出された頭部候補領� �の画像に対して輝度変換を行なうことによ� �、高階調入力画像から低階調入力画像(第2階 調度の入力画像)を生成する。

 低階調入力画像バッファ17は、顔輝度変� �部16により生成された低階調入力画像を一時 格納する。顔検出辞書18は、顔候補領域の検� ��に用いる顔検出辞書パターンを格納する。� ��パターン検出部19、低階調入力画像バッフ� �17に格納された低階調入力画像の頭部候補領 域から人物の顔候補領域を検出する。顔追跡 部20は、顔パターン検出部19により検出され� �顔候補領域を追跡する。顔認証辞書21は、複 数の辞書情報をあらかじめ登録(記憶)する。� ��認証部22は、顔追跡部20で得られた顔領域の 画像(顔画像)と顔認証辞書21にあらかじめ登� �された辞書情報とを照合し、当該人物Mはあ� ��かじめ登録された人物であるかを判定する� ��

 以下、各構成要素について詳細に説明する� �� 
 カメラ11は、たとえば、図2に示すように、� ��物(歩行者)Mが図示矢印方向に移動する通路1 などの壁面2に設置されていて、移動する人� �Mの正面方向から少なくとも顔を含む画像を� ��定時間ごとに撮像するもので、イメージセ� ��サを主体に構成されている。

 A/D変換部12、カメラ11からのアナログ映像 信号を1画素当たりmビットの高階調入力画像� ��変換し、高階調入力画像バッファ13に格納� �る。ここに、mとしては、たとえば、「14」� �用いるものとする。

 変化検出部14は、高階調入力画像バッフ� �13内の高階調入力画像から移動物体の領域を 変化領域として検出するもので、その検出結 果は、画素値「1」が変化あり、画素値「0」� ��変化なしとなるような変化画像として出力� ��る。

 頭部候補領域検出部15は、変化検出部14に より検出された変化画像から、人物の頭部ら しい領域を検出する。具体的には、たとえば 、変化領域に対して輪郭抽出を行ない、抽出 した輪郭の曲率から頭部候補を検出する。

 顔輝度変換部16は、頭部候補領域検出部15 からの頭部候補領域について、高階調入力画 像から低階調入力画像を生成し、低階調入力 画像バッファ17に格納する。ここに、低階調� ��力画像とは、1画素当たりn(<m)ビットの画� ��であり、nとしては、たとえば、「8」を用� �るものとする。

 なお、高階調入力画像から低階調入力画� ��への変換は、顔パターン検出および顔認証� ��とって適切な変換となるようにする。具体� ��には、たとえば、低階調入力画像において� ��顔領域の白とびや黒つぶれが発生しないよ� ��な変換を行なう。

 顔パターン検出部19は、顔輝度変換部16に より生成された低階調入力画像の頭部候補領 域を対象として、顔検出辞書18内の顔検出辞� ��パターンとのパターンマッチングを行なう� ��とで、顔らしい領域を顔候補領域として検� ��する。

 顔追跡部20は、顔パターン検出部19により検 出された顔候補領域を時間的に追跡する。 
 顔認証処理22は、顔追跡部20から得られた顔 画像を顔認証辞書21内の辞書情報とを照合す� ��ことにより当該人物Mはあらかじめ登録され た人物であるかを判定する。

 図3は、全体的な処理の流れを概略的に示し ており、以下、それについて説明する。 
 まず、ステップS1の画像入力処理では、カ� �ラ11からのアナログ映像信号を入力する。次 に、ステップS2のA/D変換処理は、A/D変換部12� �おいて、カメラ11からのアナログ映像信号を 1画素当たりmビットの高階調入力画像に変換� ��、高階調入力画像バッファ13に格納する。

 次に、ステップS3の変化検出処理は、変� �検出部14において、高階調入力画像バッファ 13内の高階調入力画像から移動物体の領域を� ��化領域として検出する。その検出結果は、� ��素値「1」が変化あり、画素値「0」が変化� �しとなるような変化画像として出力する。

 次に、ステップS4の頭部候補領域検出処� �は、頭部候補領域検出部15において、変化検 出部14により検出された変化画像から、人物� ��頭部らしい領域を検出する。具体的には、� ��化領域に対して輪郭抽出を行ない、抽出し� ��輪郭の曲率から頭部候補を検出する。

 次に、ステップS5の顔輝度変換処理は、� �輝度変換部16において、頭部候補領域検出部 15からの頭部候補領域について、高階調入力� ��像から低階調入力画像を生成し、低階調入� ��画像バッファ17に格納する。

 なお、高階調入力画像から低階調入力画� ��への変換は、顔パターン検出および顔認証� ��とって適切な変換となるようにする。具体� ��には、低階調入力画像において、顔領域の� ��とびや黒つぶれが発生しないような変換を� ��なう。

 次に、ステップS6の顔パターン検出処理� �、顔パターン検出部19において、顔輝度変換 部16により生成された低階調入力画像の頭部� ��補領域を対象として、顔検出辞書18内の顔� �出辞書パターンとのパターンマッチングを� �なうことで、顔らしい領域を顔候補領域と� �て検出する。

 次に、ステップS7の顔追跡処理は、顔追� �部20において、顔パターン検出部19により検� ��された顔候補領域を時間的に追跡する。そ� ��て、顔追跡部20により顔追跡中の人物につ� �て、顔の画像が一定枚数(N_IMG)以上得られた� ��合(ステップS8)、ステップS9の顔認証処理が� ��なわれる。

 ステップS9の顔認証処理は、顔認証処理22 において、顔追跡部20から得られた顔画像を� ��認証辞書21内の辞書情報とを照合すること� �より当該人物Mはあらかじめ登録された人物� ��あるかを判定する。

 以下、ステップS3の変化検出処理、ステ� �プS5の顔輝度変換処理、ステップS6の顔パタ� ��ン検出処理、ステップS7の顔追跡処理、ス� �ップS9の顔認証処理について詳細に説明する 。

 まず、ステップS3の変化検出処理について� �明する。 
 変化検出処理は、正規化増分符号フレーム� ��差分を用いて変化領域の検出を行なうもの� ��ある。正規化増分符号フレーム間差分とは� ��前述した増分符号フレーム間差分を改良し� ��ものであり、以下、正規化増分符号フレー� ��間差分の計算について説明する。

 まず、時刻tの高階調入力画像I _t (x,y)から、下記式8-1、式8-2により、水平微分� ��像DI_X _t (x,y)および垂直微分画像DI_Y _t (x,y)を取得する。 

 次に、光ショットノイズの影響を受けない� ��うにするため、下記式9-1、式9-2に示す補正� ��理を実行する。 

 なお、上記式9-1、式9-2に記載のα _sd は定数とする。

 なお、上記式9-1、式9-2の替わりに、下記� ��A-1、式A-2を用いても良い。

 N_DI_Xt(x,y) = ( αsd / SD(It(x,y)) ) * DI_Xt(x,y)    [式A-1]
 N_DI_Yt(x,y) = ( αsd / SD(It(x,y)) ) * DI_Yt(x,y)    [式A-2]
 なお、上記式式A-1、式A-2に記載のSD(It(x,y))  は、sqrt( It(x,y) )の近似であり、具体的には� ��次のように実現する。

 SD(I) の計算例 1 
 高階調入力画像の階調数2 ^m  の要素数を持つ、SD_ARRAY(I) ( I = 0, 1, 2,  .., 2 ^m  - 1) を用意し、SD_ARRAY(I) = sqrt(I) ( I = 0,  1, 2, .., 2 ^m  - 1) となるように、SD_ARRAY(I) に値を保持す� ��。

 例えば、m=12, n=8 のときには、下記のよ� ��になる。

SD_ARRAY(0) = 0
SD_ARRRY(1) = 1
SD_ARRRY(2) = 1.14
SD_ARRRY(3) = 1.73
SD_ARRRY(4) = 2
 ……
SD_ARRAY(4095) =63.99
 式A-1、式A-2においては、下記式Bにより計算 する。

 SD(It(x,y)) = SD_ARRAY(It(x,y) )    [式B-1]
 SD(I) の計算例 2
 SD(I) として、区分直線近似を行い計算する 。具体的には、図18の点線(区分直線)で近似� �る。図18は、m=12 の場合の例である。図18の� ��線は、sqrt(I)である。この曲線を図18中の点A 、B、C、Dで区切り、これらを順に結んだ点線 で示される直線により近似する。計算の精度 がそれほど必要でない状況においては、例え ば、A、B、Dを結んだ直線のように、区分直線 を作る際に、用いる点の数を減らしてもよい 。

 次に、下記式10-1、式10-2に示すように、補� �処理後の画像N_DI_X _t (x,y)、N_DI_Y _t (x,y)を、あらかじめ定められた所定の閾値TH_S Dと比較することにより、それぞれ、正規化� �分符号画像N_DS_X _t (x,y)とN_DS_Y _t (x,y)を取得する。 

 また、時刻t-1の高階調入力画像I _t (x,y)に対するN_DS_X _t-1 (x,y)とN_DS_Y _t-1 も同様に計算する。

 次に、下記式11-1、式11-2により、変化画像N_ DIFF_S_X _t-1 (x,y)、N_DIFF_S_Y _t-1 (x,y)を計算する。 

 最後に、正規化増分符号フレーム間差分画� ��N_DIFF_S _t (x,y)を下記式12により計算する。 

 次に、ステップS5の顔輝度変換処理につい� �説明する。 
 顔輝度変換処理は、頭部候補領域について� ��階調入力画像から低階調入力画像を生成す� ��。すなわち、頭部候補領域の中心の領域に� ��いて、高階調入力画像の輝度ヒストグラム� ��計算する。得られた輝度ヒストグラムが例� ��ば図4Aに示すものだとすると、輝度ヒスト� �ラムの輝度の最大値、最小値をそれぞれ、I_ max、I_minとして求め、I_max、I_minが、図4Bに示� ��ように、変換後の低階調入力画像において� ��調値の最小値「0」、階調の最大値「2 ⁿ -1」となるように輝度変換を行なう。

 この輝度変換は、頭部候補領域についてだ� ��下記数12のような輝度変換を行なう。ここ� �、下記式13におけるI _in は、高階調入力画像の輝度値、1 _out は、低階調入力画像の輝度値とする。 

 輝度変換の例を図5に示す。頭部候補領域 の中心領域についての高階調入力画像の輝度 ヒストグラムが図5の(b)の場合に、顔輝度変� �の結果、得られる低階調入力画像の頭部候� �領域の中心領域についての輝度ヒストグラ� �は図5の(c)に示すようになる。図5の(a)は、カ メラ11のアナログ出力信号および顔領域につ� ��てのアナログ出力レベルヒストグラムであ� ��。

 次に、ステップS6の顔パターン検出処理に� �いて説明する。 
 顔輝度変換処理により得られた頭部候補領� ��の低階調入力画像について顔パターン検出� ��行なう。顔パターン検出の手法としては、� ��とえば、文献(三田,金子,堀,“微小な差異を 含む画像の認証に適した空間差分確率テンプ レートの提案”,第9会画像センシングシンポ� ��ウム講演論文集,SSII03,2003)に記載された手法 を用いることができる。これは、事前に顔の 学習パターンから顔検出辞書パターンを作成 しておき、顔検出辞書パターンと高い類似度 を持つ領域を入力画像中から探す手法である 。

 顔検出辞書パターンは、たとえば、大量� ��正面向きの顔画像から作成する。このよう� ��作成した顔検出辞書パターンを顔検出辞書1 8に格納しておき、顔パターン検出の際に用� �ることで、ほぼ正面向きの顔候補領域が検� �される。検出された顔候補領域は、図6に示� ��ように正方形の顔候補矩形FEとして表す。

 次に、ステップS7の顔追跡処理について説� �する。 
 顔追跡処理は、前フレームの顔候補領域か� ��現フレームでの顔候補領域を得るもので、� ��7に顔追跡処理の流れを示す。ここで、前フ レームとは時刻t-1の入力画像とし、現フレー ムとは時刻tの入力画像とする。

 まず、前フレームの顔候補領域について� ��オプティカルフローを抽出する(ステップS21 )。具体的には、前フレームの顔候補領域を� �ブロックに分割し、各ブロックが現フレー� �でどの位置にあるかを、テンプレートマッ� �ング等を用いて計算する。図8に顔候補領域F Eのオプティカルフローの例を示す。

 オプティカルフローを抽出する小ブロックW は、x方向とy方向のエッジを共に持つことが� ��ましい。これは、エッジのない平坦な領域� ��らオプティカルフローを抽出すると、誤っ� ��オプティカルフローを抽出してしまうため� ��ある。具体的には、下記式14を満たす小ブ� �ックWからオプティカルフローを抽出する。

 ここで、T _x (W)、T _y (W)は、それぞれ小ブロックWのxについての微� ��の絶対値の平均、yについての微分の絶対値 の平均である。また、V(W)は、小ブロックWの� ��度平均であり、TH_TEXTUREは閾値である。

 なお、E _texture (W)の計算において、微分の絶対値の平均を小 ブロックWの輝度平均の平方根で割算してい� �のは、明るい小ブロックにおいて、光ショ� �トノイズにより微分の絶対値の平均が大き� �なり、エッジを含まない平坦な領域につい� �オプティカルフローを計算するのを防ぐた� �である。

 T _x (W)、T _y (W)、V(W)は次のように表される。ここで、下� �式15-1、式15-2、式15-3におけるAwは小ブロック Wの面積とする。 

なお、上記式14を下記式Cに置き換えてもよ い。

 Etexuture(W) = min( Tx(W), Ty(W) ) / SD( V(W) )  > TH_TEXTURE   [式C]
 SD(V(W)) は、sqrt(V(W))の近似である。前述のSD (I)の計算方法の具体例で説明したのと同様の 方法により、計算する。

 ここで、前フレームの顔候補領域の小ブロ� ��クの中心点、及び中心点に対応する現フレ� ��ムの点を下記の通り定義する。

 前フレームの顔候補領域の小ブロックの中� ��点は、下記式17に示す通りである。

 また、中心点に対応する現フレームの点は� ��下記式18に示す通りである。

 次に、顔変形パラメータ計算を行なう(ステ ップS22)。つまり、下記に示す変換式を計算� �る。

 たとえば、変換式として、下記式20-1、式20- 2を用いる。 

 これは、x軸とy軸それぞれのスケーリン� �と平行移動の変換式である。

 次に、回帰分析を用いて、A _x ,B _x ,A _y ,B _y を予測し、得られた値をA″ _x ,B″ _x ,A″ _y ,B″ _y とし、下記式21-1、式21-2の演算を行なう。 

 式21-1、式21-2で求められた各値が共にあら� �じめ定められた閾値よりも小さな場合には� �顔変形パラメータの計算が得られたとして(� ��テップS23)、前フレームの顔候補領域の外接 矩形R ^t-1 から現フレームの顔候補領域の外接矩形R ^t を計算して、現フレームの顔候補領域の位置 とし(ステップS24)、処理を終了する。

 R ^t-1 の左上と右下の点の座標をそれぞれ、(LEFT ^t-1 ,TOP ^t-1 )、(RIGHT ^t-1 ,BOTTOM ^t-1 とし、R ^t の左上と右下の点の座標をそれぞれ、(LEFT ^t ,TOP ^t )、(RIGHT ^t ,BOTTOM ^t )とすると、R ^t の左上と右下の点の座標は、下記式22-1、式22 -2、式22-3、式22-4に示すように変換される。

 変形パラメータの計算に失敗した場合(ス テップS23)、つまり、式21で求められた各値が 共にあらかじめ定められた閾値以上の場合に は、前フレームの顔候補領域を一定サイズ拡 張した領域について顔パターン検出を行なう (ステップS25)。顔パターンにより顔候補領域� ��検出されれば(ステップS26)、それを現フレ� �ムでの顔候補領域とし(ステップS27)、処理を 終了する。顔パターンにより顔候補領域が検 出されなければ(ステップS26)、前フレームの� ��候補領域を現フレームの顔候補領域とする( ステップS28)。

 次に、連続で前フレームの顔候補領域を� ��フレームの顔候補領域としたフレーム数が� ��定の閾値T_NOT_DETECTED以上か否かをチェック� �(ステップS29)、閾値T_NOT_DETECTED以上でない場� ��は処理を終了し、閾値T_NOT_DETECTED以上の場� �には、人物Mがカメラ11の視野からいなくな� �たとみなして、顔の追跡を中止し(ステップS 30)、処理を終了する。

 次に、ステップS9の顔認証処理について説� �する。 
 顔認証処理は、顔追跡処理で得られた顔画� ��について、顔認証辞書21にあらかじめ登録� �れた人物か否かの判定を行なう。具体的に� �、たとえば、特開2001-266152号公報に記載され ているように、あらかじめ登録者(歩行者)の� ��画像を用意し、その顔画像から抽出した顔� ��固有の特徴情報を辞書情報として顔認識辞� ��21に記憶(登録)しておく。そして、顔追跡処 理で得られた顔領域の画像(特徴情報)と顔認� ��辞書21にあらかじめ登録された辞書情報と� �照合して両者の類似度を求め、求めた類似� �があらかじめ設定された閾値以上である場� �、当該人物(歩行者)Mはあらかじめ登録され� �人物であると判定し、求めた類似度が閾値� �上でない場合、当該人物Mはあらかじめ登録� ��れた人物でないと判定する。

 以上説明したように第1の実施の形態によ れば、高階調入力画像について変化検出と頭 部候補検出を行ない、次に、頭部候補領域に ついて顔輝度変換を行ない、さらに、得られ た低階調入力画像について顔パターン検出を 行なうことにより、ゲイン値を切換えずに、 高階調入力画像を処理するため、移動する人 物に対して顔の輝度制御が容易にできるよう になる。これに対し、前述したように、複数 のゲイン値を切換えながら画像を取得するこ とを前提とすると、移動する人物に対しての 輝度制御が困難となる。

 また、図13に示したような、複数の人物� �存在し、各人物についての顔の照度が大き� �異なる場合でも個々の人物の顔について適� �に輝度制御が行なわれることがある。ゲイ� �値切換えの手法を図13の場合に適用して得ら れる顔の画像では、図14Aまたは図14Bのような 、一方の人物についてのみしか適切な輝度制 御が行なわれていない。これに対して、第1� �実施の形態では、各顔の別々に輝度制御が� �なわれるので、図9に示すような、適切な輝� ��制御が行なわれた結果が得られる。

 さらに、変化検出を行なう増分符号フレー� ��間差分の計算において、微分画像を入力画� ��の輝度の平方根で割り、光ショットノイズ� ��影響を受けにくくした正規化増分符号フレ� ��ム間差分を用いることにより、図10Aの状況� ��ら得られた図10B、さらに図10Bから得られた� ��10Cに示すDI_X _t (x,y)は、図10Dに示すN_DI_S _t (x,y)に変換され、明るい壁の領域E1のノイズ� �分が低減される。なお、図10A~図10Cは、図16A~ 図16Cに対応するので、図10A~図10Cの詳細な説� �は省略する。
 その結果、差分画像N_DIFF_S _t (x,y)は図11に示すようになり、光ショットノ� �ズを変化として検出しなくなる。これによ� �、その後段の処理での性能が向上し、結果� �して顔認証としての認証性能が向上する。

 次に、第2の実施の形態について説明する。  
 第2の実施の形態の装置構成および処理の流 れは、基本的には前述した第1の実施の形態� �同様であるので説明は省略し、第1の実施の� ��態と異なる部分についだけ説明する。第2の 実施の形態では、ステップS3の変化検出処理� ��おいて、時間差分正規化輝度フレーム間差� ��を用い変化領域の検出を行なうものである� ��時間差分正規化輝度フレーム間差分とは、� ��述した輝度フレーム間差分を、光ショット� ��イズの影響を受けにくくするように改良し� ��ものであり、以下、時間差分正規化輝度フ� ��ーム間差分の計算について説明する。

 まず、時刻tの入力画像I _t (x,y)と時刻t-1の入力画像I _t-1 (x,y)から、下記式23に示す差分画像DI _t (x,y)を計算する。 

 次に、計算した差分画像DI _t (x,y)を、下記式24により正規化する。ここで� �下記式24におけるα _d は定数とする。 

 次に、下記式25に示すように、正規化した� �分画像N_DI _t (x,y)と閾値TH_FDとを比較し、変化画像N_DIFF _t (x,y)を求める。 

 N_DIFF _t (x,y)=1は、画素(x,y)において変化が検出された ことを表す。また、N_DIFF _t (x,y)=0は、画素(x,y)において変化が検出されな かったことを表す。

 以上説明したように第2の実施の形態によ れば、変化検出を行なう輝度フレーム間差分 において、輝度の時間差分を入力画像の輝度 の平方根で割り、光ショットノイズに影響を 受けにくくした時間差分正規化輝度フレーム 間差分を用いることにより、輝度フレーム間 差分に比較して、光ショットノイズの影響を 受けにくくなり、変化検出の性能が向上する 。これにより、その後段の処理での性能が向 上し、結果として顔認証としての認証性能が 向上する。