(実施の形態1)
 以下、本発明の実施の形態1について、図11� ��ら図13を用いて説明する。

 図11は、本発明を実現する第1の動き検出� ��置の構成を示すブロック図である。同図に� ��いて、図4と同一符号の処理部は同一の機能 を有するものを示し、その説明を適宜省略す る。

 第1の動き検出装置は、マルチフレームメ モリ504と、動き検出器100とを含む。

 動き検出器100は、図4に示した動き検出器 506の構成に加え、さらに、選択器106、ダイレ クト予測器108、アクセスフラグ記憶部110、及 びダイレクト判定器112を含む。

 動き検出器100は、以下で説明する動作を� ��い、ダイレクト予測を含めた動き検出を行� ��。なお、通常の動き検出部704は第1の動き検 出手段として、ダイレクト予測器108は第2の� �き検出手段として、選択器106は選択手段と� �て、アクセスフラグ記憶部110及びダイレク� �判定器112は、実行制御手段として機能する� �

 まず、通常の動き検出を行う場合は、従� ��技術で説明した処理の流れと同じであり、� ��ルチフレームメモリ504に記憶されている画� ��データが、参照画素MEpelとしてローカルメ� �リ702に一次蓄積される。ローカルメモリ702� �蓄積された画素データは、参照画素LMEpelと� �て通常の動き検出部704に入力される。通常� �動き検出部704は、入力された参照画素LMEpel� �用いて通常の動き検出を行う。ローカルメ� �リ702には、探索範囲に相当する分の画素デ� �タと符号化の対象とするマクロブロックが� �動したときに探索範囲として必要となる程� �の画素データが蓄えられている。例えば、� �5のような領域を探索する例であれば、縦に3 マクロブロック分と横に4マクロブロック分� �画素データがローカルメモリ702に格納され� �と良い。もちろん、探索範囲の広さ等に応� �て蓄えられる領域に増減はあり得る。次に� �簡略のため空間ダイレクト・モードに絞っ� �ダイレクト予測を行う場合の説明を続ける� �

 ダイレクト予測では、周辺マクロブロッ� ��の動きベクトル情報を用いてダイレクト予� ��用動きベクトルdirMVが決定され、そのダイ� �クト予測用動きベクトルdirMVがダイレクト判 定器112に入力される。また、ダイレクト予測 を行うか行わないかの制御情報をアクセスフ ラグとしてアクセスフラグ記憶部110に格納し ておく。アクセスフラグはフラグ信号AFsigと� ��てダイレクト判定器112に入力される。

 ダイレクト判定器112におけるアクセスフ� ��グの意味する制御内容は、例えば、以下の1 )~4)など、動き検出器100の実装の仕方に応じ� �いくつかの内容が考えられる。

 1).ローカルメモリ702の中に、ダイレクト� ��測で用いる画素データの全てが含まれてい� ��場合に限りダイレクト予測を行ない、一部� ��も含まれていない場合にはダイレクト予測� ��行なわない。

 2).ローカルメモリ702の中に、ダイレクト� ��測で使う画素データが一部でも含まれてい� ��場合にはダイレクト予測を行ない、全く含� ��れていない場合にはダイレクト予測を行わ� ��い。

 3).ローカルメモリ702に格納されている領� ��から大きく離れたピクチャ空間にダイレク� ��予測で使う画素データが存在する場合は、� ��イレクト予測を行わない。

 4).マルチフレームメモリ504とローカルメ� ��リ702との間のバスに対する割当バンド幅に� ��裕が無い場合はダイレクト予測を行わない� ��

 アクセスフラグを導入する1つの目的は、 マルチフレームメモリ504とローカルメモリ702 との間のデータ転送のバンド幅の増加を抑え るという点にある。例えば、1)のような制御� ��法を採用した場合には、マルチフレームメ� ��リ504とローカルメモリ702との間のデータ転� ��のバンド幅を一切増加させないという効果� ��ある。但し、この制御のみを行うのでは探� ��範囲内に参照画素が全て含まれるときに限� ��ダイレクト予測が行われるので、従来と比� ��して効果は少ない。2)や3)のような制御方法 を採用した場合には、マルチフレームメモリ 504とローカルメモリ702との間のデータ転送の バンド幅の増加を抑えつつ、ダイレクト予測 も可能になるという効果がある。4)のような� ��御方法を採用した場合にはシステム全体の� ��況に応じてダイレクト予測を行うことがで� ��るという効果がある。また、1)から4)の制御 を組み合わせることはもちろん可能である。 例えば、バンド幅に余裕がある場合はダイレ クト予測を行うが、バンド幅に余裕がない場 合はローカルメモリ702内にダイレクト予測で 使うデータが全てある場合に限りダイレクト 予測を行う、というような制御を行っても良 い。また、他の制御方法も考えられる。例え ば、ローカルメモリ702内にダイレクト予測で 使うデータが半分以上存在する場合に限りダ イレクト予測を行う、というような制御も考 えられる。

 ダイレクト判定器112は、ダイレクト予測� ��動きベクトルdirMVとフラグ信号AFsigとに基づ いて、ダイレクト予測を行うか否か及びダイ レクト予測で用いる画素データを何れのメモ リから取得するかを判定し、判定結果を、判 定結果信号DJsigとして選択器106とダイレクト� ��測器108とに出力する。選択器106は、判定結� ��信号DJsigに従って、ダイレクト予測で用い� �画素データがローカルメモリ702に存在する� �合はローカルメモリ702に記憶されている参� �画素LMEpelを選択し、選択された参照画素LMEpe lを参照画素DPpelとしてダイレクト予測器108に 出力する。また、選択器106は、ダイレクト予 測で用いる画素データがローカルメモリ702に 存在しない場合は、マルチフレームメモリ504 に記憶されている参照画素MEpelを選択し、選� ��された参照画素MEpelを参照画素DPpelとしてダ イレクト予測器108に出力する。ダイレクト予 測器108は、入力画素データの参照画素DPpelを� ��いて動き補償を行い、予測画像を作り出す� ��

 最終的に、動き検出器100では、図示しな� ��判定器によって、通常の動き検出部704を用� ��た場合の符号化コストと、ダイレクト予測� ��108を用いた場合の符号化コストとが比較さ� ��、符号化コストの小さい方がモード判定結� ��として採用される。通常の動き検出が採用� ��れた場合は、図1に示した従来の動画像符号 化装置の処理の流れと同様に、動きベクトル MVが出力され、予測動きベクトルPredMVとの差� ��である動きベクトル予測差分DifMVが符号化� �れる。また、ダイレクト予測が採用された� �合には動きベクトル予測差分DifMVを符号化す る必要は無く、符号量の削減を行う事が可能 となる。

 以上のような符号化処理を行うことによ� ��て、マルチフレームメモリ504とローカルメ� ��リ702とのバンド幅を最小限に抑制しつつ、� ��ーカルメモリ702に存在しない領域をダイレ� ��ト予測することも可能とすることによって� ��符号量の削減を実現することができる。

 図12は動き検出範囲の拡張を示す模式図� �あり、前述の動作を視覚的に説明している� �また、図13は本発明の動き検出処理を示すフ ローチャートである。以下では、図12及び図1 3を用いて動作を説明する。図12において、フ レームF2N-1とフレームF2Nは、符号化を行うピ� ��チャであり、フレームF2N-1は時間的にフレ� �ムF2Nよりも過去のピクチャを示している。

 例えば、フレームF2Nのマクロブロックmb2� ��符号化を行う場合、通常の動き検出部704は� ��フレームF2N-1を参照画像として通常の動き� �出を行うためにローカルメモリ702に蓄えら� �ている動きベクトル探索範囲srchArea内の参照 画素LMEpelを用いて動きベクトルを探索する。 探索の結果、通常の動き検出部704は、マクロ ブロックmb2と楕円の一部が含まれる領域srchBl ockとの相関が高いと判定し、動きベクトルMV� ��検出する(S301)。

 一方、ダイレクト予測ではローカルメモ� ��702に含まれる範囲から拡張された領域dirArea までを参照画像として使用することができる 。本発明の実施の形態1では、マルチフレー� �メモリ504に含まれる範囲を参照することも� �きるので、フレームF2N-1の全てから参照する ことも可能であるが、ここでは上述の3)のよ� ��な制御を行い、拡張された領域dirAreaをダイ レクト予測で使用できる範囲に制限した場合 を例にとって図示している。

 次に、ダイレクト判定器112は、拡張され� ��領域dirAreaにダイレクト予測で生成されるダ イレクト予測用動きベクトルdirMVが含まれる� ��どうかを判定する(S302)。ダイレクト予測で� ��成されるダイレクト予測用動きベクトルdirM Vが拡張された領域dirAreaに含まれると判定さ� ��た場合には(S302でYes)、選択器106は、マルチ� ��レームメモリ504からダイレクト予測参照領� ��dirBlockの画素データの取得を行う。また、� �イレクト予測器108は、符号化コストを算出� �る(S303)。

 ダイレクト予測で生成されるダイレクト� ��測用動きベクトルdirMVが拡張された領域dirAr eaに含まれないと判定された場合には(S302でNo )、ダイレクト予測器108は、ダイレクト予測� �符号化モードの候補から除外する(S304)。こ� �で、S301を含むプロセスP300と、S302~S304を含む プロセスP301とは並列に処理することも可能� �ある。

 プロセスP300とプロセスP301が終了すると� �動きベクトルMVを採用した場合の符号化コス トとダイレクト予測を行った場合の符号化コ ストとが比較される(S305)。

 ダイレクト予測の符号化コストが優れて� ��ると判定された場合は(S305でYes)、ダイレク� ��予測として動きベクトル予測差分DifMVを符� �化することなく符号化処理が行なわれる(S306 )。また、通常の動き検出の符号化コストが� �れていると判定された場合は、通常の画面� �予測として動きベクトル予測差分DifMVまで含 めて符号化処理が行なわれる(S307)。ただし、 S304においてダイレクト予測が符号化モード� �候補から除外されている場合には、S305で符� ��化コストの判定を行うことなくS307において 通常の画面間予測として符号化処理が行なわ れる。

 なお、実施の形態1ではダイレクト予測器 108に入力する画素データの入力元を選択器106 で切り替えることとしたが、ダイレクト予測 を行う時は常にマルチフレームメモリ504から 画素データを取得するような構成にしても良 い。この構成によると、データ取得経路を簡 単化することができる。また、一般的にロー カルメモリ702と通常の動き検出部704との間の 画素データ転送には定常的に最大限のバス幅 を使用している構成となっている可能性があ る。このため、ダイレクト予測時にマルチフ レームメモリ504より画素データを取得するこ ととしても、ローカルメモリ702と通常の動き 検出部704のバス転送能力に影響を与えない。

 なお、本実施の形態における動き検出器1 00は、内部でのバス転送能力(例えばローカル メモリ702から通常の動き検出部704への画素デ ータ転送)を確保するために1チップで構成す� ��ことが望ましい。一方でマルチフレームメ� ��リ504は大容量が必要であるので別チップと� ��て外付けするのが一般的である。

 (実施の形態2)
 次に、本発明の実施の形態2について、図14� ��ら図16Bを用いて説明する。

 図14は、本発明を実現する第2の動き検出� ��置の構成を示すブロック図である。同図に� ��いて、図11と同一符号の処理部は同一の機� �を有するものを示し、その説明を適宜省略� �る。

 第2の動き検出装置は、マルチフレームメ モリ504と、動き検出器200とを含む。

 動き検出器200は、図11に示した動き検出� �100の構成に加え、マルチフレームメモリ504� �ローカルメモリ702の間に、さらにキャッシ� �メモリ802を含む。また、動き検出器200には� �動き検出器100に存在したアクセスフラグ記� �部110が存在しない。キャッシュメモリ802の� �憶容量は、ローカルメモリ702の記憶容量よ� �大きく、かつマルチフレームメモリ504の記� �容量より小さい。

 動き検出器200は、以下で説明する動作を� ��い、ダイレクト予測を含めた動き検出を行� ��。なお、通常の動き検出部704は第1の動き検 出手段として、ダイレクト予測器108は第2の� �き検出手段として、選択器106は選択手段と� �て、ダイレクト判定器204は第2の動き検出可� ��判定手段として、機能する。

 まず、通常の動き検出を行う場合は、従� ��技術で説明した処理の流れと同じであり、� ��ルチフレームメモリ504に記憶されている画� ��データが、参照画素MEpelとしてキャッシュ� �モリ802に一次蓄積される。マルチフレーム� �モリ504に蓄積された画素データは、参照画� �CMEpelとしてローカルメモリ702に二次蓄積さ� �る。ローカルメモリ702に蓄積された画素デ� �タは、参照画素LMEpelとして通常の動き検出� �704に入力される。通常の動き検出部704は、� �力された参照画素LMEpelを用いて通常の動き� �出を行う。ローカルメモリ702には、探索範� �に相当する分の画素データと符号化の対象� �するマクロブロックが移動したときに探索� �囲として必要となる程度の画素データが蓄� �られている。例えば、図5のような領域を探� ��する例であれば、縦に3マクロブロック分と 横に4マクロブロック分の画素データがロー� �ルメモリ702に格納されると良い。もちろん� �探索範囲の広さ等に応じて蓄えられ領域に� �減はあり得る。一方、ダイレクト予測を行� �場合について次に説明するが、実施の形態1� ��同じく簡略のため空間ダイレクト・モード� ��絞って説明を続ける。

 ダイレクト予測では、周辺マクロブロッ� ��の動きベクトル情報を用いてダイレクト予� ��用動きベクトルdirMVが決定され、そのダイ� �クト予測用動きベクトルdirMVがダイレクト判 定器204に入力される。

 ダイレクト判定器204は、ダイレクト予測� ��動きベクトルdirMVに基づいて、ダイレクト� �測を行うか否か及びダイレクト予測で用い� �画素データを何れのメモリから取得するか� �判定し、判定結果を、判定結果信号DJsigとし て選択器106とダイレクト予測器108とに出力す る。選択器106は、判定結果信号DJsigに従って� ��ダイレクト予測で用いる画素データがロー� ��ルメモリ702に存在する場合はローカルメモ� ��702に記憶されている参照画素LMEpelを選択し� ��選択された参照画素LMEpelを参照画素DPpelと� �てダイレクト予測器108に出力する。また、� �択器106は、ダイレクト予測で用いる画素デ� �タがローカルメモリ702に存在せず、キャッ� �ュメモリ802に存在する場合は、キャッシュ� �モリ802に記憶されている参照画素CMEpelを選� �し、参照画素DPpelとしてダイレクト予測器108 に出力する。ダイレクト予測器108は、入力画 素データの参照画素DPpelを用いて動き補償を� ��い、予測画像を作り出す。

 最終的に動き検出器200では、図示しない� ��定器によって、通常の動き検出部704を用い� ��場合の符号化コストと、ダイレクト予測器1 08を用いた場合の符号化コストとが比較され� ��符号化コストの小さい方がモード判定結果� ��して採用される。通常の動き検出では、従� ��の動画像符号化装置を表す図1に示している 流れと同様に、動きベクトルMVが出力され、� ��測動きベクトルPredMVとの差分である動きベ� ��トル予測差分DifMVが符号化される。また、� �イレクト予測が選択された場合には動きベ� �トル予測差分DifMVを符号化する必要は無く、 符号量の削減を行う事が可能となる。

 本実施の形態の1つの特徴はマルチフレー ムメモリ504ではなく、キャッシュメモリ802か らのみダイレクト予測に用いる画素データを 取得する構成としている点にある。マルチフ レームメモリ504は通常は外部メモリとして外 付けされることが多いため、画素データを転 送するバンド幅を確保することが難しい。し かしながら、本実施の形態の構成にすれば外 付けメモリとの間の転送のバンド幅を一切増 加させることなく、探索範囲外からもダイレ クト予測を行うことが可能となる。なお、実 施の形態1と組み合わせてマルチフレームメ� �リ504からもダイレクト予測が実行できる構� �としたときは実施の形態1と同様の効果があ� ��。

 さらに、キャッシュメモリ自体は通常の� ��き予測における転送のバンド幅を確保する� ��めにも寄与しているので、ダイレクト予測� ��対応するための追加のメモリの実装コスト� ��特に必要がないという利点もある。

 以上のような符号化処理を行うことによ� ��て、マルチフレームメモリ504の転送量の増� ��を行うことなくダイレクト予測の範囲を拡� ��でき、また、キャッシュメモリ802とローカ� ��メモリ702とのバンド幅を最小限に抑制しつ� ��、ローカルメモリ702に存在しない領域をダ� ��レクト予測することも可能とする。これら� ��よって、符号量の削減を実現することが可� ��となる。

 なお、本実施の形態ではダイレクト予測� ��108に入力する画素データの入力元を選択器1 06で切り替えることとしたが、ダイレクト予� ��を行う時は常にキャッシュメモリ802から画� ��データを取得するような構成にしても良い� ��すなわち、ローカルメモリ702から選択器106� ��のパスが存在しないような構成である。こ� ��構成にすることにより、データ取得経路の� ��単化ができる。また、一般的にローカルメ� ��リ702と通常の動き検出部704との間の画素デ� ��タ転送には定常的に最大限のバス幅を使用� ��ている構成となっている可能性がある。こ� ��ため、このような構成にしても、ローカル� ��モリ702と通常の動き検出部704のバス転送能� ��に影響を与えない。

 なお、本実施の形態における動き検出器2 00は、内部でのバス転送能力(例えばローカル メモリ702から通常の動き検出部704への画素デ ータ転送)を確保するために1チップで構成す� ��ことが望ましい。一方でマルチフレームメ� ��リ504は大容量が必要であるので別チップと� ��て外付けするのが一般的である。

 なお、本実施の形態では、マルチフレー� ��メモリ504とローカルメモリ702の間に明示的� ��キャッシュメモリ802を設ける構成を示した� ��、キャッシュメモリ802が蓄積するラインバ� ��ファに相当する程度の領域に含まれる画素� ��ータを、ローカルメモリ702が蓄える構成と� ��ても良い。しかし、この場合にローカルメ� ��リ702内に記憶されている画素データの画像� ��での範囲を探索範囲とすると、通常の動き� ��出部704とローカルメモリ702との転送のバン� ��幅が極度に増大してしまう。よって、通常� ��動き検出部704では、ローカルメモリ702が蓄� ��る画素データのうち、上述の実施の形態で� ��した程度の特定の探索範囲のみから動き検� ��を行い(図5の例であれば縦に3マクロブロッ� ��、横に3マクロブロックに相当する程度の範 囲)、ダイレクト予測器108は、ローカルメモ� �702に含まれるラインバッファの全ての領域� �らダイレクト予測を行うような構成にして� �良い。この場合、ローカルメモリ702の出力� �のバンド幅が増加するが、全体的なメモリ� �を減らしつつ外部メモリのバンド幅の増加� �くダイレクト予測の性能を向上することが� �能である。なお、この構成においても後述� �るようにダイレクト予測を行う範囲を制限� �ればダイレクト判定器204の制御を容易にす� �ことが可能である。

 (探索拡張範囲の制約追加)
 実施の形態2の構成では、キャッシュメモリ 802を用いることでマルチフレームメモリ504と の間の画素データ転送量を最大限に削減しつ つ、ダイレクト予測の予測可能範囲を拡張し ている。ここで、ダイレクト予測の拡張範囲 に制約を追加することにより、ダイレクト判 定器204の制御が容易になり、さらに実装面で 利点がある。以下、ダイレクト予測の予測可 能拡張範囲の制約について説明を続ける。

 図15は動き検出範囲の制限を説明する模� �図である。図15(a)~図15(c)は、ローカルメモリ 702の画素制御内容をマクロブロック単位の時 系列で記載したものである。図15(a)では、画� ��左端のマクロブロック1002を右側にシフトさ せたマクロブロック1004を探索中心とした場� �の領域1006(3マクロブロック×3マクロブロッ� �)が動き検出範囲となっている。また、斜線� ��示している3マクロブロック分の領域1008が� �のマクロブロック処理(図15(b))を行うために� ��事前に取得されていることを示している。� ��モリ管理状態は、図15(a)から図15(b)、図15(c)� ��状態に遷移していく。

 図15(d)~図15(f)は、図15(a)~図15(c)と同様にマ クロブロック毎のローカルメモリ702の探索範 囲の管理状態を示しているのに加え、主に横 線をつけた領域1010を含むキャッシュメモリ80 2の状態も追加で記載している。これらの図� �、キャッシュメモリ802が、例えば(ピクチャ� ��×3マクロブロックライン)のメモリ容量を実 装している場合の状態を表している。図15(d)� ��ら図15(e)、図15(f)と探索中心のマクロブロッ ク1004が右側にシフトして行くに従い、上段� �チェックで示した論理領域1012が格納されて� ��る物理メモリ領域に、下段のチェックをつ� ��た論理領域1014の画像情報を格納していくこ とによって、メモリ状態を更新していく様子 を表している。

 図15(d)~図15(f)のような管理で、ダイレク� �予測の予測可能範囲をキャッシュメモリ802� �含まれるもの全てとした場合、前述のメモ� �状態を更新している論理領域1012及び1014での 更新タイミングによっては、ダイレクト予測 が難しくなる。また、キャッシュメモリ802に 格納されている領域は矩形では無いため、ダ イレクト判定器204による領域判定が複雑なも のとなる。

 そこで、動き検出のための探索範囲の右� ��に拡張するダイレクト予測の予測可能拡張� ��囲を、ローカルメモリ702に格納されている� ��索範囲から固定マクロブロック列分までの� ��域拡張に制限する。これによって、画素デ� ��タの更新タイミングやダイレクト予測領域� ��上下位置を取得可能判定処理に加える必要� ��なくなる為、ダイレクト判定器204の実装を� ��易化することが可能となる。例えば、図15(d )~図15(f)において探索範囲から2マクロブロッ� ��列分1016までの領域にダイレクト予測の右側 の予備拡張範囲を制限すれば、更新のタイミ ングを気にする必要はなくなる。もちろん、 どの範囲にまで制限するべきかについては、 キャッシュメモリ802のメモリ容量や更新のア ルゴリズムに応じて適宜変更すればよい。

 また、図15(g)~図15(i)は、図15(a)~図15(c)と同 様にマクロブロック毎のローカルメモリ702の 探索範囲の管理状態を示しているのに加え、 主に横線をつけた領域1018を含むキャッシュ� �モリ802の状態も追加記載している。図15(d)~� �15(f)と異なるのは図8で説明したメモリ管理� �よってキャッシュメモリ802の実装容量を削� �している点である。キャッシュメモリ802が� �例えば(ピクチャ幅×3マクロブロックライン- α)のメモリ容量を実装している場合の状態を 表している。図15(g)から図15(h)、図15(i)に探索 中心のマクロブロック1004を右側にシフトし� �行くに従い、上段のチェックで示した論理� �域1020が格納されている物理メモリ領域に、� ��段のチェックをつけた論理領域1022の画像情 報を格納していくことで、メモリ状態を更新 していく様子を表している。

 図15(g)~図15(i)のような管理を行う前提で� �ダイレクト予測の予測可能範囲をキャッシ� �メモリ802に含まれるもの全てとした場合、� �き検出のための探索範囲から左側に関して� �、前述のメモリ状態を更新しているチェッ� �で示した論理領域1020及び1022の更新タイミン グによっては、ダイレクト判定が難しくなる 。また、同様にキャッシュメモリ802に格納さ れている領域が矩形では無いため、ダイレク ト判定器204による領域判定が複雑なものとな る。

 そこで、動き検出のための探索範囲の左� ��に拡張するダイレクト予測の予測可能拡張� ��囲を、ローカルメモリ702に格納されている� ��索範囲から固定マクロブロック列分までの� ��域拡張に制限する。これによって、画素デ� ��タの更新タイミングやダイレクト予測領域� ��上下位置を取得可能判定処理に加える必要� ��なくなる為、ダイレクト判定器204の実装を� ��易化することが可能となる。例えば、図15(d )~図15(f)において探索範囲から右側に2マクロ� ��ロック列分1024、左側に1マクロブロック列� �1026までの領域にダイレクト予測の予備拡張� ��囲を制限すれば更新のタイミングを気にす� ��必要はなくなる。もちろん、どの範囲にま� ��制限するべきかについては、キャッシュメ� ��リ802のメモリ容量や更新のアルゴリズムに� ��じて適宜変更すればよい。

 なお、動き検出のための探索範囲を拡張� ��たダイレクト予測の予備拡張範囲を縦方向� ��制限することも可能である。例えば、図15(d )~図15(f)のような管理を考えた場合、キャッ� �ュメモリ802に蓄えられている領域のうち最� �行のマクロブロックと最下行のマクロブロ� �クは対象マクロブロックが移るにつれて更� �されていくが、中央の2マクロブロック行に� ��いては更新されない。そこで、ダイレクト� ��測の予備拡張範囲を中央の2マクロブロック 行分のマクロブロックに制限することで、ダ イレクト判定器204は容易にダイレクト予測を 行うかどうかを判定することができる。もち ろん、どの範囲にまで制限するべきかについ ては、キャッシュメモリ802のメモリ容量や更 新のアルゴリズムに応じて適宜変更すればよ い。さらに、制限範囲は縦方向のみ、あるい は横方向のみに限られるものではなく、キャ ッシュメモリ802のメモリ容量や更新のアルゴ リズムによっては、縦方向と横方向の双方に 制限をかけることでダイレクト判定器204の判 定をさらに容易にすることが可能である。

 (本実施の形態の車窓の画像への適用)
 図16A及び図16Bは、本発明において車窓から� ��風景の動き検出する動作を示す模式図であ� ��。図16Aにおいて、フレームF6N-1は、図10Aに� �したフレームF18N-1と同一の参照画像を示す� �領域P600はキャッシュメモリ802で管理してい� ��領域を示す。領域P601は前述したダイレクト 判定器204においてダイレクト予測の予測格納 拡張範囲に制限を加えた領域を示す。また、 同図には、探索中心となるマクロブロックP60 2と、動き検出を行なう探索範囲P603と、図10B� ��示したフレームF18Nの符号化対象のマクロブ ロックP1805と同じ空間上の位置の周辺P604と、 ダイレクト予測で選択される位置P605とが示� �れている。ここでは、図10A及び図10Bと同様� �、探索中心が右側にシフトしている状態を� �定している。

 図16Bは、フレームF18Nにおける符号化対象 マクロブロックcurrMB(マクロブロック1805)と、 その周辺マクロブロックである左隣接マクロ ブロックmb6Aと、上隣接マクロブロックmb6Bと� ��右上隣接マクロブロックmb6Cとを示している 。説明の簡略のため、例えば、全体の動きに 同期して探索中心がずれてしまっているため 、左隣接マクロブロックmb6A、上隣接マクロ� �ロックmb6B及び右上隣接マクロブロックmb6Cか らなる周辺マクロブロックは、一致する参照 画像がフレームF6N-1から得られていないとし� ��それぞれ画面内予測が適応されていると仮� ��する。

 上記仮定のもと、符号化対象マクロブロ� ��クcurrMBに対する処理を行う場合、周辺マク� ��ブロックの符号化モードが全て画面内予測� ��なっている。このため、空間ダイレクト・� ��ードにおける予測動きベクトルは0ベクトル となる。ここで、動き検出を行う探索範囲P60 3が、周辺マクロブロックに対する動き検出� �囲と同様に右側にずれてしまっていると仮� �すると、探索範囲P603の中からは符号化コス� ��が高くなってしまった参照画像が選択され� ��。

 ここで、ダイレクト予測のために生成す� ��動きベクトルは0ベクトルであり、ダイレク ト判定器204は、ダイレクト予測で選択される 位置P605がダイレクト予測の予測格納拡張範� �に制限を加えた領域P601に含まれるかどうか� ��判断する。その結果として、位置P605が領域 P601に含まれると判断されれば、ダイレクト� �測として符号化を行う。これによって、画� �内予測を行うよりも格段に符号化ビット量� �削減したダイレクト予測による符号化を行� �ことが可能となる。

 なお、ブロック図(図11や図14など)の各機� ��ブロックは典型的には集積回路であるLSIと� ��て実現される。これらは個別に1チップ化さ れても良いし、一部または全てを含むように 1チップ化されても良い。マルチフレームメ� �リ504などは大容量となるため、LSIに外付け� �る大容量のSDRAMなどで実装することもあるが 、1パッケージ化や1チップ化されることも有� ��得る。

 また、ここではLSIとしたが、集積度の違� ��により、IC、システムLSI、スーパーLSI、ウ� �トラLSIと呼称されることもある。また、集� �回路化の手法はLSIに限るものではなく、専� �回路または汎用プロセッサで実現してもよ� �。LSI製造後に、プログラムすることが可能� �FPGA(Field Programmable Gate Array)や、LSI内部の回 路セルの接続や設定を動的に再構成可能なリ コンフィギュラブル・プロセッサを利用して も良い。さらには、半導体技術の進歩または 派生する別技術によりLSIに置き換わる集積回 路化の技術が登場すれば、当然、その技術を 用いて機能ブロックの集積化を行ってもよい 。バイオ技術の適応等が可能性としてありえ る。

 (応用例1)
 上記の動き検出装置を含む動画像符号化装� ��の応用例について説明する。

 図17は、H.264レコーダを実現するAV処理部� ��ブロック図である。AV処理部400は、ディジ� �ル圧縮された音声及び画像を再生するDVDレ� �ーダやハードディスクレコーダなどのAV処理 部を示している。

 AV処理部400は、ストリーム入出力部402と� �メモリ入出力部404と、AV制御部406と、画像符 号化復号化部408と、音声符号化復号化部410と 、画像処理部412と、画像入出力部414と、音声 処理部416と、音声入出力部418とを含む。

 ストリーム入出力部402は、音声と画像の� ��トリームデータexStrを入出力する処理部で� �り、ストリームデータや音声・画像の復号� �ータなどのデータを転送するバスexBusと、大 容量蓄積デバイス(図示せず)とに接続されて� ��る。

 画像符号化復号化部408は、画像の符号化� ��び復号化を行う処理部であり、バスexBusに� �続されている。

 AV処理部400の外務には、ストリームデー� �や符号化データや復号化データなどのデー� �を格納するメモリ390が設けられており、メ� �リ入出力部404を介して、バスexBusに接続され ている。

 ここで、画像符号化復号化部408は図11と� �14に示した動き検出装置を含むものである。 ストリームデータexStrは、符号化信号Strを含� ��でおり、メモリ390は図11に示しているマル� �フレームメモリ504が含まれるものである。

 画像処理部412は、画像信号に対してプレ� ��理及びポスト処理を行う処理部であり、バ� ��exBusに接続されている。画像入出力部414は� �画像処理部412で処理したもしくは画像処理� �412で処理をせずに通過だけさせた画像デー� �信号を画像信号exVSigとして外部に出力する� �また、画像入出力部414は、外部からの画像� �号exVSigを取り込む。

 音声処理部416は、音声信号exASigに対して� ��レ処理及びポスト処理を行う処理部であり� ��バスexBusに接続されている。音声入出力部41 8は、音声処理部416で処理したもしくは音声� �理部416で処理をせずに通過だけさせた音声� �ータ信号を外部に音声信号exASigとして出力� �る、また、音声入出力部418は、外部からの� �声信号exASigを取り込む。また、AV制御部406は 、AV処理部400の全体制御を行う処理部である� ��

 符号化処理においては、最初に画像信号e xVSigが画像入出力部414に入力され、音声信号e xASigが音声入出力部418に入力される。

 まず記録処理では、画像入出力部414に入� ��された画像信号exVSigを用いて、画像処理部4 12においてフィルタ処理や符号化のための特� ��量抽出などが行なわれる。また、特徴量抽� ��後の画像信号exVSigは、メモリ入出力部404を� ��してメモリ390に原画像として格納される。� ��に、再びメモリ入出力部404を介してメモリ3 90から画像符号化復号化部408に、原画像デー� ��と参照画像データの転送が行なわれる。逆� ��、画像符号化復号化部408からメモリ390には� ��像符号化復号化部408で符号化された画像ス� ��リームデータと局所復元データとが転送さ� ��る。

 一方、音声入出力部418に入力された音声� ��号exASigを用いて、音声処理部416においてフ� ��ルタ処理や符号化のための特徴量抽出など� ��行われ、特徴量抽出された音声信号exASigは� ��メモリ入出力部404を介してメモリ390に原音� ��データとして格納される。次に、再びメモ� ��入出力部404を介してメモリ390から原音声デ� ��タを取り出して符号化し、符号化された音� ��データが、再度、音声ストリームデータと� ��てメモリ390に格納される。

 符号化処理の最後に、画像ストリーム、� ��声ストリーム及びその他のストリーム情報� ��一つのストリームデータとして処理し、ス� ��リーム入出力部402を介してストリームデー� ��exStrを出力し、光ディスク(DVD)やハードディ スク(HDD)などの大容量蓄積デバイスに書き込� ��処理が行なわれる。

 次に、復号化処理では以下のような動作� ��行う。まず、光ディスクやハードディスク� ��半導体メモリなどの大容量蓄積デバイスか� ��、記録処理で蓄積しているデータの読み出� ��を行うことにより音声及び画像のストリー� ��信号が、ストリーム入出力部402を介してス� ��リームデータexStrが入力される。そのスト� �ームデータexStrに含まれる画像ストリームは 画像符号化復号化部408に入力され、音声スト リームは音声符号化復号化部410に入力される 。

 画像符号化復号化部408によって復号化さ� ��た画像データはメモリ入出力部404を介して� ��モリ390に格納される。メモリ390に格納され� ��データは画像処理部412でノイズ除去などの� ��工処理を行う。また、メモリ390に格納され� ��画像データは再び画像符号化復号化部408に� ��いて、画面間動き補償予測の参照ピクチャ� ��して使用されることもある。

 また、音声符号化復号化部410によって復� ��化された音声データはメモリ入出力部404を� ��してメモリ390に格納される。メモリ390に格� ��されたデータに対して、音声処理部416で音� ��などの加工処理が施される。

 最後に、音声と画像の時間的な同期をと� ��ながら、画像処理部412で加工処理したデー� ��は画像入出力部414を介して画像信号exVSigと� ��て出力され、テレビ画面などに表示される� ��音声処理部416で加工処理したデータは音声� ��出力部418を介して音声信号exASigとして出力� ��れ、最終的にはスピーカなどから出力され� ��。

 (応用例2)
 さらに、上記各実施の形態で示した動画像� ��号化装置をソフトウェアにより実現するた� ��のプログラムを、フレキシブルディスク等� ��記憶媒体に記録するようにすることにより� ��上記各実施の形態で示した処理を、独立し� ��コンピュータシステムにおいて簡単に実施� ��ることが可能となる。

 図18A~図18Cは、上記実施の形態1から実施� �形態2の動画像復号化装置を実現するプログ� ��ムを格納したフレキシブルディスクを用い� ��、コンピュータシステムにより実施する場� ��の説明図である。

 図18Aは、フレキシブルディスクの正面か� ��みた外観、断面構造、及びフレキシブルデ� ��スクを示し、図18Bは、記録媒体本体である� ��レキシブルディスクの物理フォーマットの� ��を示している。フレキシブルディスクFDは� �ースF内に内蔵され、該ディスクの表面には� ��同心円状に外周からは内周に向かって複数� ��トラックTrが形成され、各トラックは角度� �向に16のセクタSeに分割されている。従って� ��上記プログラムを格納したフレキシブルデ� ��スクでは、上記フレキシブルディスクFD上� �割り当てられた領域に、上記プログラムと� �ての動画像復号化装置が記録されている。

 また、図18Cは、フレキシブルディスクFD� �上記プログラムの記録再生を行うための構� �を示す。上記プログラムをフレキシブルデ� �スクFDに記録する場合は、コンピュータシス テムCsから上記プログラムとしての動画像復� ��化装置を、フレキシブルディスクドライブ� ��介して書き込む。また、フレキシブルディ� ��ク内のプログラムにより動画像復号化装置� ��コンピュータシステム中に構築する場合は� ��フレキシブルディスクドライブによりプロ� ��ラムをフレキシブルディスクから読み出し� ��コンピュータシステムに転送する。

 なお、上記説明では、記録媒体としてフ� ��キシブルディスクを用いて説明を行ったが� ��光ディスクを用いても同様に行うことがで� ��る。また、記録媒体はこれに限らず、ICカ� �ド、ROMカセット等、プログラムを記録でき� �ものであれば同様に実施することができる� �

 本発明の動き検出装置は、通常の動き検� ��対応範囲を越えた参照画像空間に関して、� ��イレクト予測を活用することによって、外� ��メモリもしくは内部の広域なキャッシュメ� ��リから画素データを取得し、外部メモリと� ��転送バンド幅を殆ど増加することなく、ま� ��実装メモリ量を増加することなく、画面間� ��測の対象範囲を拡張することが可能とする� ��

 今回開示された実施の形態はすべての点� ��例示であって制限的なものではないと考え� ��れるべきである。本発明の範囲は上記した� ��明ではなくて請求の範囲によって示され、� ��求の範囲と均等の意味及び範囲内でのすべ� ��の変更が含まれることが意図される