〈概要〉
 動画信号及び音信号を含む入力データに基� ��いて動画を再生する装置において、動画の� ��生中に、早送り、コマ送りなど、1倍速以外 の変倍速度に切り替えることがある。この場 合、音信号についても動画像の変倍に合わせ た制御となる。例えば、1倍未満の再生速度� �あれば、音を伸長して再生時間を延ばし、1� ��以上の再生速度であれば無音期間を省くな� ��して再生時間を短くすることによって動画� ��に合わせる制御を行う。このため、再生速� ��を変更した場合、変更前と変更後とで音の� ��態が急激に変化するので音声ノイズが発生� ��ることがある。

 ここで再生スピードの急激な変更によっ� ��発生する音声ポップノイズについて、図11� �参照して説明する。なお、以下の説明にお� �て、音信号は、どのような音の信号であっ� �も良いが、テレビ放送等においては、人の� �が主要な要素であり、また、BGMや効果音が� �合された音響であることが一般的であるの� �、便宜上、音声信号、音響信号とも記す。� �様に、音信号に基づく音を音声或は音響と� �記す。

 図11中、期間3Aは1倍速未満の低速再生し� �いる部分、期間3Bは1倍速で通常再生してい� �部分である。”Nxx”は1秒間のフレームN01~N15 を示す。

 期間Aでは、音声の再生速度も1倍速未満� �して周波数を低くする、或は音声を所定単� �でサンプリングして該単位毎の再生時間を� �ばすことで周波数を変えずに音声を再生す� �。何れにしても期間3Aの音声と期間3Bの音声� ��では異なる状態となる。図12Aと図12Bは、1/2� ��の速度で再生した音声の周波数と、通常(1� �)の速度で再生した音声の周波数との違いを� ��している。図12A,B中、横軸が周波数、縦軸� �音の大きさ(dB)を示している。

 そして、この1倍速未満の再生から1倍速� �変更するポイントを”3C”とする。即ち、ポ イント3Cで突然に音声の周波数が変更される� ��従来ではこの期間をミュートすることはな� ��。よって、大きな音声レベルの違いが発生� ��る。ここで周波数の隔たりは音質の変化と� ��て現れ、デシベル[dB]の隔たりは音量の変化 として現れる。従って、これらがある時間を 持って現れると音声ノイズとして聞こえる。

 そこで、本実施形態では、図1に示すよう に再生速度の切り替え時に音出力をミュート してノイズの発生を抑えた。図1は本実施形� �の概略の説明図である。

 まず、入力データに基づいて動画を再生� ��ている際に、ユーザの操作或いは装置によ� ��て再生速度の変更を決定する。例えば、変� ��速から1倍速への切り替えを決定する。

 この場合、入力データをサーチし、動画� ��構成する各フレーム(動画像)の一致度が所� �値以上の期間4Cを検出する。このように同じ ようなフレームが続いている場合には、音声 も同じ状況が続いており、変化が少ないこと が類推できるので、ここを再生スピードの切 り替えタイミングとする。

 そして、この切り替えタイミングで、音� ��のミュート及び再生速度の切り替えを行う� ��このミュート及び再生速度の切り替えは、� ��1に示すように、ミュートの開始時101に、時 間軸に対して、レベルを漸減しながら無音声 にする。よって、いきなり無音になることが ないため、これによる音声ノイズは発生しな い。

 その後、再生速度の切り替え102を行い、� ��声レベルを漸増してミュートを解除103する� ��

 この切り替えタイミングでは、N frameと(N +1) frameから(N+5) frame(図1では、N06~N10)までが� ��定以上の画面の一致があるため急激な音声� ��音圧或いは周波数の変動はない。即ち、こ� ��では同じシーンが続くため、爆発音等の激� ��い音の切り替わりはない。よってアプリケ� ��ションによる一時的な無音声区間を作成し� ��もその動画を視聴するときに違和感はない� ��このため、短い期間でミュートの開始及び� ��ュートの解除を行ってもノイズとして認識� ��れない。

 従って、本実施形態によれば、ノイズの� ��生を抑えつつ適時に再生速度の切り替えを� ��うことができる。

 ここで記述した所定以上の動画像の一致� ��は、決まった値ではなく、アプリ(音制御プ ログラム)の設計者がその再生コンテンツに� �って設定するものである。

 例えば動画を構成する各フレームを画素� ��位で比較し、所定値(本例では90%)以上の画� �が一致するか否かによって判定する。即ち� �一致度が90%以上の映像が続く場合に再生速� �を1倍に切り替える。

 〈実施形態1〉
 以下にデジタルテレビ(ワンセグ)放送の視� �機能を備えるコンピュータ(パーソナルコン� ��ュータ)として実施した場合の実施の形態を 説明する。以下の実施形態の構成は例示であ り、本実施形態は実施形態の構成には限定さ れない。

 ワンセグ放送では、動画データの圧縮符� ��化方式としてH.264/AVC(レベル1.2、320x240また� �320x180、最小フレーム間隔1/15秒)が用いられ� �いる。この方式では、圧縮された動画デー� �よりピクチャを生成する方法として、フレ� �ム間予測によるピクチャ生成が採用されて� �る。

 図13は、H.264/AVCのデータ構成を示す図で� �る。H.264/AVCのデータには、シーケンス全体� �符号に関わる情報が含まれるヘッダであるSP S(Sequence Parameter Set)、ピクチャ全体の符号化 モードを示すヘッダであるPPS(Picture Parameter  Set)、必要な場合に付加されるSEI(Supplemental En hancement Information)、IDRピクチャ(Instantaneous Dec oding Refresh Picture)等が含まれる。ワンセグ放 送では、3枚以内の参照ピクチャからフレー� �間予測が行われ、Pピクチャ(Predictive Picture)� ��生成される。また、IDRピクチャによって区� ��られる、ひとまとまりのフレーム群は、GOP( Group Of Picture)と呼ばれる。本実施形態では� �GOPは原則として再生時間にして1秒分の15フ� �ームとする。

 本実施形態に係るパーソナルコンピュー� ��は、ワンセグ放送の受信チューナ、および� ��号手段を備え、表示部(ディスプレイ)に復� �した映像信号に基づく画像を表示し、復号� �た音響信号に基づく音響を再生することに� �ってワンセグ放送を視聴することが可能な� �ーソナルコンピュータである。このような� �ーソナルコンピュータでは、パーソナルコ� �ピュータに備えられた機器自体が発する電� �や周囲の電波の状況等により、一時的にフ� �ームの受信等に失敗し、データに欠落が発� �することが考えられる。

 ここで、従来のワンセグ放送視聴装置で� ��、データに欠落が発生した場合、そのまま� ��報不足の映像または音響が出力されるか、� ��像または音響が出力されない(ブラックアウ ト)という問題が発生する。

 そこで、本実施形態に係るパーソナルコ� ��ピュータは、再生時間にして3秒分のデータ をバッファ(即ち、コンピュータ上のメモリ� �ら削除しない)しつつ遅延出力を行い、動画� ��ータまたは音響データに欠落がある場合に� ��、バッファされたデータに基づいてスロー� ��生を行うことで、欠落部分に映像途切れや� ��途切れ等が発生しないようにする。

 即ち、本実施形態に係るパーソナルコン� ��ュータに拠れば、動画データまたは音響デ� ��タに欠落が発生した場合でも、情報不足の� ��像が出力されたり、映像がブラックアウト� ��たり、音声が途切れたりすることなく、視� ��者に違和感を殆ど与えない映像が表示され� ��音響が再生されるような映像信号および音� ��信号を出力することが可能である。

 本実施形態において、バッファされる入� ��データの量は、動画および音響として再生� ��る場合の時間に換算して3秒分とする。例え ば、動画データでは、ワンセグ放送は毎秒15� ��レームであるため、おおよそ45フレームの� �画データがバッファされる。このバッファ� �および遅延時間は、可能な限り多くするこ� �が好ましいが、実際に視聴する際の遅延の� �容範囲や、パーソナルコンピュータ上に確� �できるバッファ領域のサイズを考慮して、� �実施形態では3秒とした。但し、このバッフ� ��量および遅延時間は、実施の形態毎に適宜� ��適な値に設定されることが好ましい。例え� ��、常駐するアプリケーションや不要なアプ� ��ケーションを終了させるか、メインメモリ� ��一部をビデオメモリとして使用しない(単独 のビデオメモリを設ける)ことで確保可能な� �インメモリの容量を増やし、バッファ量を� �やすこと等が考えられる。

 また、本実施形態に係るパーソナルコン� ��ュータは、このバッファを利用して3秒間の 遅延出力を行う。遅延出力を行うことによっ て、データの欠落によって動画データまたは 音響データが欠落している場合にも、欠落し ている映像信号または音響信号をそのまま出 力してしまうことなく、バッファされた未出 力のデータをスロー再生することで、欠落部 分の映像または音響を補間することが可能と なる。

 <パーソナルコンピュータの機能構成>
 図2は、本実施形態に係るパーソナルコンピ ュータ10の機能構成図である。本パーソナル� ��ンピュータ10は、ユーザの操作を受けて、� �ーソナルコンピュータ10を操作する操作部18� ��、操作部18における操作を検知する検知部22 と、テレビジョン放送を受信する放送受信部 14と、放送受信部14より出力されたデータに� �づいて復号された映像信号および音響信号� �表示部(音出力部を含む)40へ出力する信号出� ��装置10Aと、入力された映像信号に基づいて� ��送受信部14で受信された放送番組を表示す� �表示部40、とを有する。

 さらに、信号出力装置10Aは、放送受信部1 4より出力されたデータを一定量記憶するバ� �ファ部26と、放送受信部14より出力されたデ� ��タを復号することで映像信号および音響信� ��を生成する出力信号生成部23と、データの� �落を検出する検出部(欠落検出部)27と、検出� ��27によって欠落が検出された場合に代替デ� �タを生成する代替データ生成部28と、映像信 号および音響信号を表示部40へ出力する出力� ��御部(再生部に相当)21と、入力データの再生 速度の変更を決定する変更決定部31と、切り� ��えタイミングを検出する切り替え検出部32� �、音出力をミュートする音制御部33を有する 。

 これらの各機能部は、CPU、メモリ等を含� ��コンピュータとコンピュータ上で実行され� ��プログラムによって実現することができる� ��

 ここで、操作部18は、コンピュータの入� �装置や、赤外線受光部と赤外線リモコンと� �組み合わせによるリモコン操作部、チャン� �ル操作用のつまみ、操作ボタン等である。

 検知部22は、操作部18とCPUとのインターフ ェースと、インターフェースの信号を処理す るデバイスドライバと、デバイスドライバを 通じて操作部18との間で信号を授受するOS(オ� ��レーティングシステム)と、を通じて、操作 部18への操作(例えば、受信チャンネルの切り 替え)を検知する。ただし、検知部22として、 専用のハードウェアを設けてもよい。例えば 、操作部用の入力信号処理回路を設けて、CPU の処理を分担してもよい。このような処理回 路としては、キーボードコントローラ、マウ スコントローラ等が知られている。

 また、例えば、操作部18からの信号を処� �する専用の入力制御プロセッサを別途設け� �もよい。入力制御プロセッサは、操作部18の 信号を所定の信号に変換し、出力制御部21に� ��号を伝達すればよい。

 放送受信部14は、所謂ワンセグチューナ� �ある。放送受信部14は、アンテナで放送波を 受信し、受信した放送波に基づいたデータス トリーム(例えば、TS信号)を出力する。

 出力信号生成部23は、放送受信部14より出 力されたデータを、直接またはバッファ部26� ��介して取得し、取得したデータに基づいて� ��映像信号および音響信号を生成する。出力� ��号生成部23は、CPU上で実行されるコンピュ� �タプログラムとして構成すればよい。ただ� �、出力信号生成部23は、入力データに基づい て映像信号および音響信号を生成し、生成し た映像信号および音響信号を出力する専用プ ロセッサとして構成されてもよい。

 バッファ部26は、入力されたデータを一� �的に記憶する。バッファ部26は、放送受信部 14より出力されたデータの入力を受け付け、� ��生時間にして3秒分の入力データをバッファ する。バッファ部26は、CPU上で実行されるコ� ��ピュータプログラムによって制御される電� ��バックアップされた揮発性メモリ、フラッ� ��ュメモリ等の不揮発性のメモリ、ハードデ� ��スクあるいは可搬媒体等の記録媒体として� ��成すればよい。ただし、バッファ部26は、� �力された入力データをバッファする専用メ� �リとして構成されてもよい。

 出力制御部21は、表示部40とのインターフ ェースを有し、表示部40へ出力する映像信号� ��よび音響信号を制御する。出力制御部21は� �検知部22によって検知された信号に従って、 出力信号生成部23によって生成された映像信� ��および音響信号を、表示部40へ出力する。� �の際、出力制御部21は、放送が受信された時 間から3秒遅延させて出力を行う。また、出� �制御部21は、変更決定部31から通知された再� ��速度に基づいて出力を制御する。即ち、1倍 速未満であれば各フレームの出力時間を延ば し、1倍速以上であればフレームを間引くな� �して動画像の再生速度を変更する。これに� �い音響信号も伸長或は間引いて動画像に合� �せる。出力制御部21は、CPU上で実行されるコ ンピュータプログラムとして構成すればよい 。ただし、出力制御部21は、映像信号および� ��響信号を出力する専用プロセッサとして構� ��されてもよい。

 検出部27は、放送受信部14より入力された データ(入力データ)の完全性を監視し、デー� ��の欠落を検出する。欠落が検出された場合� ��検出部27は、欠落の発生しているデータブ� �ック(動画であればGOP)を特定し、代替データ 生成部28及び変更決定部31へ通知する。代替� �ータ生成部28は、この通知を受けて、代替デ ータ生成処理を開始する。

 代替データ生成部28は、検出部27によって データの欠落が通知された場合に、変換用デ ータブロックを取得し、これを平均化するこ とで、欠落部分の映像または音響を補間する ための代替データを生成する。代替データ生 成部28による処理の詳細については、図4およ び図5を用いて説明する。また、表示部40は、 いわゆるモニタおよびスピーカであり、出力 制御部21より出力された映像信号および音響� ��号の入力を受けて映像を表示し、音響を再� ��する。

 変更決定部31は、ユーザの操作或は変更� �定部31の通知に基づき動画信号及び音信号を 含む入力データの再生速度の変更を決定する 。例えば、ユーザが操作部18の操作により早� ��りやスロー再生等の変倍を指示した場合に� ��検知部22で検知した該指示に応じて再生速� �を決定して出力制御部21に通知する。また、 検出部27によってデータの欠落が検出された� ��合、動画像が代替データによって平均化さ� ��、1倍未満の再生速度になるため、この再生 速度を欠落したフレーム数に応じて求めて出 力制御部21に通知する。また、検出部27によ� �てデータの欠落が検出されなくなった場合� �再生速度を1倍に決定する、即ち1倍速に戻す (変更する)ことを決定し、出力制御部12へ通� �する。

 切り替え検出部32は、前記再生中に前記� �更決定部が異なる再生速度への変更を決定� �た場合に、映像信号をサーチし、フレーム(� ��画像)の一致度が所定値以上の期間を切り替 えタイミングとして検出する。この一致度の 検出としては、例えば、出力信号生成部23で� ��成した映像信号のうち、あるフレーム(Nフ� �ーム)と該Nフレームから所定フレーム後のN+x フレームまでを画素単位で比較して相関を求 め、一致度が所定値以上(例えば90%以上)の場� ��に、N+1フレームからN+xフレームまでを切り� ��えタイミングとして検出する。また、放送� ��信部14で受信した入力データのうち、IBPフ� �ームのPピクチャのデータ量(差分量)をモニ� �し、連続する所定数(例えば5枚)のPピクチャ� ��データ量が所定数以下或はGOP内で最も少な� ��なる期間を求め、この期間のピクチャに基� ��くフレームN+1フレームからN+xの再生期間を� ��り替えタイミングとしても良い。

 音制御部33は、前記切り替え検出部32で検 出した切り替えタイミングに基づき、前記音 信号に基づく音出力をミュートする。具体的 には、出力制御部21から表示部40のスピーカ� �出力される音響信号を減衰させる構成でも� �いし、出力制御部21にミュートのタイミング を通知して音響信号をミュートさせる構成で も良い。

 <パーソナルコンピュータの構成>
 図3は、本発明の一実施形態に係るパーソナ ルコンピュータ10の詳細構成の例を示す図で� ��る。図3のように、パーソナルコンピュータ 10は、コンピュータプログラムを実行し、パ� ��ソナルコンピュータ10を制御するCPU11と、CPU 11で実行されるコンピュータプログラム、あ� ��いはCPU11が処理するデータを記憶するメモ� �12と、CPU11を各種の装置に接続するインター� ��ェース13と、インターフェース13を通じて接 続される放送受信部14、通信部15、ハードデ� �スク駆動装置16、可搬媒体駆動装置17、操作� ��18、および表示部40等の装置を有している。

 ここで、CPU11は、コンピュータプログラ� �(音信号制御プログラム等)を実行し、パーソ ナルコンピュータ10の各部を制御することで� ��パーソナルコンピュータ10を、検知部22、放 送受信部14、出力制御部21、出力信号生成部23 、バッファ部26、検出部27、代替データ生成� �28、出力制御部21、変更決定部31、切り替え� �出部32、及び音制御部33等の各機能部を有す� ��装置として機能させる。メモリ12は、CPU11で 実行されるプログラム、およびCPU11で処理さ� ��るデータを記憶する。メモリ12は、揮発性� �RAM(Random Access Memory)と、不揮発性のROM(Read O nly Memory)を含む。ROMには、フラッシュメモリ 、EPROM(Erasable Programmable Read-Only Memory)、EEPROM (Electrically Erasable Programmable Read-Only Memory)の ような書き換え可能な半導体メモリを含む。

 インターフェース13は、USB等のシリアル� �ンターフェース、あるいは、PCI(Peripheral Comp onent Interconnect)、ISA(Industry Standard Architecture) 、EISA(Extended ISA)、ATA(AT Attachment)、IDE(Integrate d Drive Electronics)、IEEE1394、SCSI(Small Computer Sy stem Interface)等のパラレルインターフェース� �いずれでもよい。

 なお、図3では、インターフェース13と記� ��されているが、CPU11と各装置との間を異な� �インターフェースで接続してもよい。また� �複数のインターフェースをブリッジ接続し� �もよい。

 放送受信部14は、ワンセグ放送用のテレ� �ジョンチューナである。放送受信部14は、同 調回路と増幅器を含む高周波部の他、デジタ ル信号の復号器(OFDM(Orthogonal Frequency Division  Multiplexing)の復調器)等を含む。

 ここで、高周波部は、高周波の電磁波を� ��ースバンド信号に変換する。また、OFDMの復 調器は、FFT(Fast Fourier Transform)処理回路およ� ��直交復調器を含み、ベースバンド信号から� ��ジタル信号を生成する。これらの処理は、� ��和演算を実行する専用のデジタル回路で構� ��されてもよい。また、DSPのようなプロセッ� ��とプログラムで構成されてもよい。また、� ��レビジョン放送の規格にしたがって製造さ� ��販売されている復調用LSIを用いてもよい。

 通信部15は、ブロードバンドネットワー� �とのインターフェースである。ブロードバ� �ドネットワークは、例えば、LAN(Local Area Net work )、ケーブルテレビネットワーク、xDSL(x  Digital Subscriber Line)、ADSL、光ネットワーク等 の有線ネットワーク、あるいは、無線LAN、固 定無線アクセス(FWA)等の無線アクセス可能な� ��ットワークである。通信部15は、例えば、� �ットワーク上のサーバから、ハードディス� �駆動装置16にインストールされるコンピュー タプログラムや、テレビジョン放送の電子番 組表等を取得する。これらのブロードバンド ネットワークは、一般的には、インターネッ トに接続可能である。

 ハードディスク駆動装置16は、メモリ12に ロードされるプログラムを格納する。また、 ハードディスク駆動装置16は、CPU11で処理さ� �るデータを記憶する。

 なお、ハードディスク駆動装置16は、1台� ��限定されず、複数台設けられてもよい。ま� ��、例えば、ハードディスク駆動装置16は、� �ットワーク上の他のコンピュータ、例えば� �ディスクサーバが管理するものであっても� �い。その場合には、CPU11が、通信部15を介し� ��ディスクサーバと通信するようにすればよ� ��。そして、CPU11が、ディスクサーバから取� �したEPG等を表示部40に表示すればよい。

 可搬媒体駆動装置17は、例えば、CD(Compact� �Disc)、DVD(Digital Versatile Disk)、HD-DVD、ブルー� ��イディスク等の駆動装置である。また、可� ��媒体駆動装置17は、フラッシュメモリ等の� �揮発性メモリを有するカード媒体の入出力� �置であってもよい。可搬媒体駆動装置17が駆 動する媒体は、例えば、ハードディスク駆動 装置16にインストールされるコンピュータプ� ��グラム、入力データ等を保持する。

 操作部18は、コンピュータの入力装置、� �えば、キーボード、ポインティングデバイ� �等である。また、操作部18として、赤外線受 光部と赤外線リモコンとの組み合わせによる リモコン操作部や、各種のスイッチ、チャン ネル操作用のつまみ等が含まれる。ポインテ ィングデバイスの種類には特に限定はなく、 マウス、トラックボール、ダイヤル式操作部 、スティック形式で表示部40上のポインタを� ��動する装置、静電容量によってユーザの指� ��操作を検出するデバイス、タッチパネル、� ��ョイスティック等、パーソナルコンピュー� ��10の特性、ユーザのニーズ等に応じて、適� �なものを使用すればよい。

 キーボードは、ユーザの入力操作に応じ� ��、入力されたキーに対応する電気信号を不� ��示のキーボードコントローラに送信する。� ��ーボードコントローラは、その電気信号に� ��応する符号をCPU11に送信する。

 ポインティングデバイスは、ユーザ操作� ��検知して、操作信号を不図示のポインティ� ��グデバイス制御装置(例えば、不図示のマウ スコントローラ、または、インターフェース 13等)に送信する。操作信号を受けたポインテ ィングデバイス制御装置は、操作の方向およ び操作量を生成するための情報をCPU11に送信� ��る。CPU11のデバイスドライバは、ポインテ� �ングデバイス制御装置からの操作信号に基� �き、表示部40上の画面にポインタを表示し、 画面上を移動させる。

 また、CPU11のOSは、ポインタと、画面上の オブジェクト(ウィンドウ、ボタン、メニュ� �、リスト等)との位置関係を判定する。そし� ��、そして、ポインタが存在する位置にある� ��ブジェクトを選択状態、あるいは、フォー� ��ス状態にする。さらに、ポインティングデ� ��イスに対する選択確定操作、例えば、マウ� ��ボタンの押下によって、そのオブジェクト� ��選択を確定する。

 表示部40は、例えば、液晶表示装置、プ� �ズマディスプレイパネル、CRT(Cathode Ray Tube) 、エレクトロルミネッセンスパネル等である 。なお、図示されていないが、表示部40には� ��画像データを格納するRAM、およびRAMのデー� ��に基づき表示部40を駆動する駆動回路が含� �れる。ただし、画像データを格納するRAM、� �示部40を駆動する駆動回路等は、画像処理基 板として独立に設けても良い。その場合に、 画像処理基板には、CPU11からの画面情報を構� ��するデータが入力される。

 また、表示部40には、スピーカ(音出力部) が付属し、出力制御部21より出力された音響� ��号に基づく音響、ハードディスク駆動装置1 6または可搬媒体駆動装置17から読み出され、 不図示の音声合成基板で再生された音を出力 する。音声合成基板は、例えば、MP3等のデジ タルデータを音に変換する。

 本発明に係る情報機器は、以上のような� ��ーソナルコンピュータ10として構成できる� �ただし、本発明に係る情報機器は、パーソ� �ルコンピュータに限定されず、同等の機能� �有する他の装置、例えば、テレビジョン受� �装置であってもよい。また、テレビジョン� �送受信用のチューナ、セットトップボック� �、テレビジョン放送受信機能付きの携帯電� �、携帯情報端末(PDA)、ゲーム機、テレビジョ ン放送受信機能付きの車載器等によっても実 現できる。

 図4は、本実施形態における代替データ生 成処理(1)の概要を示す図である。代替データ 生成処理は、代替データ生成部28によって行� ��れる。図4の(a)は、正常な入力データが受信 され、出力されている状態を示す。図中の長 方形は1秒分のデータブロックを表し、N1、N2� ��N3・・・の順に入力される。本実施形態に� �るパーソナルコンピュータは、3秒分のデー� ��をバッファするため、N4が入力される時に� �3秒前に入力されたN1が出力される。

 図4の(b)は、(a)から1秒後の状態を示す。� �こで、入力されるN5のデータが正常でない場 合、このまま処理を続けると3秒後に正常で� �いデータが出力されてしまう。そこで、本� �施形態では、正常でないN5よりも後方、且つ 現在の出力ポイントであるN2よりも前方のデ� ��タブロックN3およびN4を、N3-N5の代替となる� ��替データブロックM3-M5へ平均化する。

 図4の(c)は、(b)から1秒後の状態を示す。� �こでは、N3に代えて、M3に基づいて生成され� ��出力信号(映像信号および音響信号)が出力� �れる。出力、再生された動画および音響は� �代替データ生成処理(1)が行われなかった場� �の2/3の速度のスロー再生となる。以降、M4、 M5が続いて出力される。M4およびM5が出力され て表示された動画および音響についても、通 常の2/3の速度のスロー再生である。

 上記説明した代替データ生成処理(1)によ� ��て、欠落したデータブロック分の再生時間� ��補間することが可能である。但し、このま� ��通常の再生処理に戻り、入力されたデータ� ��基づく出力を行うこととすると、欠落した� ��ータブロック(図4におけるN5)分の動きがス� �ップされてしまい、また、通常の2/3倍の速� �のスロー再生から瞬時に通常の等倍の再生� �戻るため、表示される動画および音響を視� �する視聴者に与える違和感が大きくなって� �まう。このため、本実施形態では、代替デ� �タ生成処理(1)に続いて、以下に説明する代� �データ生成処理(2)を実行する。

 図5は、本実施形態における代替データ生 成処理の概要を示す図である。また、図6は� �図5に示す代替データ生成処理を行った場合� ��表示される映像の例を示す図である。図5に 示す処理では、代替データ生成処理(1)におい て、N3が欠落し、N1およびN2がM1-M3へ平均化さ� ��たものとする。ここで、正常なN4が入力さ� �るが、上記した理由から視聴者に与える違� �感が大きくなってしまうため、データブロ� �クN4はそのまま出力されない。代替データ生 成部28は、代替データ生成処理(1)で平均化さ� ��た代替データブロックM2、M3およびデータブ ロックN4のデータを、代替データブロックM4� �平均化する。なお、平均化処理の際、欠落� �たデータブロックN3に係るピクチャまたは音 響は、平均化処理に伴う予測処理によって生 成される。例えば、動画データの平均化処理 においては、先述したフレーム間予測と同様 の予測処理によって、欠落した動き(フレー� �)が補完される。

 このとき、代替データブロックM2およびM3 の情報量は、通常のデータブロックに比較し て2/3であるため、M4の情報量は、通常のデー� ��ブロックの(2/3+2/3+1)/3=7/9倍となる。即ち、M4 に基づく出力は、代替データ生成処理が行わ れなかった場合の7/9倍の速度のスロー再生と なる。この速度は、M1からM3に基づく出力信� �が再生された場合の見た目の速度が通常の2/ 3倍であったのと比較して若干速い。以降、� �様の方法で、代替データブロックM5、M6への� ��均化を行う。この際、再び入力データに欠� ��が発生しない限り、平均化に使用される新� ��入力データは常に通常の等倍の情報量を有� ��るため、代替データブロックは徐々に通常� ��情報量、即ち、通常の速度に近づいていく( 図6を参照)。本実施形態の場合、代替データ� ��ロックM5は通常の23/27倍の情報量(速度)、代� ��データブロックM6は通常の73/81倍の情報量(� �度)となる(図5の計算式を参照)。

 なお、図5に示す計算式では、再計算され た代替データブロックを、「´(ダッシュ)」� �付して示している。例えば、代替データブ� �ックM5の生成に用いられているM3´は、代替� �ータブロックM4の生成に伴う平均化処理にお いて生成されたデータブロックである。この ため、M3´の情報量は、代替データブロックM3 の情報量が通常の2/3倍であるのと異なり、通 常の7/9倍である。

 上記代替データ生成処理(2)によって新規� ��力データを追加しながら代替データブロッ� ��への平均化を行ったとしても、代替データ� ��ロックの生成方法がデータの平均化である� ��上、生成される代替データブロックの情報� ��が通常の等倍となることはない。即ち、見� ��目の再生速度が通常の再生速度に追いつか� ��い状態が継続してしまうこととなる。そこ� ��、本実施形態では、再生速度が所定速度(例 えば73/81倍)以上となった場合、動画を構成す るフレームの一致度をモニタし、一致度が所 定値(例えば90%)以上のフレームが所定数(例え ば5フレーム)続く期間を切り替えタイミング� ��して検出し、この切り替えタイミングで1倍 速に変更する。これを代替データ生成処理(3) と称する。例えば、図5の例に拠れば、代替� �ータブロックM6で73/81倍速に達するので、デ� ��タブロックN7のフレームをサーチし、ある� �レーム(Nフレーム)と該N+1以降のフレームと� �比較し、一致度が90%から所定フレーム後のN+ xフレームまでを画素単位で比較して相関を� �め、一致度が所定値以上(例えば90%以上)の場 合に、N+1フレームからN+xフレームまでを切り 替えタイミングとして検出する。

 該切り替えタイミングが検出された場合� ��は、前述のとおり、音出力をミュートし、1 倍速に切り替える。以降、次にデータの欠落 が検出されるまで代替データ生成処理は行わ れず、入力データに基づく出力信号が出力さ れる。

 <処理フロー>
 図7~図9に、パーソナルコンピュータ10の処� �フローを示す。図7は、本実施形態における� ��号出力処理の全体の流れを示すフローチャ� ��トである。本フローチャートに示される信� ��出力処理は、操作部18におけるテレビジョ� �視聴開始操作を検知部22が受信し、検知部22� ��よって信号出力処理の開始指示が出力制御� ��21に対して出されたことによって実行され� �。

 ステップS101では、放送受信部14より出力� ��れた3秒分のデータがバッファされる。バッ ファ部26は、放送受信部14より出力されたデ� �タを、再生時間にして3秒分バッファする。� ��の後、処理はステップS102へ進む。

 ステップS102では、出力信号が生成される 。出力信号生成部23は、バッファ部26より入� �データを取得し、取得した入力データに基� �いて、映像信号および音響信号を生成する� �ここで、映像信号とは、動画表示に必要な� �フレームのピクチャを含む情報である。そ� �後、処理はステップS103へ進む。

 ステップS103では、映像信号が遅延出力さ れる。出力制御部21は、3秒分の入力データが バッファされた状態で、出力信号生成部23に� ��って生成された映像信号および音響信号を� ��放送が受信された時間から3秒遅延させて、 表示部40へ出力する。即ち、出力制御部21は� �バッファ部26を利用して3秒間の遅延出力を� �う。その後、処理はステップS104へ進む。

 ステップS104では、データの欠落が監視さ れる。検出部27は、バッファ部26によってバ� �ファされた入力データに、情報不足のデー� �ブロックがあるか否か、即ち、データの欠� �の有無を監視する。データの欠落が発見さ� �ない場合、ステップS101からステップS104に示 された処理が繰り返される。データの欠落が 発見された場合、処理はステップS105へ進む� �

 ステップS105では、欠落を有するデータブ ロックが1つ(即ち、1秒分)であるか否かが判� �される。検出部27は、ステップS104で検出さ� �た欠落部分を含むデータブロックを特定し� �、代替データ生成部28及び変更決定部31へ通� ��する。また、欠落の通知を受けた変更決定� ��31は、該欠落部分を含むデータブロックが1� ��であるか否かを判定する。ここで、欠落し� ��データブロックが1つであると判定した場合 、スロー再生(本例では2/3倍)への再生速度の� ��更を決定し、ステップS108へ進む。一方、欠 落したデータブロックが1つではない(2つ以上 である)と判定した場合、これを出力制御部21 に通知し、ステップS106へ進む。

 ステップS106では、正常な表示が出来ない 旨のメッセージが表示される。出力制御部21� ��、代替データ生成部28において代替データ� �生成ができないことを検知して、表示部40へ 正常な表示が出来ない旨のメッセージを含む 映像信号を出力する。これをうけて表示部40� ��は正常な表示が出来ない旨のメッセージが� ��示され、視聴者は何らかの要因により視聴� ��出来ない状況となっていることを把握する� ��とが出来る。その後、処理はステップS107へ 進む。

 ステップS107では、正常なデータが受信さ れるまでの待機処理が行われる。放送受信部 14によって正常なデータが受信された場合、� ��理はステップS101へ進み、映像の出力および 表示が再開される。

 ステップS108では、代替データ生成処理が 行われる。代替データ生成部28は、バッファ� ��26によってバッファされた入力データより� �欠落データブロックの後方、且つ出力制御� �のその時点の出力に係るデータブロックの� �方のデータブロックを変換用データブロッ� �として取得し、この変換用データブロック� �、変換用データブロックに係る再生時間(本� ��施形態では2秒)に欠落部分のデータブロッ� �の再生時間(本実施形態では1秒)を加えた再� �時間(本実施形態では3秒)分の代替データブ� �ックへ平均化し、代替データの生成を行う� �代替データ生成処理の詳細については、図8� ��用いて後述する。その後、処理はステップS 101へ進む。

 図8,9は、本実施形態における代替データ� ��成処理の流れを示すフローチャートである� ��本フローチャートに示される代替データ生� ��処理は、図7に示されたステップS108に相当� �る。

 ステップS201では、変換用データブロック が取得される。代替データ生成部28は、バッ� ��ァ部26によってバッファされた入力データ� �り、欠落しているデータブロックの1つ前お� ��び2つ前のデータブロック(即ち、2秒分のデ� ��タブロック)を、変換用データブロックとし て取得する。図4を例として用いて説明する� �、データブロックN5が欠落している場合、変 換用データブロックとしてN3およびN4を取得� �る。その後、処理はステップS202へ進む。

 ステップS202では、取得した変換用データ ブロックが使用可能であるか否かが判定され る。代替データ生成部28は、ステップS201で取 得した変換用データブロックが代替データの 生成に使用可能な正常なデータブロックであ るか否かを判定する。取得された変換用デー タブロックがデータの欠落部分を含む等、変 換用データブロックとして使用出来ないと判 定された場合、処理はステップS213へ進む。� �得されたデータブロックが変換用データブ� �ックとして使用出来ると判定された場合、� �理はステップS203へ進む。

 ステップS203では、変換用データブロック として取得された2秒分のデータブロックが� �3秒分の代替データブロックへ平均化される� ��代替データ生成部28は、変換用データブロ� �クとして取得された2秒分のデータブロック� ��、変換用データブロックに係る再生時間(本 実施形態では2秒)に欠落部分のデータブロッ� ��の再生時間(本実施形態では1秒)を加えた再� ��時間(本実施形態では3秒)分の代替データブ� ��ックへ平均化する。図4の例に拠れば、合わ せて2秒分(2ブロック分)のデータブロックN3お よびN4を、3秒分の代替データブロックM3、M4� �M5へ平均化する。その後、処理はステップS20 4へ進む。

 ステップS204では、代替データブロックに 基づく映像信号が出力される。代替データ生 成部28は、ステップS203で得られた代替データ ブロックM3、M4、M5に基づいて出力信号を生成 する。生成された出力信号は、順次出力制御 部21によって映像信号および音響信号として� ��示部40へ出力される。その後、処理はステ� �プS205へ進む。

 ステップS205では、次のデータブロックが 取得される。代替データ生成部28は、バッフ� ��部26より次に出力の対象となるデータブロ� �クを取得する。その後、処理はステップS206� ��進む。

 ステップS206では、再生速度が所定値(例� �ば73/81倍)に達したか否かを変更決定部31が判 定する。ここで、所定値は、スロー再生を終 了しても視聴者に違和感を起こさせない程度 の値に設定される。所定値以上の再生速度の 場合、変更決定部31は、1倍速へ変更すること を決定し、ステップS209へ進む。一方、再生� �度が所定値未満である場合、変更決定部は� �ステップS207へ進み、代替データ生成処理(2)� ��行って速度を上げる、即ち再生速度を1倍に 近づけることを決定する。

 ステップS207では、次の変換用データブロ ックが取得される。代替データ生成部28は、� ��回の代替データ生成処理で得られた3つの代 替データブロックのうち前方(即ち、出力対� �データブロックに近い側)の2つの代替データ ブロックを取得する。図5の例に拠れば、ス� �ップS205で取得されたデータブロックN4に代� �て出力される代替データブロックM4を得るた めに、代替データ生成部28は、前回の代替デ� ��タ生成処理で得られた代替データブロックM 2およびM3を取得する。その後、処理はステッ プS208へ進む。

 ステップS208では、変換用データブロック および出力対象データブロックが、3秒分の� �替データブロックへ平均化される。代替デ� �タ生成部28は、ステップS205およびステップS2 07で取得されたデータブロックを平均化する� ��とで、次の出力対象データブロックに代え� ��出力される代替データブロックを得る。図5 の例に拠れば、データブロックN4に代えて出� ��される代替データブロックM4を得るために� �代替データ生成部28は、データブロックN4、� ��回の代替データ生成処理で得られた代替デ� ��タブロックM2およびM3を取得し、これらの3� �のデータブロックを平均化することで、直� �に出力された代替データブロックM3に連続し て出力された場合に、視聴者にとって違和感 を与えない代替データブロックM4を得る。そ� ��後、処理はステップS204へ進む。

 そして、代替データ生成処理(2)を繰り返� ��、ステップS206で、再生速度が所定値以上と 判定された場合、ステップS209で、切り替え� �出部32がステップS205で取得したデータブロ� �ク(例えばN7)をサーチし、該データブロック� ��各フレーム(動画像)の一致度が所定値以上� �期間を検出する(S210)。このように同じよう� �フレームが続いている場合には、音声も同� �状況が続いており、変化が少ないことが類� �できるので、ここを再生スピードの切り替� �タイミングとする。なお、切り替えタイミ� �グを検出できなかった場合は、ステップS207� ��進み、代替データ生成処理(2)を行い、次の� ��ータブロックをサーチし(S209)、再度切り替� ��タイミングを検出する。

 そして、この検出した期間内、即ち一致� ��が所定値以上のフレームの再生時に、ミュ� ��トを開始し(S211)、再生速度を1倍に切り替え (S212)、ミュートを解除する(S213)。即ち、ここ で代替データ生成処理は終了し、以降は再び データ欠落が発生するまで通常の出力処理が 行われる。その後、本フローチャートに示さ れた処理は終了し、図7のステップS101へ進む� ��

 <変形例>
 なお、本実施形態では、入力データは1秒単 位のデータブロックを有し、3秒分のバッフ� �を行い、代替データ生成は3ブロック単位で� ��われることとしているが、これらの値は、� ��施の形態によって適宜最適な値が選択され� ��ことが好ましい。例えば、入力データが0.5� ��単位のデータブロックを有する場合、バッ� ��ァ時間を2秒、代替データ生成を4ブロック� �位とすれば、データの欠落を受けて生成さ� �る代替データブロックの初期情報量が通常� �3/4倍となり、より視聴者に違和感を与えに� �い補間を行うことが可能となる。

 図7~図9では、図2に示したパーソナルコン ピュータ10の内部構成、すなわち、検知部22� �放送受信部14、出力制御部21、出力信号生成� ��23、バッファ部26、検出部27、代替データ生� ��部28、および出力制御部21等をCPU11で実行さ� ��るプログラムで実現する例を示した。しか� ��、このような構成に代えて、<パーソナル コンピュータの概要構成>で説明したよう� �、パーソナルコンピュータ10の内部構成のい ずれか1以上をCPU11とは異なるプロセッサ、ハ ードウェア回路等によって実現してもよい。 すなわち、CPU11の処理能力と、処理量によっ� ��は、図2のそれぞれの構成要素を異なるプロ セッサ、あるいは、デジタル回路で構成すれ ばよい。CPU11以外のプロセッサあるいはデジ� ��ル回路を含む場合であっても、それらの処� ��手順は、図7および図8に示したものと同様� �ある。すなわち、本実施形態のパーソナル� �ンピュータ10は、CPU11のプログラムとして、� ��るいは、専用プロセッサによって、さらに� ��、専用のデジタル回路によって実現できる� ��

 <ユーザの操作による再生速度の切替え例 >
 上述の例では、データの欠落を検知して自� ��的に再生速度の切り替えを検出した場合に� ��出力をミュートしたが、ユーザの操作に応� ��て再生速度を切り替える場合にも音出力の� ��ュートを行う。

 図10はユーザ操作に応じた切り替え方法の� �明図である。
 まず、装置を起動し、入力データに基づい� ��動画を再生する(S301)。

 次に、検知部22がユーザの操作、例えば� �生(1倍)、早送り、スロー再生のボタンが押� �れたこと等を検知し、変更決定部31に通知す る(S302)。

 変更決定部31は、通知された操作が、現� �の再生速度と異なる速度の再生であれば、� �生速度の変更を決定し、切替検出部32及び出 力制御部22に通知する(S303)。例えば、変倍速� ��ら1倍速、1倍速から変倍速、変倍速から異� �る変倍速への切り替えを通知する。

 この通知を契機に切替検出部32は、入力� �ータをサーチし(S304)、動画を構成する各フ� �ーム(動画像)の一致度が所定値以上の期間を 切り替えタイミングとして検出し、これを出 力制御部22へ通知する(S305)。なお、検出でき� ��かった場合にはステップ304に戻って次のデ� ��タブロックをサーチする。

 そして、これらフレームの再生を開始す� ��際に、音制御部33が音出力のミュートを開� �(フェードアウト)し(S306)、該ミュート開始後 、出力制御部22が変更決定部から通知に従い� ��生速度を変更する(S307)。

 出力制御部22は、このタイミングで、例� �ば、動画信号を1フレームおきに間引いて2倍 速で再生している状態から、間引かずに全て のフレームを出力することに変えて1倍速に� �る、或は2フレームおきに出力することに変� ��て3倍速にする。また、同じフレームを2度� �つ出力して1/2倍速で再生している状態から� �各フレームを1度づつ出力することに変えて1 倍速にする、或は各フレームを3度づつ出力� �ることに変えて1/3倍速にする。

 該再生速度の切り替え後、再生音制御部3 3が音出力のミュートを終了(フェードイン)さ せる(S308)。

 このように本例によれば、再生速度を変� ��する際、一致度の高いフレームが連続する� ��間内に、ミュート開始、再生速度の切り替� ��、そしてミュートの解除を行うので、ノイ� ��を発生させること無く適時に切り替えを行� ��ことができる。

 即ち、音のミュート中に切り替えを行う� ��で、ノイズの発生が無い。そして、従来の� ��うに無音期間を待つのでは無く、一致度の� ��いフレームの連続を検出してミュートを行� ��、即ち無音期間を作成するので、適時に切� ��替えを行うことができる。更に、一致度の� ��いフレームの連続を検出して切り替えを行� ��ので、違和感なく切り替えを行うことがで� ��る。また、一致度の高いフレームの連続し� ��いる場合には、音声についても同じような� ��態がつづき、変動が少ないため、ミュート� ��始及びミュート解除を短い期間で行っても� ��和感が少なく、ノイズとして認識されるこ� ��がない。

 〈その他〉
 本発明は、上述の図示例にのみ限定される� ��のではなく、本発明の要旨を逸脱しない範� ��内において種々変更を加え得ることは勿論� ��ある。また、上記構成要素は可能な限り組� ��合わせることができる。