インターレース解除
インターレース解除（インターレースかいじょ）は、一般的なアナログテレビ信号または1080iフォーマットのHDTV信号などのインターレース映像を非インターレース形式に変換するプロセスのことである。デインターレース（deinterlace）ともいう。
インターレース映像では1枚のフレームは撮像素子の奇数ラインと偶数ラインで交互に走査された各フィールドから成り、それは少ない送信帯域幅においてプログレッシブ走査と同等のフレームレートの認識効果を与えるため、アナログテレビジョンではこの方法が採用されていた。CRTディスプレイでは、その完全なアナログ性質のために正しくインターレースビデオを表示することができたが、近年のディスプレイ装置は多数のピクセルによって画面が構成されており、インターレース方式は再現されない。結果的にインターレースの奇数フィールドと偶数フィールドは、インターレース解除によって1枚のフレームに変換する必要があり、その技術は何十年も研究され、複雑な解除アルゴリズムが採用されているが、一貫性のある結果を達成するのは非常に困難である[1][2]。
背景
フィルムによる映画では連続した静止画像として記録されるが、テレビジョンシステムでは撮像素子が水平方向に1行飛ばしで走査することで映像を記録する。アナログテレビでは各フレームは奇数フィールドと偶数フィールドによって構成され、フィールドは公称フレームレートの2倍のレートで記録されている。NTSC方式においては29.97フレーム/秒すなわち59.94フィールド/秒、PALおよびSECAMでは25フレーム/秒、50フィールド/秒で記録される。このようにフレームレートの2倍の速度で解像度を半分に分割して順次走査することをインターレースという。
インターレース信号は奇数と偶数のフィールドが短時間の間に交互に表示されるので、視聴者は錯覚を起こしフリッカーをさほど意識することなく1枚の絵として認識する。プログレッシブ映像と比較して同じ帯域で2倍の時間分解能（高いほど動きが滑らかになる）を持つことになる。しかし、インターレース信号は奇数・偶数のフィールドを順次走査する専用のディスプレイを必要とする。伝統的なCRTベースのテレビジョン受像器がまさにそれである。
LCD、DLP、プラズマといった最近のディスプレイ装置はプログレッシブ走査しかサポートしておらず、インターレース信号をネイティブに表示することは出来ない。これらのディスプレイ装置でインターレース信号を取り扱うためには2本のインターレースフィールドをインターレース解除によって1枚のプログレッシブ・フレームに変換する必要がある。しかし、奇数・偶数フィールドの撮像には時間差があるため、単純に2つを貼りあわせて1枚のフレームを再現すると、動きのあるシーンでコーミングと呼ばれるノイズが発生してしまう。優秀なインターレース解除アルゴリズムでは画質を損なうことなくコーミング発生を防止する処理が行われる。欠落している画像情報を復元する技術があり、それらは複雑なアルゴリズムと高度な処理能力を必要とする。
インターレース解除には複雑な処理が必要となるため、映像の表示に遅延が発生することがある。一般的に意識されることは少ないが、昔のテレビゲームをプレイする時などにコントローラ入力との間にタイムラグを生じさせることがある。多くのテレビでは画質を犠牲にして表示速度を最大にする「ゲームモード」が準備されている。インターレース解除処理はそのようなタイムラグの要因の一つではあるが、「スケーリング」（解像度変換）もまた複雑なアルゴリズムとミリ秒単位の処理時間を要する。
プログレッシブ・ソース素材
インターレースで記録された映像の中にはプログレッシブ・ソースを含むものがあり、インターレース解除時にはこれも考慮されなければならない。
標準的な24フレーム/秒のフィルム素材が「テレシネ」を使用してインターレース映像に変換されるとき、フィルムの1コマは2つのフィールドに分割される。各フィールドは全く同じプログレッシブフレームの一部であり、インターレース解除に複雑なアルゴリズムは必要とされない。しかし50フィールド/秒のPAL/SECAMシステム、あるいは59.94/60フィールド/秒のNTSCシステムに適合させるためには様々な「プルダウン」技術を利用してフレームレート変換が行わなければならない。最先端のテレビシステムでは「逆テレシネ」処理を使用してオリジナルの24フレーム/秒信号を復元することが出来る。別の手法としては24フレーム/秒のフィルムを4%スピードアップしてPAL/SECAMに変換することであり、これはいまだにPAL市場圏ではSDとHDのテレビ放送と同様にDVDでも使われている。
DVDでは以上のような手法を用いて映画など24フレーム/秒のプログレッシブ映像をエンコードし、インターレース映像として記録する。あるいはオリジナルの24フレーム/秒の映像として記録して、DVDプレイヤーがインターレース映像に変換するよう指示を与える。そのとき、MPEG-2デコーダータグが利用される。Blu-ray Discでは殆どの映画ソフトでオリジナルの24フレーム/秒のフレームレートで記録されており、出力はプログレッシブ1080p 24fpsで直接行われるようになっており、特別な変換は不要である。
HDVビデオカメラの中には24フレーム/秒または25フレーム/秒のPsF (Progressive segmented frame)モードの機能を備えているものがある。TVプロダクションも25または30フレームで動作する特殊なフィルムカメラを使用することがあり、そういった素材では放送時のフォーマット変換の必要は無い。
インターレース解除手法
インターレース解除は1つまたは複数のフィールドをバッファリングしそれを1つのフレームに再結合する必要がある。理屈上はあるフィールドと、次のフィールドを結合すればそれで1フレームが完成するという単純なものであるが、オリジナルで連続したフィールドとして記録された信号では、フィールド間の短時間に対象物が動いているため、結合したときのフィールド間の小さな差がフィールドのズレ（コーミング）として現れる。
インターレース解除には様々な手法があるがそれぞれに問題点やアーティファクト（映像上の欠陥）がある。
インターレース解除は3つに分類される。1つめはフィールド結合と呼ばれ、奇数と偶数のフィールドを合成して出力するものである。2つめはフィールド拡張と呼ばれ、奇数、偶数どちらかのフィールドを拡張して1つのフレームを作るものである。3つめは前述した2つを組み合わせたもので動き補償や他の多くの名称を有する。
現在のインターレース解除システムは複数のフィールドをバッファリングし、エッジ検出などの技術を利用してフィールド間の動きを検出している。これによりオリジナル・フレームから失われたライン（フィールド）を補間し、コーミングを低減させている[3]。
フィールド結合
「Weave」は連続するフィールドを結合して1枚のフレームを作る手法である。映像に動きの変化が少ないときは問題にならないが、動きが生じるとジャギーやコーミングノイズを生じる。時間分解能（モーション）を犠牲にしてオリジナルの垂直解像度を得る手法である。
「Blending」はアルファブレンディングを利用して連続するフィールドを平均化することによって行われる処理である。コーミングは回避されるがゴーストを生じる。時間分解能と垂直解像度の両方が犠牲になる。出力時には垂直解像度はリサイズされるが、その際に画像はソフトなイメージとなり、動きのある2つのフィールドが1枚のフレームに合成されているため動きの滑らかさも失う。
「Selective blending」「smart blending」「motion adaptive blending」などと呼ばれる手法はWeaveとBlendingを組み合わせたものである。フレーム間の動きがない箇所はWeave処理、コーミングが発生するところだけがBlending処理される。これにより垂直解像度はオリジナルのまま保持されるが、時間分解能は半分になる。WeaveとBlendを選択的に利用することで、各々の技術を単独で使うよりアーティファクト（ノイズや解像度の減少）を少なくできる。
逆テレシネ：テレシネは30フレーム/秒でNTSCシステムを利用する国で用いられる、24フレーム/秒のフィルムをインターレースTV映像に変換するための装置である。25フレーム/秒のPALを利用している国では映像ソースを4%スピードアップするだけで良いのでテレシネは利用されない。テレシネでNTSCに変換された映像は、正確な変換パターンさえ分かれば、その逆のアルゴリズムにより完全に元の24フレーム/秒の映像を復元することが出来る。
フィールド拡張
「Half-sizing」は各々のインターレースフィールド自体を出力し、オリジナルの半分の垂直解像度を持つ映像を得る。オリジナル通りの垂直解像度と時間分解能を維持してはいるが画面の縦横比が異なるため、通常の観賞には耐えられない。しかし近傍のピクセルからの情報を活用することでノンインターレース・フレームを予測するようなビデオ・フィルターに活用することが出来る。
「Line-doubling」は奇数および偶数フィールドのラインを2倍に増やす処理である。これによって得られた映像はフィールドレートと同じフレームレートを持つことが出来るが、各フレームの垂直解像度は半分となる。この手法はコーミングノイズの発生を防ぐが、各フレームはオリジナルの半分の解像度しか持たないため顕著な画質低下を引き起こす。それは特に物体が突然画面に現れたり (bob up) または消えたり (bob down) したときに顕著に顕れるので、これらの技術はBobまたはリニアインターレース解除とも呼ばれる。Line-doublingは垂直解像度を犠牲にするが、水平解像度と時間分解能を保持し、出現したり、消えたりする物体やゆっくり動く物体においてアーティファクトを有している。この手法のバリエーションでは、時間分解能を保持しつつ、各フレームのフィールドのうちの1つを破棄する。
Line doublingという用語はハイエンド家電によく使われるが、「インターレース解除」はコンピュータやデジタルビデオの分野で使用される用語である。
動き検出
最高の画質はWeaveやBlendingといった従来からのフィールド結合手法とbobやline-doublingといったフィールド拡張手法の組み合わせによって得られた高品質なプログレッシブビデオで観ることが出来る。また、最良のアルゴリズムはフィールド間の動きについて量と方向を検出することだろう。
動きの量と方向を検出するにはインターレース信号に現れるコーミングノイズの方向と長さが参考になる。さらに高度なシステムでは動画圧縮に用いられる動き補償と同様のアルゴリズムで多くのフィールドから情報を参照して、インターレース解除に応用する手法が採られている。これをリアルタイムで処理するには専用のハードウェアが必要になる。
たとえば2つのフィールドに左へ移動する人の顔の情報があったとする。Weaveではコーミングが発生する。Blendingではゴーストが発生する。高度な動き補償（理想的な）では複数のフィールドに映る顔が同じものであることを認識し、その顔がどの方向にどれだけの量を移動したか検出しようとするだろう。そして検出された方向と量の情報に従い、複数のフィールドから合成された映像を出力して、顔の完全なディテールを再現しようとする。
動き補償はシーンチェンジ検出と組み合わせないと、2つの全く異なるシーンにおいても動体の方向と量を検出しようと試みてしまうだろう。実装が不十分な動き補償アルゴリズムは自然なモーションを阻害したり、静物やゆっくり動く物体が突然「ジャンプする」現象を引き起こすかも知れない。
インターレース解除の実行
テレビ制作の様々なポイントでインターレース解除は行われている。
プログレッシブメディア
インターレースで制作された番組は、放送フォーマットやメディアフォーマットがプログレッシブの場合（EDTV 576pやHDTV 720p 50fps）にインターレース解除が行われる。そのポイントは2つあり
- 制作 - 番組の制作時にプログレッシブ走査に変換する。高価なデインターレース機器やソフトウェアを用いて、最適なインターレース解除方法を選択する。これは可能な限り高品質なインターレース解除を行うことが可能。
- 放送 - リアルタイム・デインターレース機器により放送の直前にプログレッシブ走査に変換される。処理時間の制約や人手が介在しないことから変換の品質は劣ることが多い。高価で高性能なデインターレース機器を適切な調整を行った場合は良好な品質を維持することが可能。
インターレースメディア
放送フォーマットやメディアフォーマットがインターレースに対応しているとき、つまりNTSCやDVDの場合がそうであるが、リアルタイム・デインターレース処理はセットトップボックスやテレビ受像機、外部ビデオプロセッサ、DVDプレーヤーやチューナー内蔵の処理回路により行われる。家電機器は専用装置に比べ安価であり処理能力も劣る。[要出典]
コンピュータをメディアの再生と処理に利用すれば、ビデオプレイヤーの広範な選択肢が許され、特にユーザーがあらかじめ再生前に高度なインターレース解除方法で時間をかけて変換しておけば、家電の組み込みチップによる品質を上回ることが可能となる。
しかしながらコンシューマーレベルのソフトウェアではプロフェッショナルレベルの機材に匹敵するものは少ないし、そもそも殆どのユーザーはビデオ編集に不慣れである。さらに多くの人はインターレース解除について知識がなく、フレームレートがフィールドレートの半分であることにも気付いていない。多くのコーデックやプレイヤーはそれ自体インターレース解除機能を備えず、ビデオカードや動画処理APIに適切なデインターレース処理を委ねている。
実効性への関心
欧州放送連合は制作と放送の両方においてインターレース映像の利用に反対の立場を取り、720p 50fpsを推奨している。将来的には低ビットレートでより画質を向上させ、720p 50fpsや1080i 50fpsなど他形式に容易に変換可能な「1080p 50fps」を標準として目指す[4][5]。
主な主張はフレーム間で失われた情報は如何にインターレース解除アルゴリズムが複雑であったとしても完全に補間することは出来ずアーティファクトの発生を防止できないということである。
動画処理アルゴリズムのFaroudja Labs社創設者であり、デインターレース技術でエミー賞を受賞したYves Faroudjaもインターレースの利用には反対の立場を取っている[6]。 [2]
関連項目
脚注
- ^ Jung, J.H. and Hong, S.H. (2011). “Deinterlacing method based on edge direction refinement using weighted maximum frequent filter,”. Proceedings of the 5th International Conference on Ubiquitous Information Management and Communication. ACM. ISBN 978-1-4503-0571-6
- ^ a b Philip Laven (January 26, 2005). “EBU Technical Review No. 301 (January 2005)”. EBU. 2010年6月26日閲覧。
- ^ US Patent No. 4698675 Progressive scan display system having intra-field and inter-field processing modes
- ^ “EBU R115-2005: FUTURE HIGH DEFINITION TELEVISION SYSTEMS” (PDF). EBU (May 2005). 2009年5月27日時点のオリジナルよりアーカイブ。2009年5月24日閲覧。
- ^ “10 things you need to know about... 1080p/50” (PDF). EBU (September 2009). 2010年6月26日閲覧。
- ^ Philip Laven (January 25, 2005). “EBU Technical Review No. 300 (October 2004)”. EBU. 2010年6月26日閲覧。