マット (映像制作)

マット（Matte）とは、写真や映画制作における特殊効果で、 2つの画像を1つの画像に合成する手法である。

概要

一般的に、「マット」の手法は前景画像 (セット上の俳優など) と背景画像 (風光明媚な景色や惑星のある星空など) を組み合わせることで行われる。この場合、「マット」とは背景の絵（マット画）のことを指す。アナログのフィルムもしくは舞台においては、「マット」とは絵を描いたキャンバスとして存在し、物理的に巨大な区画を占め、これを用いて広大な風景を表現する。

フィルム制作においては、「マット(matte)」という用語の原義の通り（画像の一部を覆う、みたいな意味がある。額装マットなどを参照）、フィルムの乳剤の特定の領域をマスキングして、どの領域を露光するかを選択的に制御する必要がある。ただし、複雑な特殊効果を用いるシーンにはだいたい数十の個別のイメージ要素が含まれており、マットを非常に複雑に使用したり、マットを互いに重ねたりする必要がある。

ここで単純なマットの例を挙げると、監督は、店の前に俳優の一群がいて、店の屋根の上には巨大な都市と空が見えるようなシーンを作りたい、と考えたとする。この場合、「セット上の俳優」と「街のイメージ」という2つのイメージを組み合わせて3つ目のイメージを作成することになる。これには2つのマスク/マットが必要になる。1つは店舗の屋根の上のすべてをマスクし、もう1つはその下のすべてをマスクする。これらの画像を3番目の画像にコピーするときに、これらのマスク/マットを使用すると、二重露光のゴーストを作成せずに画像を組み合わせることができる。フィルムにおいては、これは「静的マット」の例であり、マスクの形状はフレームごとに変化しない。

他の例を挙げると、人間や宇宙船などの移動するオブジェクトの形状をマスクするために、マットの位置を1コマごとに変更しないといけない場合がある。これは「トラベリングマット」として知られる手法である。トラベリングマットを使用すると、構図や動きの自由度が高まるが、製作するのがさらに難しくなる。

フィルムに記録された映像から特定の色のすべての領域を削除する合成技術は「クロマキーイング（クロマキー）」として知られており、最もよく使われている色にちなんで「ブルースクリーン」または「グリーンスクリーン」と一般的には呼ばれる。クロマキーはおそらく最もよく知られたマットの手法であり、トラベリングマットを作成するための技術として、現代においては最も広く使用されている。ただし、過去にはロトスコープやモーションコントロールパスなどの手法が使用されていた時代もあった。

コンピューター（CG）で生成された静止画像またはアニメーション画像を使用する、現代のフィルム製作現場においても、基本的にはマットと同じ原理、つまり「デジタル画像マスク」を使用して透明な背景でレンダリングし、デジタル的にオーバーレイするという手法を用いている。

歴史

マットは非常に古い技術であり、その歴史はリュミエール兄弟にまで遡る。元々、マットは映画製作者がボール紙などを切り抜いて作った「切り抜きカード」でフィルムの背景部分を隠すことによって作成された。これを使うと、シーンの実写(前景) 部分が撮影された時に、フィルムの背景部分は露出されなかった。その次に、実写部分の上に別のカットアウトを配置し、フィルムを巻き戻して新たに背景を撮影する。このテクニックは「インカメラマット」として知られ、1880年代後半においては本格的な特殊効果というよりも珍奇な手法と考えられていた。初期のアメリカにおける解りやすい例としては『大列車強盗』(1903年)が挙げられ、マットを使って切符売り場の窓の外に列車を配置し、さらにその後、列車の「セット」の荷物車の外側に動く背景を配置するために使用されている。またこの時期、「グラスショット」として知られる別のテクニックも使用されていた。「グラスショット」とは、ガラス板に細かい絵を描いてマットを作成し、これを実写の映像とカメラの間に挟んで同時に撮影することでいかにも精巧なセットのように見せるというものだった。最初にガラスショットを使用したのはエドガー・ロジャースだとされている。

グラスショットの最初の主要な開発は、1900 年代初頭に全米撮影監督協会（ASC）のNorman Dawnによって行われた。ドーンは、映画『ミッション・オブ・カリフォルニア』(1907)の崩壊しつつあるカリフォルニア・ミッションのシーンなど、多くの映画にガラスショットをシームレスに織り込み、インカメラマットの使い方に革命を起こした。新たなグラスショットの手法は、絵を描いたガラス板を撮影現場に持ち込む代わりに、映画制作者は以前と同じように切り抜きカードを所定の位置に置いて実写を撮影し、その後にフィルムを巻き戻して振動を最小限に抑えるように設計されたカメラに転写する。その後、映画制作者は実写の背景の代わりとしてガラスショットを撮影する、という手法である。「マットライン」 (実写とマット画の境目) における飛びがはるかに少ないため、結果として得られる合成はかなり高品質になった。さらに、この方式のインカメラマットは、実写の撮影当日にガラス板を準備する必要がなくなったため、コストを大幅に削減することができた。ただし、この方法の欠点として、フィルムが2回露光されるため、フィルムが誤って露出オーバーになり、以前に撮影した映像が台無しになってしまうリスクが常に存在した。

インカメラ・マットショットは、1920年代にフィルムの品質が上がり始めるまで使用され続けた。この間に、バイパックカメラ方式として知られる新しい技術が開発された。これはインカメラ・マットショットに似ているが、バックアップとして1つのマスターポジを担保していた。これにより、何か失敗した場合でも、マスターは無傷のままになる。1925年頃、マットを作る別の方法が開発された。旧来のマット法の欠点の1つとして、マットラインが常に同じところに静止しているという点があった。実写の人物とマットの背景が直接接触するようなことはあり得なかった。しかし、トラベリングマットの発明がそれを変えた。トラベリングマットは、マットラインがフレームごとに変わる点を除けば、インカメラマットやバイパックマットと似ていた。実写部分をマットそのものにするという、バイパック法によく似た手法を使用することで、映画制作者は俳優を背景およびシーンのあちこちで移動させ、完全に統合することができるようになった。『バグダッドの盗賊』(1940年)ではトラベリングマットの大きな進歩がみられ、ブルースクリーン技術を大規模に導入した最初の作品ということで、この手法を発明したラリー・バトラーはその年のアカデミー視覚効果賞を受賞したが、そのプロセスはまだ非常に時間がかかり、各フレームを2回手作業で処理する必要があるため、フィルムが誤って露出オーバーになり、以前に撮影した映像が台無しになる危険性が常にあった。

20世紀後半、このプロセスはコンピューターによる支援が得られるようになった。1960年代、ペトロ・ヴラホスはブルースクリーンでのモーションコントロールカメラの使用法を改良し、その手法でアカデミー賞を受賞した。1980年代には、デジタルを用いた最初のマットとブルースクリーンの手法が発明され、コンピュータ化された最初のビデオ用ノンリニア編集システムが発明された。アニメで透明なセルを重ねるのと同じ方法で、デジタル画像を部分的に透明にすることができるアルファ合成（アルファブレンド）は、1970年代後半に発明され、1980年代にブルースクリーン合成と統合された。デジタル合成の研究は『スター・ウォーズ エピソード5/帝国の逆襲』（1980年）の頃から始まっていたが、この時期はまだアナログ合成が用いられていた。リチャード・エドランドは『帝国の逆襲』において、マットを多重合成するためのオプチカルプリンターを開発した功績でアカデミー賞を受賞した。最初の完全デジタル式のマット・ショットは、1985年に『ヤング・シャーロック/ピラミッドの謎』のために画家のクリス・エヴァンスによって製作されたもので、ステンドグラスの窓から飛び降りる騎士のコンピュータグラフィックス (CG) アニメーションが特徴的で、アカデミー賞の視覚効果賞の候補にもなった。エヴァンスはまずアクリル絵の具で窓を描き、その後その絵をスキャンしてルーカスフィルムのピクサーシステムに取り込み、さらにデジタル操作を行った。コンピュータアニメーションはデジタルマットと完全に調和しており、これは旧来のマットペイントでは実現できなかったことである。

2020年現在、ほぼ全てのマットはデジタルビデオ編集によって行われており、「クロマキー」として知られる合成技術(ブルースクリーン法を指す用語として、デジタル時代においても一般的に使われているが、アナログ時代のように実際にクロマをキー信号にしているわけではない) は、普通の家庭用のパソコンでも使用できるようになっている。

技術

インカメラ・マットショット

The in-camera matte shot, also known as the Dawn Process is created by first mounting a piece of glass in front of the camera. Black paint is applied to the glass where the background will be replaced. The actors are then filmed with minimal sets. The director shoots several minutes of extra footage to be used as test strips. The matte painter then develops a test strip (with the blacked out areas in the shot) and projects a frame of the 'Matted' shot onto the easel mounted glass. This test footage clip is used as the reference to paint the background or scenery to be matted in on a new piece of glass. The live action part of the glass is painted black, more of the test footage is then exposed to adjust and confirm color matching and edge line up. Then the critical parts of the matted live action scene (with the desired actions and actors in place) are threaded up for burning the painted elements into the black areas. The flat black paint put on the glass blocks light from the part of the film it covers, preventing double exposure over the latent live action scenes from occurring.posed twice, there was always the risk of accidentally overexposing the film and ruining the footage filmed earlier.

バイパックプロセス

To begin a bipack matte filming, the live action portion is shot. The film is loaded and projected onto a piece of glass that has been painted first black, then white. The matte artist decides where the matte line will be and traces it on the glass, then paints in the background or scenery to be added. Once the painting is finished the matte artist scrapes away the paint on the live action portions of the glass. The original footage and a clean reel are loaded into the bi-pack with the original threaded so it passes the shutter in front of the clean film. The glass is lit from behind, so that when the reels are both run, only the live action is transferred to the clean film. The reel of original footage is then removed and a piece of black cloth is placed behind the glass. The glass is lit from the front and the new reel is rewound and run again. The black cloth prevents the already exposed footage from being exposed a second time; the background scenery has been added to the live action.posed twice, there was always the risk of accidentally overexposing the film and ruining the footage filmed earlier.

ロトスコープ

→詳細は「ロトスコープ」を参照

The rotoscope was a device used to project film (namely live-action footage) onto a canvas to act as a reference for artists.

Walt Disney used the technique extensively in Snow White and the Seven Dwarfs in order to make the human characters' motions more realistic. The film went significantly over budget due to the complexity of the animation.

The technique had a few other uses, such as in 2001: A Space Odyssey where artists manually traced and painted alpha mattes for each frame. Rotoscoping was also used to achieve the fluid animations in Prince of Persia, which were impressive for the time. Unfortunately, the technique is very time-consuming, and trying to capture semi-transparency with the technique was difficult. A digital variant of rotoscoping exists today, with software helping users avoid some of the tedium; for instance, interpolating mattes between a few frames.

単一の画像からデジタルでマットを抽出する

Often, it is desirable to extract two or more mattes from a single image. This process, dubbed "matting" or "pulling a matte," is most commonly used to separate the foreground and background elements of an image, and these images are often individual frames of a video file. In case of video, matting methods can use temporal relations as additional information. Compositing techniques are a relatively simple way of pulling a matte - the foreground from a greensceen scene could be imposed on an arbitrary background scene, for instance. Attempting to matte an image that doesn't use this technique is significantly more difficult. Several algorithms have been designed in an effort to address this challenge.

Ideally, this matting algorithm would separate an input video stream I_rgb into three output streams: a full-color, foreground-only stream αF_rgb with a pre-multiplied alpha (alpha compositing), a full-color background stream B_rgb, and a single-channel stream of partial coverage of the pixels in the foreground stream. This ideal algorithm can take any arbitrary video as input, including video where the foreground and background are dynamic, there are multiple depths in the background, there exist overlaps between background and foreground share the same color and no texture, and other various features that such algorithms traditionally have some difficulty in dealing with. Unfortunately, achieving this algorithm is impossible due to the loss of information that occurs when translating a real-world scene into a two-dimensional video. Smith and Blinn formally proved this in 1996.

Matting also has some other fundamental limitations. The process cannot reconstruct parts of the background that are occluded by the foreground, and any sort of approximation will be limited. Additionally, the foreground and background of an image still have an effect on each other due to shadows being cast and light being reflected between them. When compositing an image or video from mattes of different origin, missing or extra shadows and other details of light can ruin the impact of the new image.

The process of matting itself is a difficult problem to solve. It has been under research since the 1950s, and yet its most popular use - filmmaking - resorts to the classic but constrained compositing method. Specifically, they use a kind of global color model. This technique is based on a global color assumption; for instance, that the entire background is green. (Incidentally, this is why weather forecasters sometimes appear to have invisible ties - the color of the tie is similar to that of the background, leading the algorithm to classify the tie as part of the background stream.) Any color in theory could be used, but the most common are green and blue. Luminance matting (also called black-screen matting) is another variation of the global color model. As opposed to color, it assumes that the background is darker than a user-defined value.

Another approach is using a local color model. This model assumes the background to be a static, previously-known image, so in this case the background stream is given. A simple matte can be pulled by comparing the actual video stream with the known background stream. Lighting and camera angle requirements are very strict unlike in global color models, but there is no restriction for possible colors in the foreground stream.

There also exist machine learning tools that can pull mattes with the assistance of a user. Often, these tools require iteration on the part of the user - an algorithm provides a result based on a training set, and the user adjusts the set until the algorithm provides the desired result. An example of this is using a manually-created coarse matte with a trimap segmentation, so called because it separates the image into three regions: known background, known foreground, and an unknown region. In this case, the algorithm attempts to label the unknown region based on the user's input, and the user can iterate through multiple trimaps for better results. Knockout, a plug-in tool for Adobe Photoshop, is an implementation of this process.

Another digital matting approach was proposed by McGuire et al. It makes use of two imaging sensors along the same optical axis, and uses data from both of them. (There are various ways to achieve this, such as using a beam-splitter or per-pixel polarization filters.) The system simultaneously captures two frames that differ by about half the dynamic range at background pixels but are identical at foreground pixels. Using the differences between the backgrounds of the two images, McGuire et al. are able to extract a high-resolution foreground matte from the scene. This method still retains some of the shortcomings of compositing techniques - namely, the background must be relatively neutral and uniform - but it introduces several benefits, such as precise sub-pixel results, better support for natural illumination, and allowing the foreground to be the color that a compositing technique would identify as part of the background matte. However, this means that intentionally masking something in the foreground by coating it in the same color as the background is impossible.

A third approach to digital matting is using three video streams with different focusing distances and depths of field. As with the previous method, all three image sensors share a common optical axis, though now the algorithm uses information about what part of the image is in focus in which video feed to generate its foreground matte. With this technique, both the foreground and background can have dynamic content, and there are no restrictions on what colors or complexity the background has.

All of these approaches share one notable weakness: they cannot take arbitrary videos as inputs. In video, distinct from film, Chroma key requires the background of the original video to be a single color. The other two techniques require more information in the form of synchronized but slightly different videos.

マットとワイドスクリーン撮影

Template:Unsourced section Another use of mattes in filmmaking is to create a widescreen effect. In this process, the top and bottom of a standard frame are matted out, or masked, with black bars, i.e. the film print has a thick frame line. Then the frame within the full frame is enlarged to fill a screen when projected in a theater.

Thus, in "masked widescreen" an image with an aspect ratio of 1.85:1 is created by using a standard, 1.37:1 frame and matting out the top and bottom. If the image is matted during the filming process it is called a hard matte due to its sharp edge. In contrast, if the full frame is filled during filming and the projectionist is relied upon to matte out the top and bottom in the theater, it is referred to as a soft matte, as the aperture plate is not on the focal plane and causes a soft edge.

In video, a similar effect is often used to present widescreen films on a conventional, 1.33:1 television screen. In this case, the process is called letterboxing. However, in letterboxing, the top and bottom of the actual image are not matted out. The picture is "pushed" farther back on screen and thus made "smaller", so to speak, so that, in a widescreen film, the viewer can see, on the left and right of the picture, what would normally be omitted if the film were shown fullscreen on television, achieving a sort of "widescreen" effect on a square TV screen. In letterboxing, the top of the image is slightly lower than usual, the bottom is higher, and the unused portion of the screen is covered by black bars. For video transfers, transferring a "soft matte" film to a home video format with the full frame exposed, thus removing the mattes at the top and bottom, is referred to as an "open matte transfer." In contrast, transferring a "hard matte" film to a home video format with the theatrical mattes intact is referred to as a "closed matte transfer."

ガベージマットとホールドアウトマット

A "garbage matte" is often hand-drawn, sometimes quickly made, used to exclude parts of an image that another process, such as bluescreen, would not remove. The name stems from the fact that the matte removes "garbage" from the procedurally produced image. "Garbage" might include a rig holding a model, or the lighting grid above the top edge of the bluescreen.

Mattes that do the opposite, forcing inclusion of parts of the image that might otherwise have been removed by the keyer, such as too much blue reflecting on a shiny model ("blue spill"), are often called "holdout mattes", and can be created with the same tool.

関連項目

• アルファブレンド
• アナモルフィックレンズ
• クロマキー
• 光学合成
• オプチカルプリンター

参考文献

• Mark Cotta Vaz; Craig Barron: The Invisible Art: The Legends of Movie Matte Painting, Chronicle Books, 2002; ISBN 0-8118-4515-X
• Peter Ellenshaw; Ellenshaw Under Glass - Going to the Matte for Disney
• Richard Rickitt: Special Effects: The History and Technique. Billboard Books; 2nd edition, 2007; ISBN 0-8230-8408-6. (Chapter 5 covers the history and techniques of movie matte painting.)