バーチャルプロダクション　Virtual Production

バーチャルプロダクション　Virtual Production

撮影(Production)現場にバーチャル(CG)を持ち込む技術、手法

様々な技術を組み合わせていくと
今までにない表現が可能になる

合成、ポスプロのワークフロー、パイプライン(工程)がまったく変わる

バーチャルプロダクション：９つのエッセンス

VPには次の9つのエッセンスがあると考えます。
1 スクリーンプロセスの原理
2 合成技術
3 リアルタイムグラフィックス
4 バーチャルアセットスタジオセット
5 バーチャルカメラ
6 バーチャルライト
7 バーチャルキャラクター
8 カラーグレーディング
9 同期/モーションコントロール

では、それぞれを詳述していきます。

1 スクリーンプロセスScreen Processの原理

映画やテレビにおける特撮技術。

映像を投影したスクリーンの前で俳優が演技を行う映画やテレビにおける特撮技術のひとつ。投影方式の違いにより、リアプロジェクションとフロントプロジェクトの2種類があります。
バーチャルプロダクションの基本、原点といってもよいのがスクリーンプロセスというSFXにおける合成の手法です。その歴史をたどれば1933年の映画「キングコング」などのコマ撮り(Stop Motion)を併用した撮影にまでさかのぼります。当時の映画ではマットペイントと同様にカメラの前面に設置することで人物などの被写体と同時に撮影するという考え方が主流でした。それはまだまだ合成の技法が確立していなかったところに寄ります。撮影時、被写体の後方に投影スクリーンを置き、スクリーンの後ろから事前に撮影した映像を投影することで背景の合成を行っていました。特に事前にコマ撮りしたミニチュアやクリーチャーのアニメーションを投影することで今までにない特撮が表現できたのです。その後、映画「2001年宇宙の旅」ではフロントプロジェクションという前方からスクリーン投影する手法もありました。現在ではバーチャルプロダクションの撮影方法はまさにこのスクリーンプロセスと一致しています。フィルム映写機による背景の投影方法がLEDウォールによる映像投影に置き換わっています。

2 合成技術

 クロマキー(ブルーバック/グリーンバック)、マット合成、XR、AR合成、デプスマット、セットとのなじませ

バーチャルプロダクションの中ではLEDウォールを使うことで背景との合成はリアルな現場で処理することになります。ですので、一見合成処理はされていないように思われるかもしれません。ですが、実際にはバーチャルプロダクションの中でLEDの外側を合成するXR(ここではExtention Reality)手法や実写の手前に合成するARの手法も同時に考えなければなりません。加えて、地面に落とす影や映りの素材は同じ合成でも乗算や加算合成を考慮しなければなりません。そういう意味においてバーチャルプロダクションにはVFXの知識や経験が非常に必要になるのです。

3 リアルタイムグラフィックス

　UNREAL ENGINEなどのゲームエンジンの発達、リアルな表現

UnityとUNREAL ENGINE

4 バーチャルアセット

バーチャルセット/バーチャルスタジオ(90年代～) TV局導入のスタジオセット

5 バーチャルカメラ(00年代～)カメラトラッキング、プレビズからの流れ　レンズキャリブレーション、ズーム、フォーカス

バーチャルカメラはもともとはバーチャルセットの時代にさかのぼります。バーチャルセットは90年代、TV放送局に広く導入されたシステムで放送局のスタジオに革命をもたらしました。ブルーバック、あるいはグリーンバックのスタジオに放送局のCGセットをライブラリー化しました。当初はマーカーレスでカメラ情報を取得していました。代表的なバーチャルセットシステムとしてはBrainStorm、Vizrtなどが挙げられます。

Brainstorm:

高度なリアルタイム3Dレンダリングとトラッキング技術
Unreal Engineとの強力な統合
柔軟なオープンアーキテクチ
日本国内では朋栄が代理店

Vizrt:

放送局で圧倒的なシェアを誇る「Viz Artist / Viz Engine」
ニュース、スポーツ、選挙速報などの大規模な送出システムに強み
ワークフロー全体の効率化

用途と活用場面

プレビズの流れ(2000年代～)　バーチャルカメラの出現

やがて、プレビズが発明され撮影の前にCGによって撮影前のシミュレーションをし始めました。この時にカメラの動きは実際の撮影監督(DP)に行ってもらうことも出てきたのです。そのため、実際のカメラの位置、動き、画角、フォーカスなどを記録する必要が出てきました。これがバーチャルカメラの起源です。そのため当初はモーションキャプチャースタジオの中でカメラにマーカーの付いたリグを装着し、カメラ情報を取得しました。この方法は多くのプレビズ・プロダクションで採用されました。

　オンセットビズの流れ(10年代～)

そのうちにオンセットビズという考え方が起こります。オンセットビズとは実際にクロマキー撮影の現場で背景などのCGをリアルタイムに表示し、確認していくものです。場合によってはそのまま合成したフッテージを採用する場合も出てきました。海外ドラマ「Pan-Aam」(2011-13)などはオンセットビズで撮影、編集されたものです。このオンセットビズの考え方とリアルタイムグラフィックスの進化、LEDウォールの進化が組み合わさり、現在のバーチャルプロダクションに昇華されたと言ってよいかと思います。

6 バーチャルライト

照明との連動　DMXコントロール

7 バーチャルキャラクター　

モーションキャプチャー

8 カラーグレーディング　

HDR/リニアワークフロー　LEDを再撮するということ

シーンリニアワークフロー

非常に難解とされるカラーマネージメントのワークフローですが、実写とCGが混在する世界においてはきちんと理解する必要があります。そこで出てくるのがACESによるワークフローです。

ACES　Academy Color Encoding System

ACES は米国映画芸術科学アカデミー（AMPAS アンパス）が策定した規格のことです。

ACES のワークフローはCG 画像との親和性も高い。CG 画像とは、“ シーンの光” を計算したデータの集合ということができる。各画素はシーンの光を数値化したもので、シーンに輝度リニアなCIE XYZ 値に相当するRGB となる。
一方、ACES の色空間も、シーンに輝度リニアなCIE XYZ 値に相当するRGB であるという特徴があるので、ACES 空間でCG 画像と実画像をそのまま合成できる。これがシーンリニアワークフローである。従来、リニアではない実画像のカメラのLOG データとCG 画像の合成には、非常に手間がかかっていたが、これが軽減される。
また、合成結果をプレビューするには、編集作業を行うラボのノウハウが凝縮されたLUTプレビューラット（ルックアップテーブル）が必要で、それは一般に出回るものではなかったが、適切なIDT が入手できれば、AMPAS から提供されるRRT とODT を使うことで汎用的で誰でも使えるプレビュー機能が手に入ることになる。もう一つワークフローの効率化以外に、シーンリニア環境での合成を行うと画質的にも向上することが分かっている。ハイライトのリアリティーの向上や実写とCG の“ なじみ” 具合の向上が見られる。
さらにACES RGB のCG 画像をRRT を用いてRGB変換したところ、人間が記憶している色・階調に近い、よりリアルな画像データが得られたという実験結果もある。
専門用語が多く難解な面もあるが、測色的な色合わせと絵作りの両立というのは、製版・印刷業界が培ってきたノウハウと共通する部分は多い。デジタル化の進展により業界間の垣根はますます低くなっており、今後、印刷業界が動画やCG 画像をハンドリングする機会は増加の一途であろう。その際、技術的なバックボーンを身につける意義は大きいと考えており、テキスト＆グラフィックス部会では継続して本テーマは取り上げていきたい。
（『JAGAT info』2016年6月号より/研究調査部　花房 賢）
参考情報：デジタル映像制作ソリューション（富士フイルム）

9 同期/モーションコントロール 

モーションコントロールカメラ、タイムコード、動きの制御コントロール、再現性

解決しなければいけない課題

• ポスプロCG/VFXの工程がプリプロダクション化する(撮影までに制作)
• パイプラインが大きく変わる
• カメラ、レンズキャリブレーション、トラッキング
• スタジオでの調整のノウハウ　空間座標の一致
• 誰がルックを決めれるのか？ディレクター、DP、スーパーバイザー、、、誰が色を管理するのか？VFXチーム？DIT？カラリスト？
• デプス情報　FGとのリアルタイム合成　ARのFGBG切り替え
• HFR(ハイフレームレート)同期によるグリーンバック(マット)の撮影、マルチカメラの可能性