モーションキャプチャとUE5によるリアルタイム3DMV制作

作品概要

モーションキャプチャを使ってUnreal Engine上でリアルタイムレンダリングを行いMVを制作しました。Unreal Engineでモーションキャプチャと連携させ、リアルタイムの制御ができる環境を構築しました。収録では、モーションキャプチャによるダンスモーションのディレクションや、リアルタイムでのカメラスイッチングを実施しました。

制作背景

私は大学2年生から、大阪電気通信大学 JIAMS にてモーションキャプチャの学生スタッフとして活動してきました。3年生時には、リアルタイムモーションキャプチャを扱う企業でのインターンシップを経験し、知識を深めました。その経験を活かし、JIAMS におけるリアルタイム案件への対応環境を整えるため、モーションキャプチャを用いたリアルタイム 3DMV 制作を卒業制作のテーマとしました。

リアルタイム制御について

Unreal Engineのリアルタイムレンダリング機能を活用して、モーションキャプチャを同時に収録・合成することです。リアルタイムで収録することで、撮影した内容が完成されるため「編集」の工程がなくなります。従来の映像制作では撮影後に編集を行うため、修正が発生した場合は再撮影や長時間の編集作業が必要でした。しかし、リアルタイム収録を活用することで、その場で修正・調整が可能となり、迅速に理想的な映像を完成させることができます。また、リアルタイム合成により、カメラワークや演技の確認を即座に行えるため、演者やスタッフの負担軽減にもつながります。

制作フロー

どのようにしてリアルタイムで作品を制作したのかを図にしました。
1.モーションキャプチャで人の動きを撮影します。
2.撮影したデータをSHOGUNLiveで解析し、骨を生成します。
3.生成した骨をMotion Builderというソフトに送信し、モデルと骨を合成します。
4.合成したデータをUnreal Engineに送信することでリアルタイムで制作できます。