Les effets spéciaux et la production virtuelle utilisant le moteur de jeu « Osama Sentai King Auger » réalisent le tournage de mondes médiévaux et futurs. Possibilités d'expression vidéo évoluant avec les dernières technologies pour capturer l'espace en 3D [CEDEC2024]

• Kazuya Kamihoriuchi, réalisateur de fiction télévisée et de cinéma
• Division des solutions visuelles Sony PCL Département de création de contenu Division de production de contenu Directeur général Kazuma Endo
• Toru Masuda, directeur technique de capture volumétrique, section vTech, département d'ingénierie visuelle, division des solutions visuelles, Sony PCL
• SEGA 3e Division 3e Programme de recherche et développement en ligne Département 2 Section d'assistance technique Artiste technique : Manager Kazuhiro Fumoto

Il y avait quatre intervenants. La séance a été animée par M. Fumoto.

C'est la première fois dans l'histoire des effets spéciaux de la Toei que nous effectuons un tournage de production virtuelle à grande échelle.« Oussama Sentai King Auger » (ci-après dénommé « Roi Auger »). Le réalisateur Kamihoriuchi, qui a travaillé sur de nombreuses scènes célèbres en utilisant pleinement les technologies vidéo de pointe telles que la production virtuelle et la capture volumétrique (les détails seront décrits plus tard), et l'équipe de Sony PCL "Kiyosumi Shirakawa BASE" (Endo) qui l'a accompagné dans divers défis (M. Masuda), mais ils ont d'abord regardé le tournage du film et parlé de l'histoire de sa production.

Ce drame ne se déroule pas dans le Japon moderne, mais dans cinq pays différents, dont un royaume médiéval de style européen et une ville futuriste dotée d'une technologie de pointe. "Alors, ne serait-il pas possible de recréer ce genre de vision du monde en utilisant la production virtuelle ?" Ils ont donc décidé de demander l'aide d'experts dans ce domaine... et c'est ainsi que la Toei et Sony PCL ont commencé à communiquer.

Il semble que la Toei s'intéresse depuis un certain temps à l'introduction de la production virtuelle et a commencé à planifier tout en explorant diverses choses. Sa commodité a largement dépassé les attentes du réalisateur et des autres membres de l'équipe, et par conséquent, environ 80 % de l'ensemble du film a été tourné avec Kiyosumi-Shirakawa BASE.

Possibilités d'expression visuelle grâce à la production virtuelle

Kiyosumi Shirakawa BASE est un studio qui produit des vidéos en utilisant deux technologies de pointe : la production virtuelle et la capture volumétrique. Tout d'abord, les spécifications ont été brièvement présentées, puis M. Endo a donné une explication sur la production virtuelle.

La production virtuelle est une technologie dans laquelle les images projetées sur un mur LED sont simultanément projetées sur une caméra en arrière-plan. Le studio propose deux méthodes au choix : « Mur LED + VFX intégré à la caméra » et « Mur LED + processus d'écran ».

Mur LED + VFX intégré à la caméra

Créez un espace CG à l'aide d'Unreal Engine et représentez-le sur des LED. Il y a une caméra à l’intérieur de l’espace CG, et cette caméra et la caméra physique utilisée pour photographier les artistes sont synchronisées à l’aide de capteurs. Lorsque vous déplacez la vraie caméra, la caméra dans l'espace CG se déplace également en même temps, créant un système qui dessine en temps réel. Si vous projetez simplement l'image, la perspective changera lorsque vous déplacerez la vraie caméra, mais avec cette méthode, l'espace CG se déplace pour suivre la caméra, ce qui permet de créer des angles qui ne semblent pas déplacés.

Processus mur LED + écran

Il s'agit d'un système qui existe à l'origine dans l'industrie vidéo, où les images sont projetées sur un écran et les interprètes au premier plan sont photographiés ensemble. En projetant un arrière-plan qui s'étend au-delà d'une voiture à l'arrêt, c'est une méthode qui donne l'impression que la voiture est en mouvement, et Kiyosumi Shirakawa BASE reproduit cela à l'aide de LED haute définition.

"Roi Auger"En plus d'utiliser un mur de LED + des VFX intégrés à la caméra, ils ont également filmé avec du chromakey en affichant toutes les LED en vert. Dans la foulée, le réalisateur Kamihoriuchi a réaffirmé l'utilité de la production virtuelle, et déclare ce qui suit.

Kamihoriuchi

Si vous pensez à l'efficacité, je pense qu'il est préférable de filmer d'abord tout ce qui doit être filmé avec les effets visuels intégrés à l'appareil photo, puis de filmer avec l'incrustation chromatique. Cependant, jouer dans des drames et des films implique des émotions, donc je pense que je veux me concentrer sur la fluidité plutôt que sur l'efficacité et tourner les scènes dans le bon ordre.

Pour être extrême, j'ai d'abord tourné avec les VFX intégrés à la caméra, puis avec l'incrustation chroma, puis je suis revenu aux VFX intégrés à la caméra... J'ai consulté M. Endo pour voir si c'était possible, et il a pu le faire. en un rien de temps. Merci d'avoir rendu cela possible. J'ai été impressionné quand ils l'ont changé en 5 à 10 minutes environ. En même temps, j'ai réalisé que « la production virtuelle deviendra certainement la méthode de tournage dominante pour les séries télévisées et les films à l'avenir ».

Capture volumétrique qui élargit la gamme d'expression

M. Masuda a expliqué la capture volumétrique, une autre technologie de pointe utilisée à Kiyosumi-Shirakawa BASE.

Lorsque vous photographiez une personne dans un studio, une seule caméra est normalement utilisée pour capturer un plan dans un espace tridimensionnel en 2D, mais avec la capture volumétrique, plusieurs caméras sont préparées et disposées autour de la personne pour capturer l'espace lui-même. .

Les données capturées deviennent des données CG tout en préservant le mouvement du corps vivant. Ainsi, lors du développement d'une œuvre vidéo 2D, elles sont souvent utilisées avec divers effets tels qu'un point de vue libre et une mise à l'échelle. D’un autre côté, lorsqu’elles sont utilisées comme données 3D, elles peuvent être utilisées non seulement pour le contenu AR et VR, mais également pour les affichages 3D visibles à l’œil nu.

Ensuite, le flux de production de contenu sera expliqué en utilisant des matériaux réels photographiés comme exemples.

Même dans les scènes où plusieurs artistes apparaissent, nous photographions d’abord chaque artiste un par un et créons des données 3D pour chacun. Vous pouvez les placer librement dans un espace 3D et y coller des textures.

Texture collecte les données de plus de 100 caméras entourant l'artiste, lui permettant de reproduire des visuels précis à 360 degrés. Ensuite, le mappage de texture est effectué et une fois le modèle terminé, il est optimisé pour le périphérique d'affichage et présenté sous forme de contenu.

D'ailleurs"Roi Auger"Après avoir introduit la capture volumétrique pour la première fois dans la vidéo promotionnelle du film, il semble qu'elle ait été activement utilisée dans l'histoire principale et que des scènes de bataille réellement tournées avec cette technologie aient été introduites.

Cette technologie est utilisée pour filmer non seulement les scènes de combat et de mouvement des personnages principaux, mais également les scènes de soi-disant foules se battant en arrière-plan et les scènes de combat impliquant des robots géants, et chaque scène est expliquée lors de la projection de la vidéo.

Enfin, le directeur Kamihoriuchi, M. Endo et M. Masuda ont partagé leurs impressions un par un et la séance s'est terminée.

Kamihoriuchi

Les industries des séries télévisées et du cinéma ont tendance à être un peu réticentes à adopter les nouvelles technologies. Mais je pense que la production virtuelle a un énorme potentiel. Je pense que si nous ne la prenons pas trop au sérieux et ne l'utilisons pas efficacement comme moyen de tournage, l'industrie vidéo dans son ensemble se développera davantage, non seulement dans le monde de la télévision et du cinéma, mais aussi en relation avec le jeu et le cinéma. industries de l'animation. Tout d'abord, j'aimerais commencer à promouvoir la production virtuelle comme une « technologie naturelle dans la production vidéo » dans le domaine dans lequel je suis impliqué.

Endo

"Roi Auger"J'ai réalisé une fois de plus que le moteur de jeu Unreal Engine joue un rôle important, et que la relation entre l'industrie vidéo et l'industrie du jeu est désormais indissociable. Je suis très heureux d'avoir pu participer à une œuvre qui a reçu autant d'attention même après sa diffusion, car ce fut une expérience très précieuse pour moi personnellement et pour le studio.

Masuda

Jusqu'à présent, la capture volumétrique était principalement utilisée dans des vidéoclips et des drames ponctuels, mais c'était une expérience extrêmement précieuse de pouvoir réaliser un travail continu à une si grande échelle et dans un délai aussi serré."Roi Auger"En étant impliqué dans ce projet, je pense que notre technologie s'est définitivement améliorée d'environ trois niveaux.

De plus, comme l'a dit le directeur Kamihoriuchi, j'aimerais que les gens utilisent activement la production virtuelle et la capture volumétrique au lieu de penser qu'il s'agit de la dernière technologie. Tout comme les drones sont devenus populaires, nous souhaitons faire de notre mieux pour promouvoir ces technologies afin que le plus grand nombre puisse les utiliser.

Précédentau prochain