Augmented reality schiet te hulp. De annulering van NAB 2022-2023 als gevolg van de COVID-19-pandemie zorgde voor schokgolven in de omroepindustrie. NAB Show, die jaarlijks in Las Vegas wordt gehouden, is de grootste omroepbeurs met meer dan 90.000 bezoekers uit meer dan 160 landen. Het merendeel van de 1.600 exposanten lanceert nieuwe producten en technologie en voor veel grote bedrijven wordt een planning tot zes maanden ingevoerd. Binnen een zeer kort tijdsbestek moest het Panasonic Pro Video-team alternatieven bedenken om zijn boodschap over te brengen terwijl ze op afstand van huis werkten.
Audio + video + IT. Onze editors zijn experts in het integreren van audio, video en IT. Krijg dagelijkse inzichten, nieuws en professionele netwerken. Abonneer u vandaag nog op Pro AV
In de dagen voorafgaand aan de annulering van de NAB Show, begon het Panasonic-team te kijken naar opties voor een vervangend evenement, inclusief het idee om een fysieke stand te bouwen waar klanten online konden komen. Het Panasonic Pro Video-team was ook in gesprek met Paul Lacombe, CEO van het in New England gevestigde DisruptAR, die gespecialiseerd is in het maken van virtuele producties. Nadat hij zijn carrière bij General Motors begon na zijn studie, werkt Lacombe 30 jaar in de productie-industrie, beginnend bij Silicon Graphics in de late jaren 80, voordat hij er zelf op uit ging om virtuele producties na te streven. DisruptAR is gericht op het verlagen van de AR- en VR-productiekosten voor de bredere markt.
- Streaming-infrastructuur van Esports Training Factory
- Citizen Cope debuteert met Covid-veilige concertruimte
- Leren op afstand: hoe u een orkest op afstand kunt laten werken
- Beste PTZ-camera's voor live streaming
Op 16 maart werd New Jersey, waar het Amerikaanse hoofdkantoor van Panasonic is gevestigd, officieel gesloten; op 18 maart plande Lacombe de eerste demo voor het Panasonic-team. NAB Show 2022-2023 is geannuleerd op 20 maart. "
We moesten heel snel een keuze maken tussen de twee opties ”, vertelt Harry Patel, technisch manager bij Panasonic. “De eerste optie was het fysiek bouwen van een stand, het binnenbrengen van het product terwijl de sociale afstandsvereisten werden nageleefd (minder dan 10 mensen tegelijk) en het binnenhalen van een filmploeg. Het was niet praktisch en we wilden iets met een hogere kwaliteit doen, ook al konden we onze huizen niet verlaten. Dus ten slotte werd dit idee van een virtueel evenement verder besproken en eind maart goedgekeurd. "
Augmented Reality en productie op afstand
Productie op afstand is geen nieuw concept. Regisseur Francis Ford Coppola regisseerde en monteerde op beroemde wijze vele scènes uit zijn film uit 1982, One From the Heart, vanuit een trailer bij de set. Maar een productie op afstand van huis maken tijdens een wereldwijde pandemie is een ander verhaal. Het was alleen mogelijk door de modernste cameratechnologie, VR-gaming-engines en cloudgebaseerde apps te gebruiken.
Voor Panasonic was het eerste doel om een duidelijke boodschap te creëren met mondelinge en schriftelijke communicatie, vertaald naar een meer visueel videoformaat. Bij NAB communiceerden verkopers doorgaans met klanten op de beursvloer en bespraken ze oplossingen voor ieders problemen. Marketing Group Manager Jim Wickizer en P.R. bureau, Racepoint Global, waren in staat om een consistente boodschap te bedenken en werkten samen met individuele productmanagers om de juiste gesprekspunten te presenteren.
Patel en Wickizer begonnen ook op afstand met Lacombe samen te werken vanuit zijn thuisstudio om video-interviews te maken tussen productmanagers en een studiogastheer, Zoe Laiz, die nieuwe producten en technologie zouden bespreken. "We hebben allemaal uitdagende productieomgevingen gehad, maar om dit op afstand te doen met dit schema, was het beslist een sprong in het diepe", legt Lacombe uit. "In mijn buik wist ik dat dit zou kunnen werken, maar dat ik het nog nooit eerder had gedaan, was een punt van zorg."
Voor opnamen op afstand ontvingen elke productmanager een laptop, een Blue Yeti USB-microfoon en een Panasonic AW-HE42 Full-HD professionele PTZ-camera. De HE42 was verbonden via Ethernet en de PTZ Virtual USB Driver en de video werd naar de laptop gebracht met behulp van OBS om op te nemen en TeamViewer voor bediening op afstand.
Augmented Reality en MS-teams
Voor communicatie, het delen van bestanden, het bekijken van demo's en het volgen van productieshoots op afstand, gebruikte Panasonic Microsoft Teams, een communicatie- en samenwerkingsplatform. Van de ene op de andere dag hebben platforms zoals Teams, Zoom, Ring Central en vele anderen mensen en bedrijven in staat gesteld om veilig vanuit hun huis met de buitenwereld te communiceren.
Om te zien wat Lacombe tijdens de productie op de set vastlegde, gebruikte Patel Teams Screen Share om een quad-split te maken met behulp van een AV-UHS500-switcheroutput naar een converterbox van SDI naar USB. De USB-feed werd in Windows gepresenteerd als een camerafeed, die ze deelden via Teams.
Terwijl ze toezicht hielden op de opname van de openingstoespraken van Senior Vice President, Professional Imaging & Visual Systems John Baisley, konden Patel en Wickizer via Teams de woonkamer van Baisley live bekijken en aanwijzingen geven, of het nu een regelleesfout, een achtergrondwijziging of een technische fout was. geluidsprobleem. Via Teams was Patel ook in staat om schermrichting te geven door zowel groene schermen als virtuele setweergaven te observeren. "Als Zoey vlak achter een deur stond en binnenkomt, zouden we echt kunnen zien of het schot goed was", legt Patel uit. "Ik zou Paul via Teams vertellen:" Het zou beter kunnen werken als ze een klein beetje naar rechts gaat. "Wat betreft samenwerking op afstand, denk ik niet dat het mogelijk zou zijn geweest zonder het gebruik van Teams."
"Het was best gaaf om dit op afstand te doen", voegt Wickizer toe. “We hadden een persoon in Boston, Harry en ik waren bij ons thuis in New Jersey en we hadden een andere persoon aan de westkust. Mijn dochter kwam een keer naar onze kelder en vroeg wat ik aan het doen was. ‘We doen een productie op afstand’, zei ik tegen haar. Ze kon het echt niet geloven. "
Free-D en de Unreal Engine
Om realistische VR-studiosets op te nemen in een live productie, is het essentieel om nauwkeurige camerapositioneringsgegevens vast te leggen. Voordat hij zijn eerste demo voor Panasonic presenteerde, ontwikkelde DisruptAR een Free-D-stuurprogramma waarmee de AW-UE150 4K Pro PTZ-camera rechtstreeks op de Unreal Engine kon worden aangesloten, waardoor hij Pan / Tilt / Zoom / Iris-informatie kon uitvoeren. via IP (UDP) rechtstreeks van de camera naar het volgsysteem van Unreal live zonder dat er extra sensoren of encoders nodig zijn.
"Free-D kwam begin jaren '90 van de BBC als een volgprotocol voor een van hun cameratrackingsystemen", legt Lacombe uit. “Het definieert de zes vrijheidsgraden - pannen, kantelen, rollen, X, Y, Z, evenals gezichtsveld, zoom en focus. Die waarden worden naar de virtuele rendering-engine gestuurd en met een virtuele camera verbonden, zodat je achtergrond in realtime met 60 frames per seconde reageert. "
Volgens Lacombe is de Unreal Engine over de hele linie gebruikt in tal van producties - van The Lion King tot The Mandalorian. "Het is de onderliggende technologie die momenteel door het grootste deel van Hollywood wordt gebruikt", zegt Lacombe. "Ze gebruiken het grotendeels als een proxy, maar het doel is de‘ laatste pixel ’, dat is wat je in realtime ziet beginnen, dat is wat er op het scherm te zien is."
"De Unreal Engine is een game-engine die is toegepast in andere markten, waaronder architectuur, CAD-visualisatie en in dit geval uitzending en film", zegt Lacombe. "We gebruiken het om tot het hoogste niveau van fotorealisme te komen, door middelen te halen uit traditionele DCC-tools zoals Maya, 3D Studio Max, Blender, en NVIDIA grafische kaarten te gebruiken met 60 frames per seconde, waardoor kijkers de getrouwheid van lenskenmerken zoals bloeien, fakkels en de-focus. De kwaliteit die je nodig hebt om tot fotorealisme en rendering met 60 frames per seconde te komen, is in wezen wat de Unreal Engine doet. "
Een virtuele wereld creëren… in een garage
Lacombe's studio bevindt zich in zijn verbouwde garage die slechts 20 x 24 meet en zijn bemanning bestond uit slechts één assistent. Voor het groene scherm gebruikte hij een Pro Cyc Portable-achtergrond. Vanwege de beperkte ruimte kon Laiz maar een paar stappen lopen, zodat ze beperkt waren op camera's, waardoor de AW-UE150 de perfecte tool voor de klus was. Bij het verlichten van zijn green screen gebruikte Lacombe 14 ”LED-panelen. "Het idee is dat je echt één tint groen wilt hebben en alle vlekjes wilt verwijderen, zodat je keyer die schaduwen kan behouden", legt Lacombe uit. "Je kiest een green die je wilt verwijderen en de donkere greens zijn de schaduwen die in je virtuele set worden weergegeven."
Ook al werkte hij in de kleine besloten ruimtes van zijn garage, hij moest zijn talent aansteken met het gemotiveerde licht van een grote studio. Om Laiz te verlichten, gebruikte Lacombe twee LED-panelen voor zowel zijn sleutel als vulling. Hij gebruikte ook een paar schijnwerpers van bovenaf om een roodachtig licht uit de ramen te simuleren. "In feite proberen we die richting en die kleurtemperatuur op elkaar af te stemmen zonder het groene scherm te beïnvloeden", onthult Lacombe. “Dat is een uitdaging, want je probeert het talent los van het groene scherm aan te steken. De staldeuren op die LED's gaven ons meer ruimte, maar we vochten om weg te komen van de green en zo min mogelijk weerkaatsing van de green op haar kleding en huid te krijgen. "
Op de set gebruikte Lacombe twee UE150-camera's: camera 1 aan de linkerkant en camera 2 aan de rechterkant. Wanneer Zoe haar beurt zou doen om tegenover een productmanager te staan die op een verticale monitor werd bekeken, schakelde hij over op camera twee op ooghoogte van Laiz om een gesimuleerd standpunt van de productmanager te krijgen. Het matchen van ooglijnen is een uitdaging, maar Lacombe zegt dat hij het een beetje kan bedriegen door te weten waar zijn thuispositie was. “Als je twee camera's had, de ene stond 90 graden ten opzichte van de andere op 2,4 meter afstand en de andere op 1,20 meter afstand, dan kun je meten met een meetlint en ze in dezelfde positie in de virtuele wereld plaatsen. Ze zullen zich aan elkaar hechten door de wetten van de natuurkunde, zodat het lijkt alsof ze zich in die exacte positie bevinden. En dan kun je een beetje vals spelen binnen die richtlijnen. "
Productieontwerp met een klik op de knop
Voor het ontwerp van de virtuele set gebruikte Lacombe een aangepast ontwerp waarmee hij het afgelopen jaar samenwerkte met een andere klant. Het ontwerp is gedaan in Maya en geëxporteerd naar Unreal. Omdat de virtuele set 's nachts plaatsvindt, hadden ze eerst een donkerdere blik, maar toen besloten ze om het een beetje helderder te maken. Hij voegde het Panasonic-logo toe en nam elementen weg die niet essentieel waren voor de Panasonic-set. Hij voegde ook een monitor toe die uit de vloer komt en Laiz erachter vandaan loopt.
Bij het maken van je eigen virtuele set zijn er volgens Lacombe meer 3D-assets beschikbaar sinds online architecturale visualisatie echt een vlucht heeft genomen. U kunt naar een 3D-bibliotheek gaan en 3D-middelen of -modellen zoeken en deze bouwen, afhankelijk van uw aanpassingsvereisten. "Het is echt een heen en weer gaan met de klant", legt Lacombe uit. “Je voegt je marketingcomponenten, branding, alle kleuren en materialen toe. Als je eenmaal de asset erin hebt, kun je muren neerhalen met een knop, klikken of dingen verplaatsen, monitoren aanpassen allemaal in realtime. In de 'fysieke wereld' zou dit veel tijd en geld kosten. Als je het ding eenmaal hebt gebouwd, is het gemakkelijk aan te passen en terug te keren. "
Een veilige afstand bewaren
Virtuele productie is in de afgelopen decennia geëvolueerd door ervaring en verfijning. Hoewel de rollen van een fysieke productie en een virtuele productie in wezen hetzelfde zijn, is het grootste verschil dat iedereen in dezelfde fysieke ruimte werkt. Als de thuisverordening eenmaal is opgeheven, wordt nog bepaald of echte productie op afstand de norm zal worden.
"Er is een reden waarom iemand naar de sleutel kijkt, iemand die naar het script kijkt, iemand die naar de camerahoeken en kledingkast kijkt", zegt Lacombe. Al deze rollen moeten nog worden vervuld en we proberen gewoon de beste manier te vinden om dat op afstand te doen. Tot nu toe is het verbazingwekkend goed gelukt en we zijn allemaal verrast door hoe dit zo snel samenkwam en op een natuurlijke manier evolueerde. Hoewel we voor deze productie meer hoeden moesten dragen dan we hadden gewild, is de volgende logische stap om dit nog verder te verdelen, zodat anderen erbij betrokken zijn om het proces te verfijnen en te verbeteren. Maar voor de eerste keer dat ik de poort uit ben, ben ik erg blij met de resultaten en wil ik graag naar de volgende stap. "
Om het virtuele evenement van Panasonic te bekijken, De toekomst van videoproductie , klik hier door.
Bezoek www.disruptar.com voor meer informatie over DisruptAR.