Wideo wolumetryczne - Volumetric video

Wideo wolumetryczne to technika, która rejestruje trójwymiarową przestrzeń, taką jak lokalizacja lub występ. Ten rodzaj wolumetrii pozyskuje dane, które można oglądać na płaskich ekranach, a także przy użyciu wyświetlaczy 3D i gogli VR . Istnieje wiele formatów skierowanych do konsumentów, a wymagane techniki przechwytywania ruchu opierają się na grafice komputerowej , fotogrametrii i innych metodach obliczeniowych. Widz zazwyczaj doświadcza wyniku w silniku czasu rzeczywistego i ma bezpośredni wpływ na eksplorację wygenerowanej objętości.

Historia

Talent nagrywania bez ograniczeń płaskiego ekranu od dawna jest przedstawiany w science-fiction . Hologramy i trójwymiarowe wizualizacje rzeczywistego świata przez lata zajmowały ważne miejsce w Gwiezdnych Wojnach , Łowcy androidów i wielu innych produkcjach science-fiction. Dzięki postępowi w dziedzinie grafiki komputerowej, optyki i przetwarzania danych fikcja ta powoli przekształciła się w rzeczywistość. Wideo wolumetryczne jest logicznym kolejnym krokiem po filmach stereoskopowych i filmach 360°, ponieważ łączy wizualną jakość fotografii z zanurzeniem i interaktywnością treści uprzestrzennionych i może okazać się najważniejszym osiągnięciem w rejestrowaniu ludzkich działań od czasu powstania współczesne kino. Pierwszy raport rynku wideo wolumetrycznego ukazał się w maju 2018 r., a pierwsza publikacja internetowa poświęcona wideo wolumetrycznemu ukazała się w listopadzie 2019 r. - " Wolumetryczne Video News ".

Grafika komputerowa i efekty wizualne

Tworzenie modeli 3D z wideo, fotografii i innych sposobów mierzenia świata zawsze było ważnym tematem w grafice komputerowej . Ostatecznym celem jest odwzorowanie rzeczywistości w najdrobniejszych szczegółach, dając jednocześnie twórcom możliwość budowania światów na tym fundamencie, aby pasowały do ​​ich wizji. Tradycyjnie artyści tworzą te światy za pomocą technik modelowania i renderowania rozwijanych przez dziesięciolecia od narodzin grafiki komputerowej. Efekty wizualne w filmach i grach wideo utorowały drogę do postępów w fotogrametrii , urządzeniach skanujących i zapleczu obliczeniowym do obsługi danych otrzymanych z tych nowych, intensywnych metod. Ogólnie rzecz biorąc, te postępy są wynikiem tworzenia bardziej zaawansowanych wizualizacji dla rozrywki i mediów, ale nie były celem samej dziedziny.

LIDAR

Skanowanie LIDAR opisuje metodę geodezyjną, która wykorzystuje gęsto upakowane punkty z próbkami laserowymi do skanowania obiektów statycznych w chmurę punktów. Wymaga to fizycznych skanerów i generuje ogromne ilości danych. W 2007 roku zespół Radiohead intensywnie wykorzystał tę technologię, aby stworzyć teledysk do „House of Cards”, przechwytując występy w chmurze punktów twarzy piosenkarza i wybranych środowisk w jednym z pierwszych zastosowań tej technologii do przechwytywania wolumetrycznego. Reżyser James Frost współpracował z artystą medialnym Aaronem Koblinem w celu uchwycenia chmur punktów 3D użytych w tym klipie muzycznym i chociaż ostateczny wynik tej pracy wciąż był wyrenderowaną płaską reprezentacją danych, uchwycenie i nastawienie autorów już wyprzedziło już czas. Chmury punktów , będące odrębnymi próbkami trójwymiarowej przestrzeni z położeniem i kolorem, tworzą wierną reprezentację świata rzeczywistego z ogromną ilością danych. Jednak przeglądanie tych danych w czasie rzeczywistym nie było jeszcze możliwe.

Światło strukturalne

W 2010 roku Microsoft wprowadził na rynek Kinect , produkt konsumencki, który wykorzystuje światło strukturalne w widmie podczerwieni do generowania siatki 3D ze swojej kamery. Chociaż intencją było ułatwienie i wprowadzenie innowacji w zakresie wprowadzania użytkownika i rozgrywki, bardzo szybko zostało zaadaptowane jako ogólne urządzenie do przechwytywania danych 3D w społeczności zajmującej się przechwytywaniem wolumetrycznym. Poprzez rzutowanie znanego wzoru na przestrzeń i przechwytywanie zniekształceń przez obiekty w scenie, wynik przechwytywania może być następnie przeliczony na różne dane wyjściowe. Artyści i hobbyści zaczęli tworzyć narzędzia i projekty wokół niedrogiego urządzenia, wzbudzając rosnące zainteresowanie przechwytywaniem wolumetrycznym jako kreatywnym medium.

Następnie badacze z firmy Microsoft skonstruowali cały etap przechwytywania przy użyciu wielu kamer, urządzeń Kinect i algorytmów, które generowały pełne przechwytywanie wolumetryczne na podstawie połączonych informacji o optyce i głębokości. Jest to teraz Microsoft Mixed Reality Capture Studio , używany dziś zarówno w dziale badawczym, jak i w niektórych wybranych doświadczeniach komercyjnych, takich jak Blade Runner 2049 VR. Obecnie działają trzy studia: Redmond, Washington; San Francisco, Kalifornia i Londyn, Anglia. Chociaż jest to nadal bardzo interesująca konfiguracja dla rynku high-end, przystępna cena jednego urządzenia Kinect skłoniła więcej eksperymentalnych artystów i niezależnych reżyserów do aktywności na polu przechwytywania wolumetrycznego. Dwa wyniki tej aktywności to Depthkit i EF EVE™ . EF EVE ™ obsługuje jeden lub dwa czujniki na jednym komputerze, zapewniając pełne przechwytywanie wolumetryczne z łatwą konfiguracją. Posiada również automatyczną kalibrację czujników i funkcjonalność VFX. Depthkit to pakiet oprogramowania, który umożliwia przechwytywanie danych geometrycznych za pomocą jednego czujnika światła strukturalnego, w tym Azure Kinect, a także wysokiej jakości szczegółów kolorów z podłączonej kamery świadka.

Fotogrametria

Fotogrametria opisuje proces pomiaru danych na podstawie wzorca fotograficznego. Będąc tak starym jak sama fotografia, tylko dzięki postępom w badaniach nad przechwytywaniem wolumetrycznym na przestrzeni lat stało się możliwe uchwycenie coraz większej liczby szczegółów geometrii i tekstur z dużej liczby obrazów wejściowych. Wynik jest zwykle dzielony na dwa złożone źródła, geometrię statyczną i pełne przechwytywanie wydajności. W przypadku geometrii statycznej zestawy, które są przechwytywane z dużą liczbą nakładających się obrazów cyfrowych, są następnie dopasowywane do siebie przy użyciu podobnych cech na obrazach i wykorzystywane jako podstawa do triangulacji i szacowania głębokości. Ta informacja jest interpretowana jako geometria 3D , co skutkuje niemal idealną repliką zestawu. Jednak pełne przechwytywanie wydajności wykorzystuje szereg kamer wideo do przechwytywania informacji w czasie rzeczywistym. Te zsynchronizowane kamery są następnie wykorzystywane klatka po klatce do generowania zestawu punktów lub geometrii, które można odtwarzać z dużą szybkością, co skutkuje pełnym rejestrowaniem wydajności wolumetrycznej, które można połączyć z dowolnym środowiskiem. W 2008 roku firma 4DViews zainstalowała pierwszy wolumetryczny system przechwytywania wideo w studiu DigiCast w Tokio (JP). Później w 2015 r. 8i wniosło wkład w tę dziedzinę, a ostatnio dołączyły do ​​nich Intel, Microsoft i Samsung, tworząc własne etapy przechwytywania do przechwytywania wydajności i fotogrametrii.

Wirtualna rzeczywistość

Ponieważ wideo wolumetryczne przekształciło się w komercyjne podejście do przechwytywania środowiska i wydajności, możliwość poruszania się po wynikach z sześcioma stopniami swobody i prawdziwa stereoskopia wymagały nowego typu urządzenia wyświetlającego. Wraz z rozwojem rzeczywistości wirtualnej skierowanej do konsumentów w 2016 roku za pośrednictwem urządzeń takich jak Oculus Rift i HTC Vive stało się to nagle możliwe. Oglądanie stereoskopowe oraz możliwość obracania i poruszania głową, a także poruszania się na małej przestrzeni pozwalają zanurzyć się w środowiskach znacznie wykraczających poza to, co było możliwe w przeszłości. Fotograficzny charakter ujęć w połączeniu z tym zanurzeniem i wynikającą z niego interaktywnością jest o krok bliżej do bycia świętym Graalem prawdziwej wirtualnej rzeczywistości. Wraz z rozwojem treści wideo 360° rośnie zapotrzebowanie na przechwytywanie 6-DOF , a w szczególności VR napędza aplikacje dla tej technologii, powoli łącząc kino, gry i sztukę z dziedziną badań przechwytywania wolumetrycznego.

Jasne pola

Pola świetlne opisują w danym punkcie próbki światło padające ze wszystkich kierunków. Jest to następnie wykorzystywane w przetwarzaniu końcowym do generowania efektów, takich jak głębia ostrości, a także umożliwia użytkownikowi lekkie poruszanie głową. Od 2006 roku Lytro tworzy kamery skierowane do konsumentów, aby umożliwić przechwytywanie pól świetlnych. Pola mogą być rejestrowane wewnątrz kamery lub na zewnątrz z renderowania geometrii 3D, reprezentując ogromną ilość informacji gotowych do manipulacji. Obecnie szybkość transmisji danych nadal stanowi duży problem, a technika ta ma duży potencjał na przyszłość, ponieważ próbkuje światło i wyświetla wyniki na różne sposoby.

Innym produktem ubocznym tej techniki jest dość dokładna mapa głębi sceny. Oznacza to, że każdy piksel ma informację o swojej odległości od aparatu. Facebook wykorzystuje ten pomysł w swojej rodzinie kamer Surround360 do przechwytywania materiału wideo 360°, który jest łączony za pomocą map odległości. Wyodrębnienie tych surowych danych jest możliwe i umożliwia przechwytywanie w wysokiej rozdzielczości dowolnego etapu. Ponownie, szybkości transmisji danych w połączeniu z wiernością map głębokości są ogromnymi wąskimi gardłami, które wkrótce zostaną przezwyciężone za pomocą bardziej zaawansowanych technik szacowania głębokości, kompresji, a także parametrycznych pól świetlnych.

Przepływy pracy

Obecnie dostępne są różne przepływy pracy do generowania wideo wolumetrycznego. Nie wykluczają się one wzajemnie i są skutecznie wykorzystywane w kombinacjach. Oto kilka przykładów, które pokazują kilka z nich:

Oparte na siatce

Takie podejście generuje bardziej tradycyjną siatkę trójkątów 3D, podobną do geometrii używanej w grach komputerowych i efektach wizualnych. Ilość danych jest zwykle mniejsza, ale kwantyzacja danych ze świata rzeczywistego na dane o niższej rozdzielczości ogranicza rozdzielczość i wierność wizualną. Generalnie dokonuje się kompromisów między gęstością oczek a wydajnością końcową.

Fotogrametria jest zwykle wykorzystywana jako podstawa dla siatek statycznych, a następnie jest uzupełniana o wydajność przechwytywania talentów za pomocą tej samej podstawowej technologii wideogrametrii . Do utworzenia końcowego zestawu trójkątów wymagane jest intensywne czyszczenie. Aby wyjść poza świat fizyczny, można zastosować techniki CG, aby jeszcze bardziej ulepszyć przechwycone dane, zatrudniając artystów do budowania na statycznej siatce i w razie potrzeby. Odtwarzanie jest zwykle obsługiwane przez silnik czasu rzeczywistego i przypomina implementację tradycyjnego potoku gry, umożliwiając interaktywne zmiany oświetlenia oraz kreatywne i archiwizowalne sposoby łączenia statycznych i animowanych siatek.

Punktowe

Ostatnio światło reflektorów przesunęło się w kierunku przechwytywania wolumetrycznego opartego na punktach . Otrzymane dane są reprezentowane jako punkty lub cząstki w przestrzeni 3D niosące ze sobą atrybuty, takie jak kolor i rozmiar punktu. Pozwala to na większą gęstość informacji i zawartość w wyższej rozdzielczości. Wymagane szybkości przesyłania danych są duże, a obecny sprzęt graficzny nie jest zoptymalizowany do renderowania tego, ponieważ jest zoptymalizowany pod kątem potoku renderowania opartego na siatce.

Główną zaletą punktów jest możliwość uzyskania wyższej rozdzielczości przestrzennej. Punkty mogą być albo rozproszone na trójkątnych siatkach z wcześniej obliczonym oświetleniem, albo użyte bezpośrednio ze skanera LIDAR. Wydajność talentu jest rejestrowana w taki sam sposób, jak w podejściu opartym na siatce, ale w czasie produkcji można wykorzystać więcej czasu i mocy obliczeniowej do dalszego ulepszania danych. Podczas odtwarzania „poziom szczegółowości” może być wykorzystany do zarządzania obciążeniem obliczeniowym urządzenia odtwarzającego, zwiększając lub zmniejszając liczbę wielokątów. Interaktywne zmiany światła są trudniejsze do zrealizowania, ponieważ większość danych jest wstępnie upieczona. Oznacza to, że chociaż informacje o oświetleniu przechowywane z punktami są bardzo dokładne i wierne, brakuje im możliwości łatwej zmiany w dowolnej sytuacji. Kolejną zaletą przechwytywania punktów jest to, że grafika komputerowa może być renderowana w bardzo wysokiej jakości, a także przechowywana jako punkty, otwierając drzwi do idealnego połączenia elementów rzeczywistych i wyimaginowanych.

Po przechwyceniu i wygenerowaniu danych edycja i komponowanie odbywa się w silniku czasu rzeczywistego, łącząc zarejestrowane działania, aby opowiedzieć zamierzoną historię. Ostateczny produkt można następnie wyświetlić jako płaski rendering przechwyconych danych lub interaktywnie w goglach VR .

Podczas gdy jednym z celów, przy punktowym podejściu do przechwytywania wolumetrycznego, jest przesyłanie strumieniowe danych punktowych z chmury do użytkownika w domu, co pozwala na tworzenie i rozpowszechnianie realistycznych wirtualnych światów na żądanie – drugi cel, rozważany ostatnio, byłby realnym strumień danych czasowych z wydarzeń na żywo. Wymaga to bardzo dużej przepustowości, ponieważ informacje o pikselach zawierają dane o głębokości (tj. stają się wokselami)

Obietnice

Mając na uwadze ogólne zrozumienie technologii, w tym rozdziale opisano postępy na horyzoncie dla rozrywki i innych branż, a także potencjał, jaki ta technologia ma do zmiany krajobrazu medialnego.

Prawdziwa immersja

Ponieważ wolumetryczne wideo ewoluuje w globalne przechwytywanie, a sprzęt do wyświetlania ewoluuje, aby do niego pasować, wejdziemy w erę prawdziwego zanurzenia, w której niuanse uchwyconego środowiska w połączeniu z uchwyconymi występami przekażą emocjonalność w zupełnie nowym medium, zacierając granice między rzeczywistością. i wirtualne światy. Ten przełom w świecie sztuczek sensorycznych zapoczątkuje ewolucję sposobu, w jaki konsumujemy media, i chociaż technologie dla innych zmysłów, takie jak zapach, zapach i propriocepcja, wciąż znajdują się na etapie badań i rozwoju, pewnego dnia w nie tak odległej przyszłości będziemy przekonująco podróżować do nowych miejsc, zarówno rzeczywistych, jak i wyimaginowanych. Branże w turystyce i dziennikarstwie znajdą nowe życie w możliwości bezpiecznego transportu do widza lub gościa do miejsca, podczas gdy inne, takie jak wizualizacja architektoniczna i inżynieria lądowa, znajdą sposoby na budowanie całych struktur i miast i odkrywanie ich bez potrzeby pojedyncza huśtawka młotka.

Pełne przechwytywanie i ponowne wykorzystanie

Po utworzeniu i zapisaniu przechwytywania można go ponownie wykorzystać, a nawet zmienić przeznaczenie do znudzenia w okolicznościach wykraczających poza początkowy przewidywany zakres. Stworzenie wirtualnego planu umożliwia kamerzystom wolumetrycznym i operatorom filmowym tworzenie historii i planowanie ujęć bez konieczności zatrudniania ekipy lub nawet obecności na planie fizycznym, a właściwa wizualizacja może pomóc aktorowi lub wykonawcy zablokować scenę lub akcję z komfortem że ich praktyka nie odbywa się kosztem reszty produkcji. Stare zestawy można rejestrować cyfrowo, zanim zostaną zburzone, co pozwala im trwać wiecznie jako miejsce do ponownego odwiedzania i odkrywania rozrywki i inspiracji, a wiele zestawów można rozbijać w taki sposób, aby zacieśnić pętle iteracji scenografii, dźwięku projekt, kolorystyka i wiele innych aspektów produkcji.

Tradycyjne zestawy umiejętności

Jednym z obszarów zainteresowania rosnącej dziedziny przechwytywania wolumetrycznego jest kurczenie się popytu na tradycyjne zestawy umiejętności, takie jak modelowanie, oświetlenie, animacja itp. Jednak podczas gdy w przyszłości stos technologii przechwytywania wolumetrycznego zorientowanych na produkcję będzie rósł i rósł, zapotrzebowanie na tradycyjne umiejętności.

Przechwytywanie wolumetryczne doskonale nadaje się do przechwytywania danych statycznych lub wstępnie renderowanego materiału animowanego. Nie może jednak stworzyć wyimaginowanego środowiska ani natywnie pozwolić na dowolny poziom interaktywności. To właśnie tutaj wykwalifikowani artyści i programiści będą najbardziej potrzebni, tworząc bezproblemowe interaktywne wydarzenia i zasoby w celu uzupełnienia istniejących danych geometrycznych lub wykorzystując istniejące dane jako podstawę do budowania, podobnie jak malarz cyfrowy może malować podstawowe renderowania 3D. Obowiązkiem rzemieślnika będzie upewnienie się, że nadąża za narzędziami i przepływami pracy, które najlepiej pasują do jego umiejętności, ale ostrożny odkryje, że rurociąg produkcyjny przyszłości będzie wiązał się z wieloma możliwościami usprawnienia tworzenia pracochłonnych i umożliwiających na inwestycje w większe kreatywne wyzwania.

Co najważniejsze, umiejętności, które obecnie są częściowo przestarzałe dzięki postępom w grafice komputerowej i renderowaniu off-line, ponownie staną się istotne, ponieważ wierność rzeczy takich jak prawdziwe, ręcznie budowane zestawy wysokiej jakości szytych na miarę kostiumów renderowanych podczas przechwytywania na dużą skalę będzie prawie zawsze znacznie bardziej wciągające niż cokolwiek całkowicie CG. Łącząc te przechwytywanie rzeczywistych zestawów z wolumetrycznymi przechwytywaniami dodatkowych elementów CG, będziemy w stanie połączyć rzeczywistość i naszą wyobraźnię w sposób, który wcześniej byliśmy w stanie zrobić tylko na płaskim ekranie, tworząc nowe pola w obszarach takich jak komponowanie i efekty wizualne.

Wyzwania

Proces przechwytywania i tworzenia danych wolumetrycznych jest pełen wyzwań i nierozwiązanych problemów. Jest to kolejny krok w kinematografii i wiąże się z problemami, które z czasem zostaną usunięte.

Język wizualny

Ponieważ każde medium tworzy swój własny język wizualny, zasady i kreatywne podejście, wolumetryczne wideo jest wciąż w powijakach. Można to porównać z dodawaniem dźwięku do ruchomych obrazów. Trzeba było stworzyć i przetestować nowe filozofie projektowania. Obecnie językiem filmu jest sztuka reżyserska zahartowana w boju od ponad 100 lat. W świecie interaktywnym i nielinearnym, obejmującym sześć stopni swobody, wiele tradycyjnych podejść nie może funkcjonować. Im więcej doświadczeń jest tworzonych i analizowanych, tym szybciej społeczność może dojść do wniosku na temat tego języka doświadczeń.

Zakłócenie rurociągu

Obecne rurociągi i produkcje wideo i filmów nie są gotowe do przejścia na wolumetrię. Każdy krok w procesie tworzenia filmu musi zostać przemyślany i wymyślony na nowo. Uchwycenie na planie, kierowanie talentem na planie, montaż, fotografia, opowiadanie historii i wiele więcej to dziedziny, w których trzeba poświęcić czas, aby dostosować się do wolumetrycznych przepływów pracy. Obecnie każda produkcja wykorzystuje różnorodne technologie, a także próbuje zasad zaangażowania.

Szybkości transmisji danych

Aby przechowywać i odtwarzać przechwycone dane, ogromne zestawy muszą być przesyłane strumieniowo do konsumenta. Obecnie najskuteczniejszym sposobem jest tworzenie aplikacji na zamówienie, które są dostarczane. Nie ma jeszcze standardu, aby wygenerować wideo wolumetryczne i sprawić, że będzie to możliwe w domu. Kompresja tych danych zaczyna być dostępna w Grupie Ekspertów Ruchomych w poszukiwaniu rozsądnego sposobu przesyłania danych. Dzięki temu prawdziwie interaktywne, immersyjne projekty byłyby dostępne do rozpowszechniania i pracy nad nimi bardziej wydajnie i muszą zostać rozwiązane, zanim medium stanie się głównym nurtem.

Przyszłe zastosowania

Oprócz zastosowania w rozrywce, kilka innych branż zainteresowało się uchwyceniem scen z opisanymi powyżej szczegółami. Wydarzenia sportowe bardzo skorzystałyby na szczegółowym odtworzeniu stanu gry. Dzieje się to już w futbolu amerykańskim i baseballu, a także w piłce nożnej brytyjskiej. Te 360° powtórki pozwolą widzom w przyszłości analizować mecz z wielu perspektyw.

Dokumentowanie przestrzeni dla wydarzeń historycznych, uchwyconych na żywo lub odtworzonych, przyniesie ogromne korzyści sektorowi edukacyjnemu. Wirtualne wykłady przedstawiające ważne wydarzenia historyczne z elementem wciągającym pomogą przyszłym pokoleniom wyobrazić sobie przestrzenie i wspólnie uczyć się o wydarzeniach. Można to wyabstrahować i wykorzystać do wizualizacji scenariuszy w mikroskali na poziomie komórkowym, a także epickich wydarzeń, które zmieniły przebieg eksperymentu na ludziach. Główną zaletą jest to, że wirtualne wycieczki w teren to demokratyzacja wysokiej klasy scenariuszy edukacyjnych. Możliwość uczestniczenia w zwiedzaniu muzeum bez konieczności fizycznej obecności pozwala szerszej publiczności, a także umożliwia instytucjom pokazanie całego swojego inwentarza, a nie podrozdziału, który jest aktualnie eksponowany.

Nieruchomości i turystyka mogą dokładnie wyświetlić podgląd miejsc docelowych i sprawić, że branża detaliczna będzie o wiele bardziej dostosowana do indywidualnych potrzeb. Przechwytywanie produktów zostało już zrobione dla butów, a magiczne lustra mogą być używane w sklepach, aby to zwizualizować. Centra handlowe zaczęły to wykorzystywać, aby ponownie je zaludnić, przyciągając klientów za pomocą arkad VR, a także wirtualnie prezentując towary.

Bibliografia

Lista doświadczeń wnoszących wkład

• House of Cards, Radiohead, teledysk
• Carne Y Arena, Alejandro G. Inarritu, wystawa sztuki LACMA
• Blade Runner 2049: Memory Lab, VR Experience (nakręcony w Microsoft Mixed Reality Capture Studio, Redmond, WA)
• William Patrick Corgan: Aeronaut, VR Experience and Music Video (nakręcony w Microsoft Mixed Reality Capture Studio, Redmond, WA)
• Awake: Episode One , Start VR & Animal Logic, Interactive Cinematic VR (nagrane w Microsoft Mixed Reality Capture Studio, Redmond, WA)