PW i Microsoft ułatwią tworzenie awatarów

Politechnika Warszawska znalazła się wśród laureatów najnowszej edycji programu wsparcia doktorantów Microsoft Research PhD w regionie EMEA (Europa, Bliski Wschód, Afryka). Dzięki temu we wspólnym projekcie badawczym Politechniki Warszawskiej i Microsoft Research Cambridge weźmie udział jeden z doktorantów PW. W gronie 16 wyselekcjonowanych do finansowania aplikacji (m.in. z takich uniwersytetów jak Cambridge czy Oxford) znalazł się projekt badawczy pt. „Low Shot Realistic Human Rendering from Partial Information”. Autorami wniosku i opiekunami naukowymi projektu są dr hab. inż. Tomasz Trzciński z działającego w strukturze Wydziału Elektroniki i Technik Informacyjnych Zakładu Grafiki Komputerowej Instytutu Informatyki oraz absolwent PW, dr inż. Marek Kowalski, aktualnie pracujący w Microsofcie. – W projekcie chcemy wykorzystać generatywne modele sieci neuronowych do tworzenia wysokiej jakości wizualizacji postaci oraz animacji ich ruchu – wyjaśnia dr Trzciński. – Wyzwaniem badawczym, które przed sobą stawiamy, jest ograniczenie ilości danych potrzebnych do wytrenowania takich algorytmów, a także jakość rezultatów, które mają być nieodróżnialne od efektów uzyskanych tradycyjnymi metodami generowania grafiki – dodaje naukowiec. W grach wideo i filmach coraz częściej wymagane jest tworzenie wysokiej jakości animacji postaci ludzkich. Rozwiązania wykorzystywane w takich technikach, jak VR (wirtualna rzeczywistość), AR (rozszerzona rzeczywistość) czy CGI (obrazy generowane komputerowo) zajmują dużo czasu, są drogie i trudne do skalowania. Praca nad cyfrową postacią zazwyczaj rozpoczyna się od skanu 3D twarzy czy ciała prawdziwej osoby wykonującej różne czynności. Taki skan wymaga specjalistycznego sprzętu, a potem jest jeszcze przetwarzany przez grafików. Na tym nie koniec. Aby realistycznie animować model, potrzeba także aktora, który wykona pożądane sekwencje w specjalnym studiu „przechwytywania ruchu” (tzn. motion capture). W ten sposób powstały chociażby takie kultowe filmowe postaci jak Gollum z „Władcy Pierścieni”, Na-vi z „Avatara” czy Hulk (odgrywany przez Marka Ruffalo) w serii „Avengers”. – Zamierzamy ułatwić powstawanie awatarów, wykorzystując do tego dwa sposoby: Partial Information (częściowe informacje) i Low-shot learning (uczenie się przy niskim poziomie zaawansowania) – tłumaczy dr Trzciński. Cel jest prosty – z częściowych informacji (np. fragmentu twarzy) i podstawowych, łatwych do zebrania danych, bez wykorzystywania skomplikowanych systemów wymagających wielu powtórzeń (w jednej z opisanych metod człowiek musi użyć 122 wyrażenia i 50 zdań oraz być rejestrowanym przez 40 kamer) – wygenerować realistycznie wyglądające filmy (np. z pełną twarzą i mimiką oraz naturalnym sposobem mówienia). Program Microsoft Research PhD uruchomiono w 2004 r. Jak dotąd pomógł ponad 200 doktorantom z blisko 20 krajów i 51 instytucji. W tym roku do tego grona dołączyła Politechnika Warszawska. Źródło: Politechnika Warszawska