Polska firma upraszcza korzystanie z eye trackingu

everitq.pl: Jak do tej pory realizowano zadania eye trackingu? Adam Cellary, CEO firmy RealEye: - Eye tracking, czyli śledzenie ruchów gałek ocznych, nie jest najnowszą dziedziną, bo badania tego typu realizuje się już od 15 -20 lat. Jednak do tego rodzaju testów niezbędne było użycie specjalnego hardware’u w postaci sprzętowych eye trackerów. Co więcej, testy wykonywane były w laboratorium, do którego zapraszano uczestników eksperymentu, a następnie analizą wyników zajmował się kolejny specjalista. W rezultacie takie badanie było naprawdę sporym przedsięwzięciem, drogim i czasochłonnym. - Na czym polega pomysł RealEye? - W ramach spółki RealEye postanowiliśmy podejść do zadania inaczej i realizujemy takie badania przy użyciu zwykłej kamery internetowej, zamontowanej w każdym laptopie. Nie ma zatem potrzeby podłączania specjalnej kamery eye trackera. Oczywiście nie nagrywamy przy tym użytkownika, lecz wyłącznie analizujemy położenie gałek ocznych w obrazie. Takie badania realizujemy on-line, bo nasi testerzy mają przecież zazwyczaj kamery internetowe. Jesteśmy podłączeni do kilku paneli ogólnoświatowych, więc można bardzo szybko zaprosić osoby do udziału w badaniu, dzięki czemu klient dosłownie pod dwóch godzinach otrzymuje wyniki. Najprostsze badanie, na 20-40 testerach, kosztuje około 60 USD, więc w zasadniczy sposób upraszczamy kosztowo i czasowo przebieg testów. - Jak wyglądają takie badania? - Kamera internetowa ogląda twarz testera i, po początkowym procesie kalibracji, gdy nasz system uczy się konkretnego użytkownika, dowiaduje się, w jakim zakresie poruszają się jego gałki oczne. Następnie, w trakcie testu, system jest w stanie wyestymować, z dokładnością do 100 pikseli, punkt skupienia wzroku użytkownika. Mówiąc dokładniej, analizujemy wycinki obrazu dookoła źrenic, czyli sprawdzamy nie tylko położenie źrenic, ale i całe otoczenie oka: to, jak układają się cienie na powiekach, pod okiem, a w związku z tym – jak oko się rusza. Bo ruch źrenic to jedna sprawa, ale całe oko też zmienia swój kształt. - Nad czym teraz pracujecie? - Wciąż staramy się poprawić dokładność predykcji skupienia wzroku. Z użyciem jednej kamery osiągamy dokładność 100-120 pikseli, przy ograniczonych ruchach głowy. Wpadliśmy na pomysł poprawy skuteczności dokładając kolejne źródło sygnału wideo, bo przecież praktycznie każdy ma w kieszeni smartfon z kamerą o wysokiej rozdzielczości. Mamy więc dwa źródła danych: laptop i smartfon na podstawce obok, a system jest wtedy w stanie wybrać lepsze, ewentualnie uśredniać te sygnały, w zależności od warunków. Największe problemy sprawiają cały czas ruchy głową, nad uwzględnieniem których wciąż pracujemy. Analizowane ruchy źrenicy są bowiem na tyle drobne, że te stosunkowo większe ruchy głową, mocno utrudniają właściwe przeprowadzenie badania. - Jaki jest temat realizowanego przez firmę projektu NCBR i na jakim jesteście etapie? - Temat zadania badawczo-rozwojowego to: „Opracowanie oprogramowania umożliwiającego dokonanie połączenia źródeł danych pochodzących z kamery internetowej i kamery telefonu komórkowego, co pozwolić ma na poprawienie precyzji predykcji punktu skupienia wzroku w takim stopniu, aby umożliwić wykorzystanie zestawu kamer jako kontrolera do gier komputerowych.” Kwota dofinansowania wynosi 200 tys. USD (755 tys. PLN). Prace rozpoczęliśmy w połowie 2019 roku, więc mamy już pewne osiągnięcia, ale też wciąż pozostało sporo do zrobienia. Naszym celem jest opracowanie oprogramowania do stereowizji w eye trackingu z użyciem dwóch źródeł danych i zastosowania naszego rozwiązania w gamingu i e-sporcie. - Czy eye tracking jest często wykorzystywany w grach? - Śledzenie wzroku staje się coraz popularniejsze w grach, zapewniając dodatkowe doświadczenia dla graczy, np. celowanie wzrokiem w konkretny obiekt w grze, przy czym takie aplikacje korzystają z eye trackerów hardware’owych. Chcemy sprawdzić, czy precyzja, którą uzyskamy dzięki zastosowaniu stereowizji, pozwoli nam na implementację naszego systemu w istniejącej grze. Jak na razie możemy się pochwalić komercjalizacją fragmentu naszych prac, bo zrobiliśmy grę dla firmy farmaceutycznej Sanofi. To prosta zabawa polegająca na zbijaniu kulek wzrokiem, umożliwiająca przetestowanie eye trackingu za pomocą jednej kamery internetowej. Prawdę mówiąc wciąż mamy przed sobą dużo pracy, aby nasze rozwiązania można było zastosować w gamingu. Co więcej, eye tracking w grach nie rozwija się tak szybko, jak życzyliby sobie producenci sprzętu czy twórcy gier. Myślę, że głównie dlatego, że użytkownicy nie widzą w tym specjalnych korzyści czy wartości dodanej, a mówiąc wprost: moim zdaniem obecnie nie ma specjalnej różnicy, jeśli chodzi o przyjemność z gry, niezależnie od tego, czy doda się opcje eye trackingu, czy nie. Stąd właśnie nasz pomysł, żeby nie iść w stronę mainstreamowych dużych gier, ale skupić się na dedykowanych drobnych grach, tych które robi się typowo dla zabicia nudy. Nie ukrywam też, że spędzamy wiele czasu, myśląc i główkując, jak można użyć tej technologii w nowy sposób, żeby wciągnąć użytkowników do zabawy w oparciu o eye tracking, a nie traktować go, jako możliwą do pominięcia opcję. - W ubiegłym roku RealEye pozyskała inwestora w postaci funduszu SpeedUp Bridge Alfa. Jakie korzyści przyniosła firmie ta współpraca? - Fundusz niezwykle pomaga nam pod względem organizacyjnym, szczególnie przy sprawach związanych z grantem NCBR. Co więcej SpeedUp otworzył dla nas swoją sieć kontaktów, zarówno jeśli chodzi o platformy researcherskie, na których działamy, jak i w kontekście potencjalnych kontaktów w sektorach e-sportu czy gamingu – to ogromny plus dla firmy, która niedawno rozpoczęła działalność. Bo chociaż prace nad projektem ruszyły w 2017 roku, to spółka RealEye działa od ubiegłego roku. - Dziękuję za rozmowę! fot.: © RealEye