Sterowanie komputerem bez użycia rąk - usta w roli myszy

PC World: Jak działa "Usto-Mysz"?

Piotr Dalka: "Usto-Mysz" jest interfejsem komputerowym umożliwiającym użytkownikowi sterowanie pracą komputera za pomocą ruchów i gestów wykonywanych ustami. Ma on postać aplikacji komputerowej, która w czasie rzeczywistym analizuje strumień obrazu przechwycony ze zwykłej kamerki internetowej podłączonej do komputera. Aplikacja wykrywa w obrazie położenie głowy użytkownika oraz analizuje kształt ust. Na tej podstawie może wykryć szereg gestów, na przykład otwarcie ust lub złożenie ich w dzióbek. Informacje o ruchach i gestach mogą być dowolnie wykorzystane w rozmaitych aplikacjach. Jednym z takich zastosowań jest aplikacja syntezatora mowy, która pozwala tworzyć i generować wypowiedzi słowne poprzez wybieranie odpowiednich piktogramów.

Skąd pomysł na stworzenie tego typu rozwiązania? Co zainspirowało pana do realizacji tego projektu?

Jednym z zadań uczelni, szczególnie technicznej, jest tworzenie innowacyjnych rozwiązań, które znajdą praktyczne zastosowanie. "Usto-Mysz" jest częścią projektu realizowanego w Katedrze Systemów Multimedialnych Politechniki Gdańskiej, przy współpracy z firmą Young Digital Planet. Polega on na stworzeniu nowoczesnych interfejsów komputerowych, które będą pomocne szczególnie osobom niepełnosprawnym. Mój udział w tworzeniu "Usto-Myszy" wynika z mojego zainteresowania zagadnieniami przetwarzania obrazu oraz wcześniejszym doświadczeniem w zakresie analizy obrazu twarzy.

Jak długo pracował pan nad tym interfejsem? Co było najtrudniejsze w jego realizacji?

Prace nad "Usto-Myszą" zaczęły się ponad 1,5 roku temu. Jednak ze względu na zaangażowanie w inne projekty, rzeczywisty czas pracy nad interfejsem wyniósł niecały rok. Najtrudniejsze w realizacji interfejsu było takie jego optymalizowanie, aby działał on równie dobrze z "twarzami" różnych osób, przy wykorzystaniu różnych kamer oraz w różnych warunkach oświetleniowych.

Czy jest szansa na masowe wykorzystanie tego rozwiązania? Czy projekt spotkał się z zainteresowaniem ze strony firm?

Są bardzo duże szanse na praktyczne wdrożenie "Usto-Myszy". Zainteresowanie wyraziła już jedna z firm produkujących kioski multimedialne. Ponadto "Usto-Mysz" zdobyła już kilka wyróżnień; oprócz przyznanej mi nagrody Young Researcher Award, "Usto-Mysz" została także wyróżniona medalem na odbywających się w Gdańsku targach Technicon-Innowacje 2008.

Czy pracuje pan już nad nowymi projektami?

Mój "główny" projekt związany jest z moim doktoratem i dotyczy automatycznego wykrywania i klasyfikowania typu pojazdów na podstawie analizy obrazu z kamer monitorujących ruch drogowy. Uzyskane tą drogą informacje dotyczące statystyki ruchu drogowego umożliwią stworzenie systemu internetowego, który będzie pozwalał w czasie rzeczywistym wizualizować aktualne natężenie ruchu drogowego na mapie numerycznej miasta. Stąd już tylko krok do wyznaczania optymalnej trasy przejazdu, uwzględniającej aktualną sytuację drogową. Dotychczasowe wyniki pracy znalazły już zastosowanie w realizowanym w naszej Katedrze projekcie, dotyczącym monitorowania hałasu i automatycznego tworzenia map hałasowych dla aglomeracji miejskiej.

Na oficjalnej stronie konkursu można znaleźć dodatkowe informacje na jego temat, w tym skład kapituły i prezentację sylwetek finalistów oraz laureatów nagrody Elsevier-Perspektywy Young Researcher Award.