OmniTouch

Jedną z wielkich rewolucji w komputerach były ekrany dotykowe. Wprowadzili nowy sposób interakcji z komputerem, za pomocą specjalnego wskaźnika lub palca. W 2011 roku Microsoft poszedł dalej, wprowadzając OmniTouch, projekt, który umożliwił dotknięcie dowolnej powierzchni. Podstawową ideą jest zamontowanie na ramieniu urządzenia z kamerą i projektorem, które wyświetla ekran i odczytuje naciśnięcia klawiszy użytkownika. Możliwości są nieskończone, pozwalając zamienić dłoń, ścianę, prześcieradło lub inną powierzchnię w ekran dotykowy.

Jak działa OmniTouch: rozpoznawanie naciśnięć klawiszy

Najważniejszą częścią projektu OmniTouch jest śledzenie pozycji i głębokości palców, aby wiedzieć, gdzie dotyka użytkownik. W tym celu w prototypie zastosowano czułą na głębię kamerę PrimeSense. W przeciwieństwie do zwykłego aparatu, który mierzy kolory, PrimeSense mierzy odległość każdego punktu obrazu od obiektywu aparatu. Dokładność 1 mm i minimalny zasięg 20 cm to główne zalety w stosunku do kamery Kinect, która została pierwotnie użyta w projekcie.

"

Aby zlokalizować palce, OmniTouch najpierw przechwytuje mapę głębi (A). Następnie obliczana jest mapa nachylenia>"

W (B) widać tę mapę przetłumaczoną na kolory: czerwony oznacza, że ​​w dodatnim kierunku osi X lub Y (w górę lub w prawo) jest mniej głębokości, a niebieski oznacza, że jest mniejsza głębokość w ujemnym kierunku osi X lub Y (w dół lub w lewo).Fioletowy oznacza, że ​​nie ma prawie żadnej zmiany głębokości.

Na tej mapie oprogramowanie wyszukuje pionowe cylindryczne sekcje, czyli powierzchnię, która zbliża się do kamery, potem pozostaje, a na koniec oddala się. Co było palcem, jeśli przeciągniesz go z jednej strony na drugą, wow. Na mapie kolorów znajdź sekcję czerwoną, potem purpurową i niebieską, wszystkie na tej samej osi pionowej.

Możliwi kandydaci są filtrowani pod kątem wzrostu, aby odfiltrować wszystko, co nie może być palcem (na przykład cylinder o wysokości 2 milimetrów nie może zostać rozpoznany jako palec, więc jest odrzucany). Na rysunku (C) widać wszystkie zidentyfikowane sekcje palców.

Po zakończeniu wszystkie sekcje pionowe są łączone, tworząc palec (rysunek D). Palce, które mogą być zbyt krótkie, są odrzucane i zakłada się, że ponieważ użytkownik jest praworęczny, najbardziej wysunięta na lewo część palca to czubek.I voila, wiemy już, gdzie użytkownik wskazuje .

Skąd mamy wiedzieć, czy palec dotyka powierzchni? Nazywają to zalewaniem, ale będzie bardziej znajome, jeśli powiem, że przypomina napełnianie wiadra z farbą.

Technika jest prosta: znajdź środkowy punkt palca i zacznij wypełniać piksele w górę, w lewo iw prawo, z tolerancją 13 milimetrów. Oznacza to, że wypełniają piksel tylko wtedy, gdy różnica między jego głębokością a środkiem palca jest mniejsza niż 13 milimetrów.

W ten sposób, jeśli palcem niczego nie dotykasz, zostaną wypełnione tylko piksele odpowiadające Twojemu palcowi. Jeśli dotkniesz ręki, wypełni się o wiele więcej. Na obrazku widać, co się stanie, jeśli palec znajdzie się w powietrzu (po lewej) lub dotknie dłoni (po prawej). Po przekroczeniu określonego marginesu wypełnionych pikseli oprogramowanie wyśle ​​dotknięcie lub kliknięcie w odpowiednim miejscu.

Jak działa OmniTouch: wyświetlanie obrazu

Chociaż rozpoznawanie palców jest centralną częścią, nie możemy zapominać, że OmniTouch musi również wyświetlać obraz na dowolnej powierzchni. Służy do tego również komora głęboka. Wszystkie powierzchnie na obrazie są wykrywane za pomocą algorytmu połączonych komponentów, który bardzo skutecznie wykrywa połączone ze sobą punkty na obrazie.

Po odrzuceniu powierzchni mniejszych niż dłoń przystępujemy do ustalenia środka lub punktu odniesienia, aby wyświetlić obraz. Ten punkt pomaga wykryć orientację powierzchni, a tym samym umożliwia stworzenie obrazu, który nie wygląda na zniekształcony.

Następna trudność polega na wykrywaniu rozmiaru powierzchni.Ponieważ krawędzie powierzchni nie mogą być wystarczająco dobrze rozpoznane, OmniTouch wykorzystuje średnią i odchylenie standardowe punktów składowych, aby podzielić je na pięć punktów: dłoń, ramię, notatnik, ściana i stół. Każdy z nich ma określony rozmiar i środek obrazu.

Oprogramowanie generuje obraz do wyświetlenia ze wszystkimi danymi, zniekształcając go tak, aby wyglądał prawidłowo na powierzchni. Następnie przekazuje obraz do projektora, który wyświetla obraz na dowolnej powierzchni.

Precyzyjna technologia o wielu możliwościach

Testy używane do pomiaru dokładności OmniTouch.

W testach technologia OmniTouch okazała się bardzo precyzyjna. Dokładność 96,5% jeśli chodzi o rozpoznawanie kliku, to bardzo dobry wynik, a tym bardziej biorąc pod uwagę, że jest to prototyp.Jeśli chodzi o rozmiar interfejsu, przy przyciskach o średnicy 2 centymetrów rozpoznawanych byłoby 95% naciśnięć klawiszy.

Ten maksymalny rozmiar jest wymagany dla interfejsu wyświetlanego w dłoni. Na innych powierzchniach znajdujących się dalej, takich jak stół lub ściana, można go zmniejszyć do 15 milimetrów, czyli mniej więcej tego samego rozmiaru, jaki jest zalecany dla przycisku na konwencjonalnym ekranie dotykowym.

"

Możliwości są nieograniczone. Wraz z prototypem powstała mównica do malowania: na ścianie rysowałeś, aw lewej ręce wybierałeś kolory. Stosowany również jako rozświetlacz>"

Ale najciekawsze jest to, co wspominają na końcu dokumentu: możliwości, jakie otwiera OmniTouch, gdy przestajemy rozważać dwuwymiarowe powierzchnie, wykorzystując kształty ciała do zmiany sposobu wchodzimy w interakcję z komputerem.

"

OmniTouch to naprawdę ekscytujący projekt, zarówno pod względem techniki, jak i możliwości. Porozmawiamy o nim ponownie wkrótce w specjalnym Przyszłość według Microsoft>"

W Xataka Windows | Przyszłość według Microsoft Więcej informacji | OmniTouch