Ewolucja technologii Kinect i prawdziwe znaczenie Microsoft Research
Spisu treści:
To, że Kinect jest ważne dla firmy Microsoft, to niemal truizm. Urządzenie przechwytujące Redmond wykracza daleko poza prostą metodę kontrolowania ich konsoli do gier wideo i stało się ważnym elementem ich strategii i punktem odniesienia dla wielu ich produktów. Ale to także namacalna próbka tego, co może powstać z połączenia działu firmy z laboratorium pomysłów Microsoft Research.
Pierwszy Kinect był już tego przykładem. Trzy lata później ten sam związek pozwolił urządzeniu rozwinąć się do nieoczekiwanych granic, towarzyszących wydaniu Xbox One.We wszystkich swoich sekcjach Kinect 2.0 stanowi znaczną poprawę w stosunku do swojego poprzednika iw tym tygodniu Microsoft skorzystał z okazji, aby wyjaśnić, w jaki sposób był częścią procesu opracowywania gadżetów który jest na dobrej drodze, by stać się podstawowym elementem interakcji między ludźmi a maszynami.
Kinect 1.0
Kiedy firma Microsoft zaprezentowała projekt Natal na targach E3 w czerwcu 2009 r., wielu widziało w nim prostą odpowiedź Redmond na niewątpliwy sukces, jaki Nintendo odniosło dzięki Wii i jej systemowi sterowania. Ale pod tym projektem o nazwie brazylijskiego miasta krył się Kinect, urządzenie, które okazało się niekwestionowanym bestsellerem i z czasem stało się znacznie więcej niż oczekiwano.
Chociaż technologia stojąca za pierwszym Kinectem narodziła się z rozwoju oprogramowania studia Rare i technologii przechwytywania obrazu izraelskiej firmy PrimeSense, będzie połączeniem zespół Xbox z badaniami Microsoft Research, który umożliwia dotarcie do rynku
Urządzenie w kształcie pręta wykorzystywało projektor na podczerwień i kamerę, które skanowały scenę i wysyłały informacje do mikroczipa specjalnie przygotowanego do rejestrowania ruchu obiektów i ludzi w trzech wymiarach. Dołączył do nich rząd mikrofonów zdolnych do rozpoznawania głosu użytkownika. Wszystkie te elementy razem umożliwiły przechwytywanie ruchu 3D wraz z rozpoznawaniem twarzy, gestów i głosu.
Dla takiego zadania specyfikacje Kinect nie były niczym szczególnym. Kamera miała rozdzielczość VGA i domyślnie działała w rozdzielczości 640x480, chociaż była w stanie pracować w rozdzielczości 1280x1024 pikseli kosztem niższej częstotliwości odświeżania. Dołączony mikroczip wykonał tylko część pracy związanej z przetwarzaniem informacji, pozostawiając znaczną część zadania samej konsoli.
Jeden z kluczy do całego systemu znajdował się w oprogramowaniu stworzonym przez firmę Microsoft do interpretacji wszystkich informacji zebranych przez czujniki Kinect.To tutaj Microsoft Research odegrał i nadal odgrywa ważną rolę, badając najróżniejsze zastosowania Kinect i współpracując nad pakietem SDK, który Microsoft udostępnia online od 2011 roku tak, aby każdy programista zintegrował je ze swoimi produktami lub usługami.
Kinect 2.0
Duża różnica między nowym sensorem Kinect a jego poprzednikiem polega na nowym aparacie głównym. Druga generacja urządzenia do przechwytywania ruchu zawiera kamerę czasu przelotu (TOF) o wysokiej rozdzielczości, która pozwala nadchodzącej konsoli Xbox One Kinect uchwycić więcej szczegółów za pomocą wysoka precyzja i wyższa rozdzielczość. Nowy tryb głębi zapewniany przez tę kamerę TOF umożliwia odtworzenie sceny z trzykrotnie większą wiernością niż pierwszy Kinect.
To nie jedyna zaleta korzystania z tego typu aparatu.Dzięki niemu uzyskuje się również o 60% większe pole widzenia, co pozwala na rejestrację większej przestrzeni oraz umożliwia rejestrację większej liczby osób w tym samym czasie iw mniejszej odległości od urządzenia. Dzięki nowej konsoli na scenie może pojawić się do 6 osób, rozpoznając i rozróżniając wszystkie ich ruchy. Jest to znaczny postęp w stosunku do swojego poprzednika, który był w stanie zarejestrować tylko ruch 2.
Drugą dużą zmianą w nowej generacji Kinecta jest wprowadzenie nowego czujnika podczerwieni, który rozpoznaje przedmioty i ludzi w bardzo słabych warunkach oświetleniowych. Czujnik jest teraz tak potężny, że może identyfikować przedmioty w całkowicie ciemnym pomieszczeniu. Precyzja jest taka, że potrafi rozpoznawać ludzi i rejestrować ciała nawet bez światła widzialnego dla ludzkiego oka. W słabym świetle rozpoznaje ułożenie dłoni z odległości do czterech metrów, precyzyjnie rozróżniając każdy z palców.
Kinect 2.0 rozróżnia cały szkielet użytkownika, orientację jego kończyn, mięśnie ciała, a nawet bicie serca.
Połączenie nowych elementów pozwala na rejestrację nie tylko sylwetki użytkownika, ale także rozróżnienie jego kompletnego szkieletu, orientacji kończyn, mięśni ciała z rozkładem siły i ciężaru wywierany na nich, a nawet bicie serca. Znacznie ulepszono również rozpoznawanie twarzy, wykrywając nawet najdrobniejszy szczegół i gest, co pozwala na dokładniejszą identyfikację. Aby zrozumieć, co to wszystko oznacza, obejrzyj poniższy film.
Cała ta nowa technologia ma również ulepszenie w procesorze Kinect, które pozwala mu radzić sobie z ogromną ilością informacji uzyskiwanych przez wszystkie nowe czujniki. Urządzenie zbiera do 2 gigabitów danych na sekundę w celu odczytania środowiskaWszystkie te informacje muszą być szybko przetwarzane i interpretowane, a do tego konieczna była oczywista poprawa specyfikacji maszyny.
Ale zmiana komponentów nie wystarczyła. Potężny skaner, jakim stał się Kinect, wymaga oprogramowania zdolnego do interpretacji wszystkiego, co widzi, i w tym celu konieczne było przeprowadzenie ważnej ewolucji kodu, który go obsługuje. W tym miejscu doświadczenie i wiedza Microsoft Research stały się ważniejsze niż kiedykolwiek wcześniej, pomagając zespołowi Xbox w przypadku wystąpienia problemów i dostarczając odpowiednie rozwiązania w odpowiednim czasie. szybko i sprawnie. W ten sposób Kinect 2.0 stał się owocem współpracy, której historia pokazuje potencjał tkwiący w laboratorium pomysłów firmy Microsoft.
Proces ewolucji
Ewolucja Kinecta to opowieść o tym, jak zespół inżynierów próbował wprowadzić kamerę TOF na konsolę Xbox One.Tego typu kamery emitują sygnały świetlne, które odbijają się od obiektów i są zbierane z powrotem, mierząc czas potrzebny do pokonania odległości. Aby działały prawidłowo, rozróżniając odbicia od obiektów w pomieszczeniu i od ich otoczenia, konieczna jest dokładność na poziomie 1/10 miliarda sekund. Taki poziom dokładności to jedyny sposób na dostarczenie wystarczającej ilości informacji, aby umożliwić odpowiednie obliczenie kształtów i konturów obiektów.
Brzmi skomplikowanie, a problem polega na tym, że osiągnięcie tych poziomów za pomocą produktu konsumenckiego jest tak trudne, jak się wydaje. Podczas procesu tworzenia nowego Kinecta trzeba było zająć się wszelkiego rodzaju problemami, które trzeba było rozwiązać w ograniczonym czasie. Kinect 2.0 powinien być gotowy wraz z premierą konsoli Xbox One, zaplanowaną na koniec 2013 r.
W takich okolicznościach Microsoft ma asa w rękawie: Microsoft Research, Twój think tankZespół odpowiedzialny za Kinect wykorzystał ogromną wiedzę i doświadczenie techniczne członków Microsoft Research, aby rozwiązać różne problemy, które pojawiły się wraz z nową technologią zintegrowaną z urządzeniem. To tutaj lata inwestycji w badania i rozwój zaczęły przynosić owoce dzięki współpracy pomiędzy różnymi działami firmy.
Wyzwanie nie było łatwe. Odróżnianie obiektów na pierwszym planie od tła i minimalizowanie rozmycia aparatu to trudne zadanie. Po pierwsze, małe obiekty musiały być dokładnie mierzone we wszystkich scenariuszach i przy różnych warunkach oświetleniowych. Trzeba było pracować, aż udało się rozróżnić palce dłoni, zapobiegając ich pomyleniu z otoczeniem. W wyniku tych prac nowy sensor Kinect jest w stanie wykrywać obiekty o wielkości zaledwie 2,5 centymetra, w porównaniu do 7,5 centymetra swojego poprzednika. Problem z rozmyciem wymagał więcej pracy i optymalizacji oprogramowania, ale z czasem inżynierowie firmy Microsoft byli w stanie zredukować rozmycie w ruchu z 65 milisekund na oryginalnym Kinect do 14 milisekund na jego następcy.
Wszystkie te zadania wymagają przetworzenia ogromnej ilości informacji. Dane przechwytywane przez kamery Kinect są zbierane w przeliczeniu na piksel, co oznacza, że każdy z 220 000 pikseli obsługiwanych przez sensor Kinect zbiera dane niezależnieDo tego musimy dodać znacznie więcej informacji zebranych przez resztę czujników. Skomplikowaną kwestią jest zidentyfikowanie i zinterpretowanie wszystkich tych informacji, oddzielenie elementów i głębokości ich występowania oraz wyeliminowanie szumu z obrazu.
Dzięki Kinect Xbox One musi przetwarzać 6,5 miliona pikseli na sekundę
"Xbox One musi przetwarzać 6,5 miliona pikseli na sekundę i tylko niewielka część mocy obliczeniowej konsoli może być przeznaczona na zadanie interpretacji informacji, ponieważ większość mocy musi być zarezerwowana dla gier, szkieletów śledzenie lub rozpoznawanie twarzy lub dźwięku. Wymagano bardzo niewielkiej liczby obliczeń na piksel, co wymagało czyszczenia>Bez nieocenionej pomocy firmy Microsoft Research zespół Kinect nigdy nie osiągnąłby swojego celu na czas"
Efektywne znaczenie Microsoft Research
Wspólna praca zespołu Kinect z pracownikami Microsoft Research nie była czysto konsultacyjna. Analitycy firmy Microsoft wykonali dużo pracy i zbudowali całą infrastrukturę oraz oprogramowanie, aby rozwiązać problemy związane z ewolucją urządzenia. Znajomość obu zespołów w swoich dziedzinach pozwoliła awansować szybciej niż osobno.
Kluczem była szybkość integracji i umiejętność dostarczania rozwiązań w krótkim czasie. Ale cała ta praca nie ogranicza się do wystawienia produktu na sprzedaż. Dodatkową korzyścią jest to, że ulepszenia dokonane przez inżynierów z Redmond są dostępne dla programistów, umożliwiając pracę z większą liczbą trybów widoku i znacznie czystsze dane.
Kinect ujawnia cały potencjał, jaki kryje w sobie firma Microsoft, który ujawnia się, gdy jej działy pracują w zintegrowany sposób.W rozwój Kinect 2.0 zaangażowanych było wielu badaczy Microsoft Research, którzy pracowali nad projektem, który będzie miał natychmiastowy wpływ na rynek. To dobra wiadomość dla tych z nas, którzy domagali się większego udziału Microsoft Research w produktach z Redmond.
Kinect to także namacalny dowód na to, że Microsoft Research to znacznie więcej niż laboratorium pomysłów, to podstawowy kapitał dla przyszłości Microsoft .
Przez | Oficjalny blog firmy Microsoft | TechCrunch
