KinectKinect

Kinect
Kinect logo.svg
Xbox-One-Kinect.jpg
Kinect dla konsoli Xbox One
Deweloper Microsoft
Rodzaj Kontroler ruchu
Pokolenie Epoki siódmej i ósmej generacji
Data wydania Xbox 360 Microsoft Windows Xbox One
Wycofane Microsoft Windows
Xbox 360
Xbox One
Sprzedane jednostki 35 milionów (stan na 25 października 2017 r.)
Aparat fotograficzny 640×480  pikseli przy 30 Hz (kamera RGB)
640×480 pikseli przy 30 Hz (kamera IR do wykrywania głębi)
Łączność USB 2.0 ( typ A dla oryginalnego modelu; zastrzeżone dla Xbox 360 S)
Platforma Xbox 360
Xbox One
Microsoft Windows ( od Windows 7 )
Poprzednik Xbox Live Vision
Następca Lazurowy Kinect

Kinect to linia urządzeń wejściowych wykrywających ruch wyprodukowanych przez firmę Microsoft i wydanych po raz pierwszy w 2010 roku. Urządzenia te zazwyczaj zawierają kamery RGB oraz projektory i detektory podczerwieni , które mapują głębię za pomocą obliczeń światła strukturalnego lub czasu lotu , które z kolei mogą być wykorzystywane do wykonywać między innymi rozpoznawanie gestów i wykrywanie szkieletu ciała w czasie rzeczywistym. Zawierają również mikrofony, których można używać do rozpoznawania mowy i sterowania głosowego .

Kinect został pierwotnie opracowany jako urządzenie peryferyjne kontrolera ruchu dla konsol do gier wideo Xbox , różniących się od konkurentów (takich jak Wii Remote firmy Nintendo i PlayStation Move firmy Sony ) tym, że nie wymaga fizycznych kontrolerów. Kinect pierwszej generacji został oparty na technologii izraelskiej firmy PrimeSense i zaprezentowany na targach E3 2009 jako urządzenie peryferyjne dla konsoli Xbox 360 o nazwie kodowej „ Project Natal ”. Po raz pierwszy został wydany 4 listopada 2010 roku i sprzedał osiem milionów sztuk w ciągu pierwszych 60 dni od dostępności. Większość gier opracowanych dla Kinect to tytuły casualowe , zorientowane na rodzinę, co pomogło przyciągnąć nowych odbiorców na konsolę Xbox 360, ale nie zaowocowało szerokim przyjęciem przez istniejącą, ogólną bazę użytkowników konsoli.

W ramach ujawnienia w 2013 roku następcy konsoli Xbox 360, Xbox One , firma Microsoft zaprezentowała drugą generację wersji Kinect z ulepszonymi funkcjami śledzenia. Microsoft ogłosił również, że Kinect będzie wymaganym komponentem konsoli i że nie będzie działał, dopóki urządzenie peryferyjne nie zostanie podłączone. Wymaganie okazało się kontrowersyjne wśród użytkowników i krytyków ze względu na obawy dotyczące prywatności, co skłoniło Microsoft do wycofania się z decyzji. Jednak Microsoft nadal będzie łączył nowy Kinect z konsolami Xbox One po ich premierze w listopadzie 2013 r. Rynek gier opartych na Kinect nadal nie pojawił się po premierze Xbox One; Microsoft później oferował pakiety sprzętowe Xbox One bez Kinect, a późniejsze wersje konsoli usunęły dedykowane porty używane do jej podłączenia (wymagając zamiast tego zasilanego adaptera USB). Microsoft zakończył produkcję Kinect na Xbox One w październiku 2017 roku.

Kinect był również używany jako część aplikacji niezwiązanych z grami w środowiskach akademickich i komercyjnych, ponieważ był tańszy i bardziej niezawodny w porównaniu z innymi technologiami wykrywania głębi w tamtym czasie. Chociaż Microsoft początkowo sprzeciwiał się takim aplikacjom, później wydał zestawy programistyczne (SDK) do tworzenia aplikacji Microsoft Windows korzystających z Kinect. W 2020 roku Microsoft wypuścił Azure Kinect jako kontynuację technologii zintegrowanej z platformą przetwarzania w chmurze Microsoft Azure . Część technologii Kinect została również wykorzystana w projekcie Microsoft Hololens .

Historia

Oś czasu wydania
2006 Technologia PrimeSense pokazana na GDC
2007
2008
2009 Ogłoszono „Projekt Natal”
2010 Premiera Kinect dla konsoli Xbox 360
2011 Wydano niekomercyjny pakiet SDK
Wydano komercyjny pakiet SDK
2012 Wydano Kinect dla Windows
2013 Kinect dla Xbox One wydany z konsolą
2014 Premiera Kinect 2 dla Windows
2015
2016
2017 Wycofanie Kinect dla sprzętu Xbox
2018
2019 Wydano Azure Kinect

Rozwój

Początki Kinecta rozpoczęły się około 2005 roku, w momencie, gdy dostawcy technologii zaczęli opracowywać kamery z wykrywaniem głębi . Microsoft wcześniej był zainteresowany kamerą 3D dla linii Xbox, ale ponieważ technologia nie została dopracowana, umieścił ją w „Boneyard”, zbiorze możliwych technologii, nad którymi nie mogli od razu pracować.

W 2005 roku PrimeSense został założony przez doświadczonych technologicznie matematyków i inżynierów z Izraela, aby opracować „następną wielką rzecz” dla gier wideo, zawierającą kamery zdolne do mapowania ludzkiego ciała przed nimi i wykrywania ruchów rąk. Swój system zaprezentowali na konferencji Game Developers Conference 2006 , na której Alex Kipman z Microsoftu, dyrektor generalny ds. inkubacji sprzętu, dostrzegł potencjał technologii PrimeSense dla systemu Xbox. Microsoft rozpoczął rozmowy z PrimeSense na temat tego, co należy zrobić, aby ich produkt był bardziej przyjazny dla konsumenta: nie tylko ulepszenia w możliwościach kamer wykrywających głębię, ale także zmniejszenie rozmiaru i kosztów oraz sposób na wytwarzanie jednostek na dużą skalę było wymagane. PrimeSense spędził kilka następnych lat pracując nad tymi ulepszeniami.

Nintendo wypuściło Wii w listopadzie 2006 roku. Główną cechą Wii był Wii Remote , urządzenie przenośne wykrywane przez Wii za pomocą paska czujnika ruchu zamontowanego na ekranie telewizora, aby umożliwić gry sterowane ruchem . Microsoft poczuł presję ze strony Wii i zaczął bardziej szczegółowo analizować głębię za pomocą sprzętu PrimeSense, ale nie mógł osiągnąć pożądanego poziomu śledzenia ruchu. Chociaż potrafili określić gesty rąk i wyczuwać ogólny kształt ciała, nie mogli śledzić szkieletu. Oddzielna ścieżka w Microsoft miała na celu stworzenie odpowiednika Wii Remote, biorąc pod uwagę, że ten typ jednostki może zostać ustandaryzowany, podobnie jak kontrolery z dwoma drążkami stały się standardową funkcją. Jednak ostatecznie celem Microsoftu było usunięcie dowolnego urządzenia między graczem a Xboxem.

Kudo Tsunoda i Darren Bennett dołączyli do Microsoftu w 2008 roku i rozpoczęli współpracę z Kipmanem nad nowym podejściem do wykrywania głębi wspomaganego przez uczenie maszynowe w celu poprawy śledzenia szkieletu. Wewnętrznie to zademonstrowali i ustalili, gdzie według nich technologia może być za kilka lat, co doprowadziło do dużego zainteresowania finansowaniem dalszego rozwoju technologii; zdarzyło się to również w czasie, gdy kierownictwo Microsoftu chciało zrezygnować z podejścia do śledzenia ruchu podobnego do Wii i opowiedzieć się za rozwiązaniem z wykrywaniem głębi, aby zaprezentować produkt, który wykracza poza możliwości Wii. Projekt został rozświetlony pod koniec 2008 roku, a prace rozpoczęły się w 2009 roku.

Projekt otrzymał kryptonim „ Projekt Natal ” na cześć brazylijskiego miasta Natal , miejsca urodzenia Kipmana. Ponadto Kipman rozpoznał łacińskie pochodzenie słowa „natal” jako „urodzić się”, co odzwierciedla nowe typy odbiorców, które mieli nadzieję narysować za pomocą technologii. Wiele początkowych prac było związanych z badaniami etnograficznymi , aby zobaczyć, jak rozplanowano i oświetlono środowiska domowe graczy gier wideo oraz w jaki sposób osoby korzystające z Wiis wykorzystywały system do planowania, w jaki sposób będą używane jednostki Kinect. Zespół Microsoftu odkrył na podstawie tych badań, że kąt góra-dół kamery wykrywającej głębię albo wymagałby ręcznej regulacji, albo wymagałby drogiego silnika do automatycznego poruszania się. Wyższe kierownictwo w Microsoft zdecydowało się na włączenie silnika pomimo zwiększonych kosztów, aby uniknąć zerwania z grą. Prace projektowe Kinect obejmowały również pakowanie systemu do masowej produkcji i optymalizację jego wydajności. Rozwój sprzętu trwał około 22 miesięcy.

Podczas opracowywania sprzętu firma Microsoft współpracowała z twórcami oprogramowania w celu korzystania z sensora Kinect. Microsoft chciał tworzyć gry, w które mogłyby grać rodziny, ponieważ Kinect wyczuwał przed sobą wiele ciał. Jednym z pierwszych wewnętrznych tytułów opracowanych na to urządzenie była gra typu pack-in Kinect Adventures opracowana przez Good Science Studio, które było częścią Microsoft Studios . Jednym z trybów gry Kinect Adventures był „Reflex Ridge”, oparty na japońskiej grze Brain Wall , w której gracze próbują wykrzywić swoje ciała w krótkim czasie, aby dopasować wycięcia poruszającej się na nich ściany. Ten rodzaj gry był kluczowym przykładem rodzaju interaktywności, jakiego chcieli z Kinect, a jej opracowanie pomogło wprowadzić ulepszenia sprzętowe.

Zbliżając się do planowanego wydania, pojawił się problem z powszechnymi testami Kinect w różnych typach pomieszczeń i różnych ciałach, uwzględniając między innymi wiek, płeć i rasę, przy jednoczesnym zachowaniu poufności szczegółów jednostki. Microsoft zaangażował się w ogólnofirmowy program, w którym pracownicy mogli zabrać do domu jednostki Kinect w celu ich przetestowania. Firma Microsoft zaangażowała również inne działy niezwiązane z grami, w tym zespoły Microsoft Research , Microsoft Windows i Bing , aby pomóc w ukończeniu systemu. Firma Microsoft utworzyła własny zakład produkcyjny na dużą skalę, aby masowo produkować jednostki Kinect i je testować.

Ujawnia się publicznie

Steven Spielberg (z prawej) dołącza do Dona Mattricka , aby zaprezentować „Projekt Natal” na E3 2009

Kinect został po raz pierwszy ogłoszony publicznie jako „Projekt Natal” 1 czerwca 2009 r. podczas konferencji prasowej Microsoft na E3 2009 ; reżyser filmowy Steven Spielberg dołączył do Dona Mattricka z Microsoftu, aby przedstawić technologię i jej potencjał. Podczas konferencji zaprezentowano trzy dema — Ricochet and Paint Party firmy Microsoft oraz Milo & Kate firmy Lionhead Studios stworzone przez Petera Molyneux — podczas gdy na wystawie E3 pokazano wersję gry Criterion GamesBurnout Paradise z obsługą Project Natal . Do E3 2009 technologia mapowania szkieletu była zdolna do jednoczesnego śledzenia czterech osób, z ekstrakcją cech 48 punktów szkieletowych na ludzkim ciele z częstotliwością 30 Hz. Microsoft nie zobowiązał się do daty premiery Projektu Natal na E3 2009, ale zapewnił, że będzie po 2009 r., a prawdopodobnie w 2010 r., pozostanie konkurencyjny z Wii i PlayStation Move ( własny system wykrywania ruchu Sony Interactive Entertainment przy użyciu ręki posiadanych urządzeń).

Baner promocyjny ze stycznia 2010 r. wskazujący oczekiwane wydanie Kinect (wtedy „Projekt Natal”) przed świętami 2010 r.

W miesiącach po targach E3 2009 pojawiły się pogłoski, że pojawiła się nowa konsola Xbox 360 powiązana z Project Natal, albo w wersji detalicznej, która zawierała to urządzenie peryferyjne, albo jako wersja sprzętowa lub aktualizacja obsługująca to urządzenie peryferyjne. Microsoft odrzucił doniesienia publicznie i wielokrotnie podkreślał, że Project Natal będzie w pełni kompatybilny ze wszystkimi konsolami Xbox 360. Microsoft wskazał, że firma uznała Projekt Natal za znaczącą inicjatywę, tak fundamentalną dla marki Xbox jak Xbox Live , z planowaną premierą podobną do nowej platformy konsoli Xbox. Wiceprezes Microsoftu, Shane Kim, powiedział, że firma nie spodziewała się, że Project Natal przedłuży oczekiwany okres eksploatacji konsoli Xbox 360, która miała trwać dziesięć lat do 2015 roku, ani nie opóźni premiery następcy konsoli Xbox 360.

Po pokazie E3 2009 i do 2010 roku członkowie zespołu Project Natal eksperymentalnie dostosowali wiele gier do schematów sterowania opartych na technologii Kinect, aby pomóc w ocenie użyteczności. Wśród tych gier były Beautiful Katamari i Space Invaders Extreme , które zostały zademonstrowane na Tokyo Game Show we wrześniu 2009 roku. Według Tsunody, dodanie kontroli opartej na Project Natal do istniejących gier wymagało znaczących zmian w kodzie i sprawiło, że istniejące gry nie mogłyby być aktualizowane poprzez aktualizacje oprogramowania w celu obsługi urządzenia. Microsoft rozszerzył również swoją atrakcyjność na deweloperów zewnętrznych, aby zachęcić ich do tworzenia gier Project Natal. Firmy takie jak Harmonix i Double Fine szybko zainteresowały się Project Natal i dostrzegły w nim potencjał, i zobowiązały się do opracowania gier dla tej jednostki, takich jak startowy tytuł Dance Central od Harmonix.

Chociaż pierwotnie planowano, że jego jednostka czujnika zawiera mikroprocesor, który wykonywałby takie operacje, jak mapowanie szkieletu systemu, Microsoft poinformował w styczniu 2010 r., że czujnik nie będzie już wyposażony w dedykowany procesor. Zamiast tego przetwarzanie byłoby obsługiwane przez jeden z rdzeni procesora Xenon CPU Xbox 360 . Mniej więcej w tym czasie Kipmen oszacował, że Kinect będzie pobierał tylko około 10 do 15% mocy obliczeniowej konsoli Xbox 360. Chociaż był to niewielki ułamek możliwości konsoli Xbox 360, zaobserwowano, że branża uważa, że ​​to dodatkowo wskazuje na trudności w dostosowaniu istniejących gier do korzystania z Kinect, ponieważ śledzenie ruchu zwiększyłoby duże obciążenie obliczeniowe gry i przewyższyłoby możliwości konsoli Xbox 360. Zaobserwowani wierzyli, że zamiast tego przemysł opracuje gry specyficzne dla funkcji Kinect.

Marketing i premiera sensora Kinect dla konsoli Xbox 360

Promocja na E3 2010

Podczas konferencji prasowej Microsoft E3 2010 ogłoszono, że Project Natal zostanie oficjalnie oznaczony jako Kinect i zostanie wydany w Ameryce Północnej 4 listopada 2010 roku. Dyrektor Xbox Live, Stephen Toulouse , stwierdził, że nazwa jest kontynuacją słów „kinetyczny”. oraz „połączenie”, kluczowe aspekty inicjatywy Kinect. Podczas targów E3 studia Microsoft i inne firmy zaprezentowały gry kompatybilne z Kinect. Nowa , smukła wersja konsoli Xbox 360 została również zaprezentowana, aby zbiegła się z premierą Kinect, która dodała dedykowany port do podłączenia urządzenia peryferyjnego; Kinect będzie sprzedawany w dniu premiery jako samodzielne akcesorium dla dotychczasowych posiadaczy konsoli Xbox 360 oraz jako część pakietów z nową, smukłą konsolą Xbox 360. Wszystkie urządzenia zawierały Kinect Adventures jako grę pakowaną .

Microsoft kontynuował udoskonalanie technologii Kinect w miesiącach poprzedzających premierę Kinect w listopadzie 2010 roku. Kipman poinformował, że przed premierą był w stanie zmniejszyć wykorzystanie procesora konsoli Xbox 360 przez Kinect z 10 do 15%, jak zgłoszono w styczniu 2010 roku, do „jednocyfrowy procent”.

Dyrektor ds. produktu Xbox, Aaron Greenberg, stwierdził, że kampania marketingowa Microsoftu dla Kinect będzie miała podobną skalę jak premiera konsoli; podobno firma przeznaczyła 500 milionów dolarów na reklamę urządzeń peryferyjnych, takich jak reklamy telewizyjne i prasowe, kampanie z Burger King i Pepsi oraz inaugurację na nowojorskim Times Square 3 listopada z występem Ne- Yo . Kinect został wprowadzony w Ameryce Północnej 4 listopada 2010 r.; w Europie 10 listopada 2010 r.; w Australii, Nowej Zelandii i Singapurze 18 listopada 2010 r.; a w Japonii 20 listopada 2010 r.

Kinect dla konsoli Xbox One i odrzucenie

Szacuje się, że premiera Kinect na konsolę Xbox 360 sprzedała się w ośmiu milionach egzemplarzy w ciągu pierwszych sześćdziesięciu dni od premiery, co dało sprzętowi światowy rekord Guinnessa za „najszybciej sprzedające się urządzenie elektroniki użytkowej”. Do marca 2011 r. sprzedano ponad 10 milionów. Choć pozornie odnosiły sukcesy, tytuły premierowe były przede wszystkim grami familijnymi (które mogły być zaprojektowane z myślą o funkcjonalności i ograniczeniach Kinect), które mogły przyciągnąć nowych odbiorców, ale nie miały takiej mocy główne franczyzy, takie jak Battlefield i Call of Duty — które zostały zaprojektowane głównie wokół kontrolera Xbox 360 . Tylko około 20% z 55 milionów posiadaczy konsoli Xbox 360 kupiło Kinect. Zespół Kinect dostrzegł pewne wady bardziej tradycyjnych gier i Kinect, a także nieustanny rozwój urządzenia, które ma zostać wydane jako urządzenie drugiej generacji, takie jak zmniejszenie opóźnienia wykrywania ruchu i poprawa rozpoznawania mowy. Microsoft przekazał wiadomości o tych zmianach programistom zewnętrznym, aby pomóc im przewidzieć, w jaki sposób ulepszenia można zintegrować z grami.

Równolegle z ulepszeniami Kinect, zespół sprzętowy Xbox Microsoftu zaczął planować Xbox One około połowy 2011 roku. Częścią wczesnych specyfikacji Xbox One było to, że nowy sprzęt Kinect będzie automatycznie dołączany do konsoli, aby programiści wiedzieli, że sprzęt Kinect będzie dostępny dla każdej konsoli Xbox One i mają nadzieję zachęcić programistów do skorzystania z tego. Konsola Xbox One została po raz pierwszy oficjalnie ogłoszona 23 maja 2013 r. i pokazana bardziej szczegółowo na czerwcowych targach E3 2013 . Microsoft stwierdził podczas tych wydarzeń, że Xbox One będzie zawierał zaktualizowany sprzęt Kinect i będzie musiał być podłączony przez cały czas, aby Xbox One działał. Wywołało to obawy w mediach związanych z grami wideo: obrońcy prywatności argumentowali, że dane z czujników Kinect mogą być wykorzystywane do ukierunkowanych reklam oraz do wykonywania nieautoryzowanego nadzoru nad użytkownikami. W odpowiedzi na te twierdzenia Microsoft powtórzył, że rozpoznawanie głosu i śledzenie ruchu przez Kinect mogą być wyłączone przez użytkowników, że dane Kinect nie mogą być wykorzystywane do reklam zgodnie z jego polityką prywatności oraz że konsola nie będzie redystrybuować treści generowanych przez użytkowników bez pozwolenia. Pojawiło się również kilka innych problemów z oryginalnym zestawem funkcji Xbox One, takich jak wymóg stałego połączenia z Internetem, i wywołało falę sprzeciwu konsumentów wobec Microsoftu.

Microsoft ogłosił w sierpniu 2013 r., że wprowadził kilka zmian w planowanym wydaniu Xbox One w odpowiedzi na sprzeciw. Wśród nich było to, że system nie będzie już wymagał podłączenia jednostki Kinect do działania, chociaż nadal planowano spakować Kinect ze wszystkimi systemami Xbox One. Wymagało to jednak również ustalenia przez Microsoft ceny 500 USD za system Xbox One/Kinect w listopadzie 2013 r., czyli o 100 USD więcej niż konkurencyjna PlayStation 4 wprowadzona w tym samym czasie, co nie uwzględniało żadnego wykrywania ruchu. sprzęt komputerowy. Kilka miesięcy po premierze Xbox One Microsoft zdecydował się uruchomić system Xbox One bez Kinect w marcu 2014 roku w tej samej cenie co PlayStation 4, biorąc pod uwagę, że Kinect na Xbox One nie otrzymał wsparcia programistów, a sprzedaż Xbox One pozostawał w tyle ze względu na wyższą cenę systemu dołączonego do Kinect. Richard Irving, kierownik grupy programowej, który nadzorował Kinect, powiedział, że Microsoft uważał, że ważniejsze jest danie programistom i konsumentom opcji tworzenia lub zakupu Kinect, zamiast narzucania im tego urządzenia.

Usunięcie Kinect z pakietu detalicznego Xbox One było początkiem gwałtownego upadku i stopniowego wycofywania się z jednostki w Microsoft. Deweloperzy tacy jak Harmonix, którzy pierwotnie celowali w gry na Xbox One, wstrzymali te gry, dopóki nie dowiedzieli się, że jest wystarczająco dużo bazy instalacyjnej Kinect, aby uzasadnić wydanie, co spowodowało brak gier dla Kinect i zmniejszenie popędu konsumentów kupić osobną jednostkę. Microsoft stał się niedźwiedziem na Kinect, nie wspominając o urządzeniu na E3 2015 i ogłaszając na E3 2016 , że nadchodząca wersja sprzętowa Xbox One, Xbox One S , nie będzie miała dedykowanego portu Kinect; Microsoft zaoferował adapter USB dla sensora Kinect, udostępniany bezpłatnie w początkowym okresie promocyjnym po premierze konsoli. Mocniejszy Xbox One X również nie miał portu Kinect i wymagał tego adaptera. Mimo że programiści wciąż wydawali gry z obsługą Kinect na Xbox One, brak oświadczeń Microsoftu dotyczących Kinect w tym okresie doprowadził do twierdzenia, że ​​Kinect był martwym projektem Microsoftu.

Microsoft oficjalnie ogłosił, że przestanie produkować Kinect na Xbox One w dniu 25 października 2017 r. Microsoft ostatecznie wycofał adapter w styczniu 2018 r., Oświadczając, że przestawia się na produkcję innych akcesoriów do konsoli Xbox One i komputerów osobistych, które są bardziej poszukiwane. Media uznają to za moment, w którym Microsoft zaprzestał prac nad Kinectem na platformę Xbox.

Aplikacje niezwiązane z grami i Kinect dla systemu Windows

Podczas gdy jednostka Kinect dla platformy Xbox wygasła, Kinect znalazł nowe życie w środowisku akademickim i innych aplikacjach od około 2011 roku. Funkcjonalność jednostki wraz z niskim kosztem 150 USD była postrzegana jako niedrogi sposób na zwiększenie głębi. wykrywanie do istniejących aplikacji, kompensując wysokie koszty i zawodność innych opcji kamer 3D w tym czasie. W robotyce sensoryka głębi Kinect umożliwiłaby robotom określanie kształtu i przybliżonych odległości do przeszkód oraz manewrowanie wokół nich. W dziedzinie medycyny sensor Kinect można wykorzystać do monitorowania kształtu i postawy ciała w wymierny sposób, aby umożliwić lepsze podejmowanie decyzji dotyczących opieki zdrowotnej.

Około listopada 2010 r., po uruchomieniu sensora Kinect, naukowcy, inżynierowie i hobbyści zdołali włamać się do sensora Kinect, aby określić, jakiego sprzętu i oprogramowania wewnętrznego używali, co doprowadziło do tego, że użytkownicy odkryli, jak połączyć się i obsługiwać sensor Kinect z systemem Microsoft Windows i systemem operacyjnym . X przez USB, który ma niezabezpieczone dane z różnych elementów aparatu, które można odczytać. Doprowadziło to do powstania prototypowych wersji demonstracyjnych innych możliwych aplikacji, takich jak oparty na gestach interfejs użytkownika dla systemu operacyjnego podobny do tego, który pokazano w filmie Raport mniejszości , a także aplikacji pornograficznych . To odzwierciedlało podobną pracę w celu zhakowania Wii Remote kilka lat wcześniej, aby wykorzystać jego tani sprzęt do bardziej zaawansowanych aplikacji poza grami.

Adafruit Industries , przewidując niektóre z możliwych zastosowań sensora Kinect poza grami, rzuciło wyzwanie związane z bezpieczeństwem sensora Kinect, oferując nagrody pieniężne za pomyślne opracowanie zestawu do tworzenia oprogramowania o otwartym kodzie źródłowym (SDK) oraz sterowników sprzętowych dla sensora Kinect, który stał się znany jako Open Kinect. Adafruit wskazał zwycięzcę, Héctora Martína , do 10 listopada 2010 r., który wyprodukował sterownik dla systemu Linux , który umożliwia korzystanie zarówno z kamery RGB, jak i funkcji czułości głębi urządzenia. Później odkryto, że Johnny Lee , główny członek zespołu programistów Kinect firmy Microsoft, potajemnie zwrócił się do Adafruit z pomysłem konkursu na rozwój sterowników i osobiście go sfinansował. Lee powiedział o wysiłkach zmierzających do otwarcia Kinect, że „To pokazuje nam przyszłość… To dzieje się dzisiaj i dzieje się jutro”. i zaangażował Adafruit w konkurs, ponieważ był sfrustrowany próbą przekonania kierownictwa Microsoftu do zbadania nie-gierowej drogi dla Kinect.

Microsoft początkowo miał problem z hakowaniem użytkowników na Kinect, twierdząc, że w przyszłych iteracjach urządzenia wprowadzą dodatkowe zabezpieczenia, aby zapobiec takim włamaniom. Jednak pod koniec listopada 2010 r. Microsoft zmienił swoje pierwotne stanowisko i podjął zewnętrzne wysiłki w celu opracowania SDK. Kipman w wywiadzie dla NPR powiedział

Pierwszą rzeczą, o której należy porozmawiać, jest to, że Kinect w rzeczywistości nie został zhakowany. Hakowanie oznaczałoby, że ktoś dostałby się do naszych algorytmów, które znajdują się w Xboksie i był w stanie ich użyć, co się nie wydarzyło. Lub oznacza to, że umieszczasz urządzenie między czujnikiem a Xboksa w celu oszukiwania, co również się nie wydarzyło. Nazywamy to hakowaniem i włożyliśmy w to mnóstwo pracy i wysiłku, aby upewnić się, że tak naprawdę nie nastąpi. To, co się wydarzyło, polega na tym, że ktoś napisał sterownik open-source dla komputerów PC, który zasadniczo otwiera połączenie USB, którego nie chroniliśmy z założenia, i odczytuje dane wejściowe z czujnika. Czujnik znowu, jak mówiłem wcześniej, ma oczy i uszy, a to cała masa szumu, który ktoś musi wziąć i zamienić na sygnał.

—  Alex Kipman z Microsoftu przemawiający formalnie w Science Friday NPR

PrimeSense wraz z firmą robotyczną Willow Garage i twórcą gier Side-Kick uruchomili w listopadzie 2010 roku OpenNI , grupę non-profit zajmującą się opracowywaniem przenośnych sterowników dla sensora Kinect i innych urządzeń z naturalnym interfejsem (NI). Pierwszy zestaw sterowników o nazwie NITE zostały wydane w grudniu 2010 roku. PrimeSense współpracował również z firmą ASUS , aby opracować wersję Kinect na komputery osobiste dla Chin. Powstały produkt, Wavi Xtion, został wydany w październiku 2011 roku.

Firma Microsoft ogłosiła w lutym 2011 r., że planuje w ciągu kilku miesięcy wypuścić własny pakiet SDK dla sensora Kinect, który został oficjalnie wydany 16 czerwca 2011 r., ale był ograniczony do zastosowań niekomercyjnych. SDK umożliwiło użytkownikom dostęp do systemu rozpoznawania ruchu szkieletu dla maksymalnie dwóch osób oraz macierzy mikrofonów Kinect, które to funkcje nie były częścią wcześniejszego pakietu Open Kinect SDK. Komercyjne zainteresowanie Kinectem było nadal silne, a David Dennis, menedżer produktu w firmie Microsoft, stwierdził: „Istnieją setki organizacji, z którymi współpracujemy, aby pomóc im określić, co jest możliwe dzięki tej technologii”. Firma Microsoft uruchomiła swój program Kinect dla systemu Windows 31 października 2011 r., udostępniając nowy pakiet SDK niewielkiej liczbie firm, w tym Toyota , Houghton Mifflin i Razorfish , aby zbadać, co jest możliwe. Na targach Consumer Electronics Show 2012 w styczniu firma Microsoft ogłosiła, że ​​1 lutego 2012 r. wyda dedykowaną jednostkę Kinect dla systemu Windows wraz z komercyjnym pakietem SDK. 50 centymetrów (20 cali) przed kamerami. Urządzenie Kinect dla systemu Windows było wyceniane na 250 USD , czyli o 100 USD więcej niż oryginalny Kinect, ponieważ Microsoft uznał, że Kinect Xbox 360 jest subsydiowany poprzez zakupy gier, subskrypcje Xbox Live i inne koszty. Podczas premiery Microsoft stwierdził, że ponad 300 firm z ponad 25 krajów pracuje nad aplikacjami zgodnymi z Kinect z nową jednostką.

Wraz z pierwotnym ogłoszeniem zaktualizowanego sensora Kinect dla konsoli Xbox One w 2013 r. firma Microsoft potwierdziła również, że do 2014 r. będzie miała drugą generację sensora Kinect dla systemu Windows opartą na zaktualizowanej technologii Kinect. Nowy sensor Kinect 2 dla systemu Windows został wprowadzony 15 lipca 2014 r., w cenie 200 USD . Microsoft zdecydował się na wycofanie oryginalnego Kinect dla Windows do końca 2014 roku. Jednak w kwietniu 2015 roku Microsoft ogłosił, że rezygnuje również z Kinect 2 dla Windows, a zamiast tego kieruje użytkowników komercyjnych do korzystania z Kinect dla Xbox One, co Microsoft powiedział „ działają identycznie". Microsoft stwierdził, że popyt na Kinect 2 dla Windows był wysoki i trudny do zaspokojenia, jednocześnie realizując zamówienia na Kinect dla Xbox One, oraz że znaleźli komercyjnych programistów z powodzeniem używających Kinect dla Xbox One w swoich aplikacjach.

Wraz z malejącym zainteresowaniem Microsoftu na Kinect, PrimeSense został kupiony przez Apple, Inc. w 2013 roku, który włączył części tej technologii do swojego systemu Face ID dla urządzeń z systemem iOS .

Chociaż Kinect został anulowany, pomysły na to pomogły zachęcić Microsoft do większego zainteresowania dostępnością konsoli Xbox i jej gier. Według Phila Spencera , szefa Xbox w Microsoft, otrzymali pozytywne komentarze od rodziców dzieci niepełnosprawnych i upośledzonych, którzy byli zadowoleni, że Kinect pozwolił ich dzieciom grać w gry wideo. Wysiłki te doprowadziły do ​​opracowania kontrolera Xbox Adaptive Controller , wydanego w 2018 roku, jako jednego z wysiłków Microsoftu w tym obszarze.

Integracja Kinect z Microsoft Azure

Microsoft porzucił pomysł Kinect dla gier wideo, ale nadal badał potencjał Kinect poza tym. Dyrektor ds. komunikacji w Microsoft, Greg Sullivan, stwierdził w 2018 r., że „Myślę, że jedną z rzeczy, które zaczynają być rozumiane, jest to, że Kinect nigdy nie był tak naprawdę tylko urządzeniem peryferyjnym do gier… Zawsze było czymś więcej”. Część technologii Kinect została zintegrowana z Hololens firmy Microsoft , wydanym po raz pierwszy w 2016 roku.

Firma Microsoft ogłosiła, że ​​w maju 2018 r. pracuje nad nową wersją sprzętowego modelu Kinect dla aplikacji innych niż gry, która zostanie zintegrowana z ich usługami przetwarzania w chmurze Azure . Microsoft przewidział, że bardziej zaawansowane funkcje udostępniane przez platformę Azure, takie jak sztuczna inteligencja , poprawiłyby dokładność wykrywania głębi i zmniejszyły zapotrzebowanie na energię, a także doprowadziłyby do bardziej kompaktowych jednostek. Urządzenie Azure Kinect zostało wydane 27 czerwca 2019 r. w cenie 400 USD , a pakiet SDK dla tego urządzenia został wydany w lutym 2019 r.

Sky UK ogłosiło nową linię telewizorów Sky Glass, które zostaną wprowadzone na rynek w 2022 roku, wykorzystując technologię Kinect we współpracy z Microsoft. Korzystając z funkcji Kinect, widz będzie mógł sterować telewizorem za pomocą elementów sterujących ruchem i poleceń dźwiękowych, a także obsługuje funkcje społecznościowe, takie jak oglądanie w serwisach społecznościowych .

Technologia

Podstawy

Przykładowy obraz w podczerwieni wykonany przez czujnik Kinect w podczerwieni (po lewej) i ten sam obraz ponownie zwizualizowany na mapie głębi przy użyciu gradientów kolorów od białego (blisko) do niebieskiego (daleko)

Technologia wykrywania głębi i ruchu stanowiąca podstawę sensora Kinect jest dostępna dzięki czujnikowi głębi. Oryginalny sensor Kinect na konsolę Xbox 360 wykorzystywał w tym celu światło strukturalne : urządzenie wykorzystywało wzór bliskiej podczerwieni rzucany na przestrzeń przed sensorem Kinect, podczas gdy czujnik podczerwieni wychwytywał wzór odbitego światła. Wzór światła jest zniekształcony przez względną głębokość obiektów znajdujących się przed nim, a do oszacowania tej głębokości można użyć matematyki na podstawie kilku czynników związanych z układem sprzętowym sensora Kinect. Podczas gdy inne technologie wykrywania głębi światła struktury wykorzystywały wiele wzorów światła, Kinect używał zaledwie jednego, aby osiągnąć wysoką szybkość wykrywania głębi wynoszącą 30 klatek na sekundę. Kinect dla Xbox One przełączył się na używanie pomiarów czasu lotu . Projektor podczerwieni w sensorze Kinect wysyła modulowane światło podczerwone, które jest następnie przechwytywane przez czujnik. Światło podczerwone odbijające się od bliższych obiektów będzie miało krótszy czas lotu niż te bardziej odległe, więc czujnik podczerwieni rejestruje, jak bardzo wzór modulacji został zdeformowany od czasu lotu, piksel po pikselu. Pomiary głębokości w czasie lotu mogą być dokładniejsze i obliczane w krótszym czasie, co pozwala na wykrycie większej liczby klatek na sekundę.

Gdy sensor Kinect ma obraz głębi piksel po pikselu, sensor Kinect wykorzystuje tutaj rodzaj wykrywania krawędzi , aby oddzielić bliższe obiekty od tła ujęcia, wykorzystując dane wejściowe ze zwykłej kamery światła widzialnego. Urządzenie następnie próbuje śledzić wszelkie poruszające się obiekty, zakładając, że na obrazie poruszają się tylko ludzie, i izoluje ludzkie kształty z obrazu. Oprogramowanie urządzenia, wspomagane przez sztuczną inteligencję, dokonuje segmentacji kształtów, próbując zidentyfikować określone części ciała, takie jak głowa, ramiona i dłonie, i śledzić te segmenty indywidualnie. Segmenty te służą do skonstruowania 20-punktowego szkieletu ludzkiego ciała, który następnie może być wykorzystany przez grę lub inne oprogramowanie do określenia, jakie działania dana osoba wykonała.

Kinect na konsolę Xbox 360 (2010)

Kinect dla konsoli Xbox 360 . Wersja Xbox 360 E ma logo Xbox po lewej stronie logo Xbox 360.
Modele Xbox 360 S i E mają dedykowane porty dla Kinect, eliminując potrzebę zewnętrznego zasilania.

Kinect na konsolę Xbox 360 był połączeniem oprogramowania i sprzętu stworzonego przez Microsoft . Sprzęt obejmował technologię chipsetu zasięgu izraelskiego dewelopera PrimeSense , który opracował system składający się z projektora na podczerwień i kamery oraz specjalnego mikroczipa , który generuje siatkę, z której można ustalić położenie pobliskiego obiektu w 3 wymiarach. Ten system skanera 3D o nazwie Light Coding wykorzystuje wariant rekonstrukcji 3D opartej na obrazie .

Sensor Kinect to poziomy pasek połączony z małą podstawą za pomocą zmotoryzowanego przegubu, który można umieścić wzdłużnie nad lub pod wyświetlaczem wideo. Urządzenie jest wyposażone w „ kamerę RGB , czujnik głębokości i układ mikrofonów z własnym oprogramowaniem”, które zapewniają przechwytywanie ruchu 3D całego ciała , rozpoznawanie twarzy i funkcje rozpoznawania głosu . W momencie premiery rozpoznawanie głosu było dostępne tylko w Japonii, Wielkiej Brytanii, Kanadzie i Stanach Zjednoczonych. Europa kontynentalna otrzymała tę funkcję wiosną 2011 roku. Obecnie rozpoznawanie głosu jest obsługiwane w Australii , Kanadzie , Francji , Niemczech , Irlandii , Włoszech , Japonii , Meksyku , Nowej Zelandii , Wielkiej Brytanii i Stanach Zjednoczonych . Matryca mikrofonów sensora Kinect umożliwia konsoli Xbox 360 lokalizowanie źródła akustycznego i tłumienie szumów otoczenia , co umożliwia np. prowadzenie rozmów towarzyskich bez zestawu słuchawkowego przez usługę Xbox Live .

Czujnik głębokości składa się z projektora laserowego na podczerwień połączonego z monochromatycznym czujnikiem CMOS , który rejestruje dane wideo w 3D w każdych warunkach oświetlenia otoczenia . Zakres wykrywania czujnika głębokości można regulować, a oprogramowanie Kinect może automatycznie kalibrować czujnik w oparciu o rozgrywkę i fizyczne środowisko gracza, dostosowując się do obecności mebli lub innych przeszkód.

Opisywana przez personel Microsoft jako główna innowacja Kinect, technologia oprogramowania umożliwia zaawansowane rozpoznawanie gestów , twarzy i głosu. Według informacji przekazanych sprzedawcom, Kinect jest w stanie jednocześnie śledzić do sześciu osób, w tym dwóch aktywnych graczy, do analizy ruchu z ekstrakcją cech 20 stawów na gracza. Jednak PrimeSense stwierdził, że liczba osób, które urządzenie może „widzieć” (ale nie przetwarzać jako gracze) jest ograniczona jedynie tym, ile osób zmieści się w polu widzenia kamery.

Inżynieria odwrotna ustaliła, że ​​różne czujniki Kinect wysyłają wideo z częstotliwością klatek od 9  Hz do 30  Hz w zależności od rozdzielczości. Domyślny strumień wideo RGB wykorzystuje 8-bitową rozdzielczość VGA (640 × 480 pikseli ) z filtrem kolorów Bayer , ale sprzęt obsługuje rozdzielczości do 1280x1024 (przy niższej liczbie klatek na sekundę) i inne formaty kolorów, takie jak UYVY . Monochromatyczny strumień wideo z wykrywaniem głębi ma rozdzielczość VGA (640 × 480 pikseli) z 11-bitową głębią , co zapewnia 2048 poziomów czułości. Kinect może również przesyłać strumieniowo widok bezpośrednio z kamery na podczerwień (tj. zanim zostanie przekonwertowany na mapę głębi) jako wideo 640x480 lub 1280x1024 z niższą liczbą klatek na sekundę. Sensor Kinect ma praktyczny limit zasięgu wynoszący 1,2–3,5 m (3,9–11,5 stopy), gdy jest używany z oprogramowaniem Xbox. Obszar wymagany do grania w sensor Kinect wynosi około 6 m 2 , chociaż czujnik może utrzymywać śledzenie w rozszerzonym zakresie około 0,7–6 m (2,3–19,7 stopy). Czujnik ma kątowe pole widzenia 57 ° w poziomie i 43 ° w pionie, podczas gdy zmotoryzowany przegub może przechylać czujnik do 27 ° w górę lub w dół. Poziome pole sensora Kinect przy minimalnej odległości oglądania ≈0,8 m (2,6 ft) wynosi zatem ≈87 cm (34 cale), a pole pionowe 63 cm (25 cali), co daje rozdzielczość nieco ponad 1,3 mm (0,051 cala) na piksel. Macierz mikrofonów zawiera cztery kapsuły mikrofonowe i obsługuje każdy kanał przetwarzając 16 -bitowy dźwięk z częstotliwością próbkowania 16  kHz .

Ponieważ zmotoryzowany mechanizm pochylania sensora Kinect wymaga więcej energii niż porty USB konsoli Xbox 360 mogą dostarczyć, urządzenie korzysta z zastrzeżonego złącza łączącego komunikację USB z dodatkową mocą. Przeprojektowane modele Xbox 360 S zawierają specjalny port AUX do umieszczenia złącza, podczas gdy starsze modele wymagają specjalnego kabla zasilającego (dołączonego do czujnika), który dzieli połączenie na osobne złącza USB i zasilania; zasilanie jest dostarczane z sieci za pomocą zasilacza sieciowego.

Kinect dla systemu Windows (2012)

Kinect dla systemu Windows to zmodyfikowana wersja konsoli Xbox 360, która została po raz pierwszy wydana 1 lutego 2011 r. wraz z SDK do użytku komercyjnego. Sprzęt zawierał lepsze komponenty do eliminowania szumów wzdłuż USB i innych ścieżek okablowania, a także ulepszenia w systemie kamer wykrywających głębię do wykrywania obiektów z bliskiej odległości, tak blisko, jak 50 centymetrów (20 cali), w nowym „trybie bliskiej” .

Zestaw SDK zawierał sterowniki PC zgodne z systemem Windows 7 dla urządzenia Kinect. Zapewnił deweloperom możliwości Kinect do tworzenia aplikacji w języku C++ , C# lub Visual Basic przy użyciu Microsoft Visual Studio 2010 i zawierał następujące funkcje:

  1. Surowe strumienie czujnika: dostęp do strumieni o niskim poziomie z czujnika głębokości, czujnika kamery kolorowej i czteroelementowej matrycy mikrofonów.
  2. Śledzenie szkieletowe: możliwość śledzenia szkieletowego obrazu jednej lub dwóch osób poruszających się w polu widzenia sensora Kinect w przypadku aplikacji sterowanych gestami.
  3. Zaawansowane możliwości audio: możliwości przetwarzania dźwięku obejmują zaawansowane tłumienie hałasu akustycznego i eliminację echa , formowanie wiązki w celu identyfikacji bieżącego źródła dźwięku oraz integrację z interfejsem API rozpoznawania mowy systemu Windows .
  4. Przykładowy kod i dokumentacja.

W marcu 2012 r. Craig Eisler, dyrektor generalny Kinect dla Windows, powiedział, że prawie 350 firm współpracuje z Microsoft nad niestandardowymi aplikacjami Kinect dla Microsoft Windows.

W marcu 2012 roku Microsoft ogłosił, że kolejna wersja Kinect for Windows SDK będzie dostępna w maju 2012 roku. Kinect for Windows 1.5 został wydany 21 maja 2012 roku. Dodaje nowe funkcje, obsługuje wiele nowych języków i debiutuje w 19 kolejnych krajach.

  1. Zestaw SDK Kinect dla systemu Windows 1.5 zawierałby „Kinect Studio”, nową aplikację, która umożliwia programistom nagrywanie, odtwarzanie i debugowanie klipów użytkowników wchodzących w interakcje z aplikacjami.
  2. Obsługa nowego „siedzącego” lub „10-stawowego” systemu szkieletowego, który umożliwia aplikacjom śledzenie głowy, szyi i ramion użytkownika sensora Kinect — niezależnie od tego, czy siedzi on, czy stoi; który działałby w trybie domyślnym i bliskim.
  3. Obsługa czterech nowych języków rozpoznawania mowy — francuskiego, hiszpańskiego, włoskiego i japońskiego. Dodatkowo doda obsługę regionalnych dialektów tych języków wraz z angielskim.
  4. Będzie on dostępny w maju w Hongkongu, Korei Południowej i na Tajwanie oraz w Austrii, Belgii, Brazylii, Danii, Finlandii, Indiach, Holandii, Norwegii, Portugalii, Rosji, Arabii Saudyjskiej, Singapurze, RPA, Szwecji, Szwajcarii i innych krajach. Zjednoczone Emiraty Arabskie w czerwcu.

Kinect for Windows SDK dla czujnika pierwszej generacji został zaktualizowany jeszcze kilka razy, w wersji 1.6 wydanej 8 października 2012 r., wersji 1.7 wydanej 18 marca 2013 r. i wersji 1.8 wydanej 17 września 2013 r.

Kinect na Xbox One (2013)

Ulepszona iteracja Kinect została wydana 22 listopada 2013 r. na konsolę Xbox One . Wykorzystuje szerokokątną kamerę czasu przelotu i przetwarza 2 gigabity danych na sekundę, aby odczytać otoczenie. Nowy sensor Kinect charakteryzuje się trzykrotnie większą dokładnością niż jego poprzednik i może śledzić bez światła widzialnego za pomocą aktywnego czujnika podczerwieni . Ma o 60% szersze pole widzenia, które może wykryć użytkownika w odległości do 3 stóp od czujnika, w porównaniu do sześciu stóp w przypadku oryginalnego Kinect, i może jednocześnie śledzić do 6 szkieletów. Może również wykrywać tętno gracza , mimikę twarzy, pozycję i orientację 25 poszczególnych stawów (w tym kciuki), ciężar nakładany na każdą kończynę, prędkość ruchów gracza oraz śledzić gesty wykonywane za pomocą standardowego kontrolera. Kolorowa kamera przechwytuje wideo 1080p, które może być wyświetlane w tej samej rozdzielczości co ekran podglądu, co pozwala na szeroki zakres scenariuszy. Oprócz usprawnienia aplikacji do komunikacji wideo i analizy obrazu wideo, zapewnia to stabilne dane wejściowe, na których można budować interaktywne aplikacje. Mikrofon sensora Kinect służy do wydawania poleceń głosowych dotyczących działań, takich jak nawigacja, uruchamianie gier i wybudzanie konsoli z trybu uśpienia . Zalecany wzrost gracza to co najmniej 40 cali, co w przybliżeniu odpowiada dzieciom w wieku 4+1 2 lata i więcej .

Wszystkie konsole Xbox One były początkowo dostarczane z Kinect. W czerwcu 2014 r. udostępniono pakiety bez sensora Kinect wraz z zaktualizowanym pakietem SDK dla konsoli Xbox One, umożliwiającym twórcom gier jawne wyłączenie śledzenia szkieletu przez sensor Kinect, uwalniając zasoby systemowe, które wcześniej były zarezerwowane dla sensora Kinect, nawet jeśli był on wyłączony lub odłączony. Gdy zainteresowanie Kinect osłabło w 2014 roku, późniejsze wersje sprzętu Xbox One, w tym Xbox One S i Xbox One X , zrezygnowały z dedykowanego portu Kinect, co wymagało od użytkowników zakupu USB 3.0 i zasilacza sieciowego, aby korzystać z Kinect dla Xbox One.

Samodzielny sensor Kinect dla konsoli Xbox One, dołączony do cyfrowej kopii Dance Central Spotlight , został wydany 7 października 2014 roku.

Produkt Kinect na konsolę Xbox One, uważany za niedoskonałość rynkową w porównaniu z sensorem Kinect na konsolę Xbox 360, został wycofany do 25 października 2017 r. Produkcja przewodu adaptera również została zakończona do stycznia 2018 r.

Kinect 2 dla systemu Windows (2014)

Wydany 15 lipca 2014 r. sensor Kinect 2 dla systemu Windows jest oparty na sensorze Kinect dla konsoli Xbox One i jest uważany za zamiennik oryginalnego sensora Kinect dla systemu Windows. Został również przepakowany jako „Kinect dla Windows v2”. Jest prawie identyczny, poza usunięciem brandingu Xbox i zawiera zasilacz USB 3.0/AC. Został wydany wraz z wersją 2.0 Windows SDK dla tej platformy. Sugerowana cena producenta wyniosła 199 USD . Microsoft uważa Kinect 2 dla Windows za równoważną wydajnością z wersją na Xbox One.

W kwietniu 2015 r. mając trudności z utrzymaniem popytu produkcyjnego na Kinect dla Xbox One, ta edycja została przerwana. Microsoft polecił użytkownikom komercyjnym, aby zamiast tego używali wersji Xbox One z adapterem USB.

Lazurowy Kinect (2019)

7 maja 2018 r. firma Microsoft ogłosiła nową iterację technologii Kinect przeznaczoną głównie do użytku z oprogramowaniem korporacyjnym i sztuczną inteligencją . Został zaprojektowany z myślą o platformie chmurowej Microsoft Azure i ma na celu „wykorzystanie bogactwa sztucznej inteligencji Azure, aby radykalnie poprawić wgląd i operacje”. Ma on mniejszy rozmiar niż iteracje Xbox Kinect i jest wyposażony w 12-megapikselowy aparat, czujnik głębokości lotu używany również w HoloLens 2 i siedem mikrofonów. Zestaw rozwojowy został ogłoszony w lutym 2019 roku.

Oprogramowanie

Funkcje obsługujące sensor Kinect w systemie operacyjnym Xbox

Wymagające co najmniej 190 MB dostępnej przestrzeni dyskowej oprogramowanie systemowe Kinect umożliwia użytkownikom obsługę interfejsu użytkownika konsoli Xbox 360 Dashboard za pomocą poleceń głosowych i gestów. Techniki, takie jak rozpoznawanie głosu i rozpoznawanie twarzy, są wykorzystywane do automatycznej identyfikacji użytkowników. Wśród aplikacji na Kinect znajduje się Video Kinect, który umożliwia prowadzenie rozmów głosowych lub wideorozmów z innymi użytkownikami konsoli Xbox 360 lub Windows Live Messenger . Aplikacja może korzystać z funkcji śledzenia sensora Kinect i zmotoryzowanej osi sensora Kinect, aby utrzymać użytkowników w kadrze, nawet gdy się poruszają. Inne aplikacje obsługujące Kinect to ESPN , Zune Marketplace , Netflix , Hulu Plus i Last.fm. Microsoft potwierdził później, że wszystkie nadchodzące aplikacje będą musiały mieć funkcjonalność Kinect do certyfikacji.

Xbox One oryginalnie był dostarczany w paczkach z sensorem Kinect; oryginalne oprogramowanie interfejsu użytkownika Xbox One miało podobną obsługę funkcji Kinect jak oprogramowanie Xbox 360, takie jak polecenia głosowe, identyfikacja użytkownika za pomocą rozpoznawania szkieletowego lub głosu oraz polecenia sterowane gestami, chociaż te funkcje można było całkowicie wyłączyć ze względu na obawy dotyczące prywatności. Pozostawiło to jednak bardziej tradycyjną nawigację z wykorzystaniem przypadkowego kontrolera. W maju 2014 r., kiedy Microsoft ogłosił, że wypuści systemy Xbox One bez sensora Kinect, firma ogłosiła również plany zmiany oprogramowania systemowego Xbox One w celu usunięcia funkcji Kinect. Obsługa Kinect w oprogramowaniu została całkowicie usunięta do listopada 2015 r.

Gry wideo

Gry na konsolę Xbox 360, które wymagają sensora Kinect, są pakowane w specjalne fioletowe etui (w przeciwieństwie do zielonych pudełek używanych we wszystkich innych grach na konsolę Xbox 360) i mają widoczne logo „Wymaga sensora Kinect” na przedniej okładce. Gry, które zawierają funkcje wykorzystujące sensor Kinect, ale nie wymagają go do standardowej rozgrywki, mają na okładkach logo „Lepsze z sensorem Kinect”.

Kinect został uruchomiony 4 listopada 2010 r. z 17 tytułami. Zewnętrzni wydawcy dostępnych i zapowiedzianych gier Kinect to m.in. Ubisoft , Electronic Arts , LucasArts , THQ , Activision , Konami , Sega , Capcom , Namco Bandai i MTV Games . Oprócz gier dostępnych w sprzedaży detalicznej dostępne są również wybrane tytuły Xbox Live Arcade , które wymagają urządzenia peryferyjnego.

Kinect Fun Labs

Na E3 2011 Microsoft ogłosił Kinect Fun Labs : zbiór różnych gadżetów i minigier, które są dostępne z pulpitu konsoli Xbox 360. Te gadżety obejmują Build A Buddy , Air Band , Kinect Googly Eyes , Kinect Me , Bobblehead , Kinect Sparkler , Junk Fu i Avatar Kinect .

Rozwój stron trzecich

Pokaz użycia Kinect przez inną firmę na Maker Faire . Wizualizacja po lewej stronie, dostarczona przez Kinect, przedstawia użytkownika z kurtką z elektronicznymi elementami sterującymi do noszenia dla VJing

Wielu programistów bada możliwe zastosowania Kinect, które wykraczają poza zamierzony cel systemu, jakim jest granie w gry, co dodatkowo umożliwiło wydanie Kinect SDK przez Microsoft.

Na przykład Philipp Robbel z MIT połączył Kinect z iRobot Create , aby zmapować pokój w 3D i sprawić, by robot reagował na ludzkie gesty, podczas gdy zespół MIT Media Lab pracuje nad rozszerzeniem JavaScript dla Google Chrome o nazwie depthJS, które pozwala użytkownikom kontrolować przeglądarka za pomocą gestów rąk. Inni programiści, w tym Robot Locomotion Group w MIT, wykorzystują sterowniki do opracowania interfejsu użytkownika kontrolera ruchu, podobnego do tego, który przewidziano w Raporcie mniejszości . Twórcy MRPT zintegrowali sterowniki open source ze swoimi bibliotekami i dostarczyli przykłady renderowania 3D na żywo oraz podstawowego wizualnego SLAMu 3D . Inny zespół pokazał aplikację, która pozwala użytkownikom Kinect grać na wirtualnym pianinie, stukając palcami w puste biurko. Oliver Kreylos, naukowiec z Uniwersytetu Kalifornijskiego w Davis , zaadoptował technologię, aby ulepszyć trójwymiarowe wideokonferencje na żywo , którymi NASA wykazała zainteresowanie.

Alexandre Alahi z EPFL zaprezentował system nadzoru wideo, który łączy wiele urządzeń Kinect do śledzenia grup ludzi nawet w całkowitej ciemności. Firmy So touch i Evoluce opracowały oprogramowanie do prezentacji dla Kinect, które można kontrolować za pomocą gestów dłoni; wśród jego funkcji jest tryb wielodotykowego zoomu. W grudniu 2010 r. uruchomiono bezpłatną publiczną wersję beta oprogramowania HTPC KinEmote ; umożliwia nawigację po menu Boxee i XBMC za pomocą sensora Kinect. Soroush Falahati napisał aplikację, której można używać do tworzenia stereoskopowych obrazów 3D za pomocą sensora Kinect.

W śledzeniu ruchu człowieka sensor Kinect może cierpieć z powodu okluzji, która występuje, gdy niektóre stawy ludzkiego ciała są niedrożne i nie mogą być dokładnie śledzone przez model szkieletowy sensora Kinect. Dlatego też fuzja danych z innymi czujnikami może zapewnić bardziej niezawodne śledzenie modelu szkieletu. Na przykład w badaniu zastosowano filtr bezzapachowego Kalmana (UKF) do połączenia danych pozycji Kinect 3D stawów barku, łokcia i nadgarstka z danymi uzyskanymi z dwóch bezwładnościowych jednostek pomiarowych (IMU) umieszczonych na górnej i dolnej części ramienia osoba. Wyniki wykazały poprawę do 50% dokładności śledzenia położenia stawów. Oprócz rozwiązania problemu okluzji, ponieważ częstotliwość próbkowania IMU wynosiła 100 Hz (w porównaniu do ~30 Hz dla Kinect), poprawa pozycji szkieletu była bardziej widoczna podczas szybkich i dynamicznych ruchów.

Kinect wykazuje również przekonujący potencjał do zastosowania w medycynie. Naukowcy z University of Minnesota wykorzystali Kinect do pomiaru szeregu objawów zaburzeń u dzieci, tworząc nowe sposoby obiektywnej oceny w celu wykrycia takich stanów, jak autyzm, zaburzenia koncentracji uwagi i zaburzenia obsesyjno-kompulsywne. Kilka grup zgłosiło użycie Kinect do śródoperacyjnego przeglądu obrazowania medycznego, umożliwiającego chirurgowi dostęp do informacji bez kontaminacji. Ta technika jest już używana w Sunnybrook Health Sciences Center w Toronto , gdzie lekarze używają jej do prowadzenia obrazowania podczas operacji onkologicznych. Przynajmniej jedna firma, GestSure Technologies, dąży do komercjalizacji takiego systemu.

Laboratorium napędu odrzutowego NASA ( JPL) przystąpiło do programu Kinect for Windows Developer w listopadzie 2013 r., aby używać nowego Kinect do manipulowania ramieniem robota w połączeniu z goglami wirtualnej rzeczywistości Oculus Rift , tworząc „najbardziej wciągający interfejs” urządzenia zbudowany do tej pory.

Przyjęcie

Kinect dla konsoli Xbox 360

Po wydaniu Kinect zebrał ogólnie pozytywne opinie recenzentów i krytyków. IGN dał urządzeniu 7,5 na 10, mówiąc, że „Kinect może być świetną zabawą dla zwykłych graczy, a kreatywna koncepcja bez kontrolera jest niezaprzeczalnie atrakcyjna”, chociaż dodając, że za „149,99 USD, dodaj kamerę śledzącą ruch - na Xbox 360 to trudna sprzedaż, zwłaszcza biorąc pod uwagę, że podstawowa odmiana samej konsoli Xbox 360 wynosi tylko 199,99 USD”. Game Informer ocenił Kinect 8 na 10, chwaląc technologię, ale zauważając, że przyzwyczajenie się do tego doświadczenia zajmuje trochę czasu, a wymagania przestrzenne mogą stanowić barierę. Gry komputerowe i wideo nazwały urządzenie technologiczną perełką i pochwaliły sterowanie gestami i głosem, jednocześnie krytykując ofertę startową i Kinect Hub.

Recenzja CNET wskazała, w jaki sposób Kinect zapewnia graczom aktywność dzięki wykrywaniu ruchu całego ciała, ale skrytykowała krzywą uczenia się, dodatkowe zasilanie wymagane w przypadku starszych konsol Xbox 360 i wymagania dotyczące miejsca. Engadget również jako negatyw wymienił duże wymagania przestrzenne, wraz z programem startowym Kinect i powolnym interfejsem gestów dłoni. W recenzji chwalono potężną technologię systemu oraz potencjał gier jogi i tańca. Kotaku uznał urządzenie za rewolucyjne przy pierwszym użyciu, ale zauważył, że gry czasami nie były w stanie rozpoznać gestów lub miały powolne reakcje, dochodząc do wniosku, że Kinect „jeszcze nie musi być posiadany, bardziej jak musi – w końcu posiadać”. TechRadar pochwalił sterowanie głosowe i dostrzegł duży potencjał w urządzeniu, którego opóźnienia i wymagania przestrzenne zostały zidentyfikowane jako problemy. Gizmodo zauważył również potencjał Kinect i wyraził ciekawość, w jaki sposób więcej tytułów głównego nurtu wykorzysta tę technologię. W recenzji Ars Technica wyrażono obawy , że podstawowa cecha Kinect, brak kontrolera, utrudni rozwój gier poza tymi, które mają stacjonarnych graczy lub automatycznie kontrolują ruchy gracza.

Prasa głównego nurtu również zrecenzowała Kinect. USA Today porównało to do futurystycznego schematu sterowania widocznego w Raporcie mniejszości , stwierdzając, że „granie w gry jest świetne” i dając urządzeniu 3,5 na 4 gwiazdki. David Pogue z The New York Times przewidział, że gracze poczują „szalony, magiczny, omigosh pęd, gdy po raz pierwszy wypróbujesz Kinect”. Pomimo nazwania śledzenia ruchu mniej precyzyjnym niż implementacja na Wii , Pogue doszedł do wniosku, że „zadziwiająca technologia Kinect tworzy zupełnie nową aktywność, która jest towarzyska, obejmująca różne wieki, a nawet sportowa”. The Globe and Mail zatytułowany Kinect jako ustanawia „nowy standard sterowania ruchem”. Niewielkie opóźnienie między wykonaniem fizycznego ruchu a zarejestrowaniem go przez Kinect nie było uważane za poważny problem w przypadku większości gier, a recenzja nazwała Kinect „dobrym i innowacyjnym produktem”, oceniając go na 3,5 na 4 gwiazdki.

Kinect dla konsoli Xbox One

Chociaż cechuje się lepszą wydajnością w stosunku do oryginalnego Kinect, jego następca spotkał się z mieszanymi reakcjami. W swojej recenzji Xbox One Engadget pochwalił funkcjonalność Xbox One Kinect, taką jak logowanie za pomocą rozpoznawania twarzy i ulepszone śledzenie ruchu, ale powiedział, że chociaż urządzenie było „magiczne”, „każde fałszywe pozytywne lub nierozpoznane polecenie [głosowe] zmuszało nas do sięgania po kontroler ”. Skrytykowano niezdolność Kinecta do zrozumienia niektórych akcentów w języku angielskim. Pisząc dla Time , Matt Peckham opisał urządzenie jako „masywne” z wyglądu, ale funkcja logowania za pomocą rozpoznawania twarzy była „przerażająca, ale równie fajna w stylu science fiction w przyszłości”, a nowy system rozpoznawania głosu był „potężny, uzależniający”. sposób poruszania się po konsoli i zaoszczędź kilka wyjątków, które wydają się wygładzać z użyciem”. Stwierdzono jednak, że na jego dokładność wpływa hałas w tle, a Peckham zauważył ponadto, że uruchamianie gier za pomocą rozpoznawania głosu wymagało podania pełnego tytułu gry, a nie skróconej nazwy, którą konsola „powinna zrozumieć semantycznie”, na przykład Forza Motorsport 5 zamiast „Forza 5”.

Przed premierą Xbox One pojawiły się obawy dotyczące prywatności dotyczące nowego sensora Kinect; krytycy wykazali obawy, że urządzenie może być używane do nadzoru , wynikające z pierwotnie ogłoszonych wymagań, aby Kinect Xbox One był podłączony przez cały czas, a także z początkowego, zawsze aktywnego systemu DRM , który wymagał połączenia konsoli z Internetem w celu zapewnienia ciągłej funkcjonalności . Zwolennicy prywatności twierdzili, że zwiększona ilość danych, które można zebrać za pomocą nowego sensora Kinect (takich jak ruchy gałek ocznych, tętno i nastrój), można wykorzystać do ukierunkowanej reklamy . Pojawiły się również doniesienia dotyczące ostatnich patentów Microsoft dotyczących technologii Kinect, takich jak system DRM oparty na wykrywaniu liczby widzów w pokoju i śledzeniu nawyków oglądania poprzez nagradzanie osiągnięć za oglądanie programów telewizyjnych i reklam . Chociaż Microsoft stwierdził, że jego polityka prywatności „zabrania gromadzenia, przechowywania lub wykorzystywania danych Kinect do celów reklamowych”, krytycy nie wykluczyli możliwości zmiany tych zasad przed wydaniem konsoli. Pojawiły się również obawy, że urządzenie może również nagrywać rozmowy, ponieważ jego mikrofon pozostaje cały czas aktywny. W odpowiedzi na krytykę rzecznik Microsoftu stwierdził, że użytkownicy „kontrolują, kiedy wykrywanie sensora Kinect jest włączone, wyłączone lub wstrzymane”, otrzymają kluczowe informacje dotyczące prywatności i ustawienia podczas początkowej konfiguracji konsoli oraz że treści generowane przez użytkowników, takie jak jako zdjęcia i filmy „nie opuszczą Twojej konsoli Xbox One bez Twojej wyraźnej zgody”. Microsoft ostatecznie zdecydował się cofnąć swoją decyzję o wymaganiu korzystania z Kinect na Xbox One, ale konsola nadal była dostarczana z urządzeniem po jego premierze w listopadzie 2013 roku.

Sprzedaż

Ogłaszając zaprzestanie produkcji Kinect w wywiadzie dla Fast Co. Design 25 października 2017 r., Microsoft stwierdził, że od czasu jego premiery sprzedano 35 milionów sztuk. Do lutego 2013 r. wysłano 24 miliony jednostek Kinect. Po sprzedaniu 8 milionów jednostek w ciągu pierwszych 60 dni na rynku, Kinect ustanowił Światowy Rekord Guinnessa jako „najszybciej sprzedające się urządzenie elektroniki użytkowej”. Według analityka Wedbush, Michaela Pachtera, pakiety Kinect stanowiły około połowy całej sprzedaży konsoli Xbox 360 w grudniu 2010 roku i ponad dwie trzecie w lutym 2011 roku. W tygodniu poprzedzającym Czarny Piątek 2011 sprzedano ponad 750 000 jednostek Kinect.

Inne kontrolery ruchu

Kinect konkuruje z kilkoma kontrolerami ruchu na innych konsolach domowych, takimi jak Wii Remote , Wii Remote Plus i Wii Balance Board na Wii i Wii U , PlayStation Move i PlayStation Eye na PlayStation 3 oraz PlayStation Camera na PlayStation 4 .

Nagrody

  • Uczenie maszynowe nad przechwytywaniem ruchu człowieka w sensorze Kinect zdobyło nagrodę MacRobert Award 2011 za innowacje inżynieryjne.
  • Kinect zdobył nagrodę „Gadget of the Year” dla T3 za rok 2011. Zdobył także nagrodę „Gaming Gadget of the Year”.
  • „Microsoft Kinect for Windows Software Development Kit” zajął drugie miejsce w rankingu „10 najbardziej innowacyjnych produktów technicznych 2011 roku” podczas ceremonii Popular Mechanics Breakthrough Awards w Nowym Jorku.
  • Microsoft Kinect dla systemu Windows zdobył nagrodę za Innowację Roku w konkursie Seattle 2.0 Startup Awards 2012.

Zobacz też

Bibliografia

Zewnętrzne linki