Jednostka przetwarzania wizyjnego - Vision processing unit
Jednostka przetwarzania wizyjnego ( VPU ) to (od 2018 r.) nowa klasa mikroprocesorów ; jest to specyficzny rodzaj akceleratora AI , zaprojektowany w celu przyspieszenia zadań widzenia maszynowego .
Przegląd
Jednostki przetwarzania wizyjnego różnią się od jednostek przetwarzania wideo (które specjalizują się w kodowaniu i dekodowaniu wideo ) pod względem przydatności do obsługi algorytmów widzenia maszynowego, takich jak CNN ( konwolucyjne sieci neuronowe ), SIFT ( przekształcenie cech niezmiennych w skali ) i tym podobne.
Mogą one obejmować bezpośrednie interfejsy do pobierania danych z kamer (z pominięciem buforów poza chipem) i kładą większy nacisk na przepływ danych w chipie między wieloma równoległymi jednostkami wykonawczymi z pamięcią typu scratchpad , takimi jak wielordzeniowe DSP . Ale, podobnie jak jednostki przetwarzania wideo, mogą skupiać się na arytmetyce stałoprzecinkowej o niskiej precyzji do przetwarzania obrazu .
Kontrast z procesorami graficznymi
Różnią się one od procesorów graficznych , które zawierają wyspecjalizowany sprzęt do rasteryzacji i mapowania tekstur (dla grafiki 3D ) i których architektura pamięci jest zoptymalizowana pod kątem manipulowania obrazami bitmapowymi w pamięci poza układem (odczytywanie tekstur i modyfikowanie buforów ramek za pomocą wzorców dostępu losowego ). .
Rynkami docelowymi są robotyka , internet rzeczy , nowe klasy aparatów cyfrowych do rzeczywistości wirtualnej i rzeczywistości rozszerzonej , inteligentne kamery oraz integracja akceleracji widzenia maszynowego ze smartfonami i innymi urządzeniami mobilnymi .
Przykłady
- Movidius Myriad X , czyli jednostka przetwarzania obrazu trzeciej generacji w linii Myriad VPU firmy Intel Corporation .
- Movidius Myriad 2 , który znajduje zastosowanie w Google Project Tango , Google Clips i DJI Drones
- Pixel Visual Core (PVC), który jest w pełni programowalnym procesorem obrazu , wizji i sztucznej inteligencji dla urządzeń mobilnych
- Microsoft HoloLens , który zawiera akcelerator określany jako Holographic Processing Unit (komplementarny do jego procesora i GPU), mający na celu interpretację sygnałów wejściowych z kamery, aby przyspieszyć śledzenie środowiska i wizję dla aplikacji rzeczywistości rozszerzonej.
- Eyeriss , projekt z MIT przeznaczony do prowadzenia konwolucyjnych sieci neuronowych .
- NeuFlow , projekt przez Yann LeCun (realizowany w FPGA ) dla przyspieszenia zwoje , wykorzystując architekturę przepływu danych.
- Mobileye EyeQ firmy Mobileye
- Programowalny akcelerator wizji (PVA), 7-drożny procesor wizyjny VLIW zaprojektowany przez Nvidię .
Podobne procesory
Niektóre procesory nie są opisane jako VPU, ale w równym stopniu nadają się do zadań widzenia maszynowego. Mogą one tworzyć szerszą kategorię akceleratorów AI (do których mogą należeć również VPU), jednak od 2016 r. nie ma zgody co do nazwy:
- IBM TrueNorth , procesor neuromorficzny przeznaczony do podobnych zadań rozpoznawania wzorców danych z czujników i wykonywania zadań związanych z inteligencją, w tym wideo/audio.
- Jednostka przetwarzania Qualcomm Zeroth Neural , kolejny wpis w powstającej klasie chipów zorientowanych na czujniki/AI.
Zobacz też
- Adapteva Epiphany , procesor Manycore z podobnym naciskiem na przepływ danych na chipie, skupia się na 32-bitowej wydajności zmiennoprzecinkowej .
- CELL , wielordzeniowy procesor o funkcjach dość zgodnych z jednostkami przetwarzania obrazu ( instrukcje SIMD i typy danych odpowiednie dla wideo oraz na chipie DMA między pamięciami notatnika).
- Koprocesor
- Jednostka przetwarzania grafiki , również powszechnie używana do uruchamiania algorytmów wizyjnych. Architektura Pascal firmy NVidia obejmuje obsługę 16 FP , aby zapewnić lepszy kompromis między precyzją a kosztami dla obciążeń AI.
- MPSoC
- OpenCL
- OpenVX
- Jednostka przetwarzania fizyki to dawna próba uzupełnienia procesora i karty graficznej o akcelerator o wysokiej przepustowości.
- Tensor Processing Unit , chip używany wewnętrznie przez Google do przyspieszania obliczeń AI.