Jak procesor analogowy może zrewolucjonizować Edge AI

^{Wiele firm, od IBM po RAIN Neuromorphic, dostrzega potencjał, ale Mythic jest pierwszym na rynku.}

Alberto Romero, analityk Cambrian-AI, przyczynił się do powstania tego artykułu.

Mythic to firma zajmująca się procesorami sztucznej inteligencji, zaprojektowana w celu przezwyciężenia rosnących ograniczeń procesorów cyfrowych. Firma Mythic, założona przez Mike’a Henry’ego i Dave’a Vicka, z siedzibą w Teksasie, Austin i Redwood City w Kalifornii, ma na celu rozwiązanie technicznych i fizycznych wąskich gardeł, które ograniczają obecne procesory poprzez wykorzystanie obliczeń analogowych w świecie zdominowanym przez technologię cyfrową. Mythic chce udowodnić, że wbrew powszechnemu przekonaniu analog nie jest reliktem przeszłości, ale obietnicą na przyszłość.

Istnieją dwa główne problemy hamujące tempo rozwoju urządzeń cyfrowych: koniec prawa Moore’a i architektura von Neumanna. Przez 60 lat cieszyliśmy się coraz większą mocą urządzeń, jak przewidywał Gordon Moore w 1965 roku, ale gdy zbliżamy się do minimalnej teoretycznej wielkości tranzystorów, wydaje się, że jego dobrze wykorzystane prawo wkrótce wygaśnie. Innym znanym problemem jest konieczność w architekturze Von Neumanna przesyłania danych z pamięci do procesora iz powrotem w celu wykonania obliczeń. To podejście jest coraz częściej zastępowane przez metody obliczeniowe w pamięci (CIM) lub metody przetwarzania bliskiej pamięci, które radykalnie zmniejszają przepustowość pamięci i czas odpowiedzi, jednocześnie zwiększając wydajność.

Powrót przetwarzania analogowego?

Mythic twierdzi, że zbudował unikalne rozwiązanie zmieniające paradygmat, które obiecuje rozwiązać cyfrowe ograniczenia, zapewniając jednocześnie ulepszone specyfikacje w porównaniu z najlepszymi w swojej klasie rozwiązaniami cyfrowymi: Analog Computing Engine (ACE). W przeszłości komputery analogowe zostały zastąpione komputerami cyfrowymi ze względu na niższy koszt, rozmiar i charakter ogólnego przeznaczenia. Jednak obecny krajobraz sztucznej inteligencji jest zdominowany przez głębokie sieci neuronowe (DNN), które nie wymagają ekstremalnej dokładności, a co najważniejsze, większość obliczeń odbywa się w jednym procesie: mnożeniu macierzy. Doskonała okazja do obliczeń analogowych.

Co więcej, Mythic wykorzystuje zalety architektury CIM i przepływu danych, aby uzyskać świetne wyniki na wczesnym etapie. Doprowadzili CIM do ekstremum, przetwarzając dane bezpośrednio w komórkach pamięci flash. Analogowe procesory matrycowe przyjmują wejście jako napięcie, wagi są przechowywane jako rezystancja, a wyjście jest prądem wyjściowym. Ponadto projekt przepływu danych zapewnia równoległe działanie tych procesów, co pozwala na bardzo szybkie i wydajne obliczenia przy zachowaniu wysokiej wydajności. Inteligentne połączenie obliczeń analogowych, CIM i inżynierii przepływu danych definiuje Mythic ACE, kluczową technologię doskonałości firmy.

Program ACE firmy Mythic spełnia wymagania zaawansowanego wnioskowania AI

Technologia mityczna zapewnia wysoką wydajność przy bardzo niskim poborze mocy, bardzo małych opóźnieniach, niskich kosztach i niewielkich rozmiarach. Podstawowym elementem jest Analog Matrix Processor (AMP), który zawiera zestaw kwadratów, z których każdy zawiera ACE uzupełniony o elementy cyfrowe: SRAM, moduł wektorowy SIMD, router NoC i 32-bitowy nanoprocesor RISC-V. Innowacyjna konstrukcja ACE eliminuje potrzebę DDR DRAM, zmniejszając opóźnienia, koszty i zużycie energii. Chipy AMP można skalować, zapewniając obsługę dużych lub wielu formatów. Ich pierwszy produkt, jednoukładowy M1076 AMP (76 segmentów AMP) może obsługiwać wiele aplikacji punktów końcowych i może być skalowany do 4 AMP, a nawet 16 AMP na jednej karcie PCI Express, co zapewnia wysoką wydajność na zaawansowanym poziomie serwera posługiwać się.

Sprzęt jest uzupełniany przez stos oprogramowania, który zapewnia płynne przejście od wykresu (ONNX i PyTorch) do pakietu gotowego do AMP poprzez optymalizację procesu (w tym kwantyzację do analogowego INT8) i montaż. Platforma Mythic obsługuje również bibliotekę gotowych do użycia sieci DNN, w tym wykrywanie/klasyfikacje obiektów (YOLO, ResNet itp.) oraz modele estymacji trybów (OpenPose).

Kompleksowe rozwiązanie firmy zwiększa możliwości procesorów analogowych, zachowując jednocześnie cechy istotne dla świata cyfrowego. To sprawia, że ​​M1076 AMP jest doskonałym wyborem do szybszej i wydajniejszej obsługi obciążeń AI na krawędzi — firma twierdzi, że zapewnia „lepsze TOPS/W” — niż jej całkowicie cyfrowe odpowiedniki. To, w połączeniu z szeroką ofertą produktów i modelami sztucznej inteligencji, sprawia, że ​​firma jest dobrze przygotowana do kierowania się na szybko rozwijające się rynki skoncentrowane na sztucznej inteligencji, takie jak nadzór wideo, inteligentne urządzenia domowe, rozszerzona/wirtualna rzeczywistość, drony i robotyka.

Jak na razie wydaje się, że Mythic przekształcił innowacyjny pomysł w obiecującą technologię, która będzie konkurować o heurystykę AI. Zobaczmy teraz liczby. Firma twierdzi, że M1076 AMP działa do 25 TOPS przy około 3W. W porównaniu z podobnymi urządzeniami cyfrowymi oznacza to nawet 10-krotne zmniejszenie zużycia energii. Może przechowywać na chipie do 80 metrów wagi. Karta MP10304 Quad-AMP PCIe może dostarczyć do 100 TOPS przy 25 W i przechowywać 320 Mb wagi. Kiedy porównujemy te twierdzenia z wieloma innymi, nie możemy nie być pod wrażeniem.

Wnioski

Sukces analogowej sztucznej inteligencji będzie zależał od osiągnięcia wysokiej gęstości, wysokiej przepustowości, małych opóźnień i wysokiej efektywności energetycznej, przy jednoczesnym zapewnieniu dokładnych prognoz. W porównaniu z aplikacjami czysto cyfrowymi obwody analogowe są z natury hałaśliwe, ale pomimo tego wyzwania, korzyści z przetwarzania analogowego stają się oczywiste, ponieważ procesory takie jak M1076 są w stanie obsługiwać większe modele DNN o wyższej rozdzielczości, wyższej rozdzielczości lub niższym opóźnieniu.

Ponieważ firma Mythic kontynuuje ulepszanie swojego sprzętu i oprogramowania, nie możemy się doczekać testów porównawczych, które mogą zademonstrować możliwości platformy i efektywność energetyczną. Ale widzieliśmy już wystarczająco dużo, by być podekscytowanym potencjałem tego wyjątkowego podejścia.