Rockchip AI Series

Rockchip AI Series to rodzina procesorów tej firmy wyposażona w dedykowaną akcelerację obliczeń sztucznej inteligencji.

Rodzina układów Rockchip z akceleracją AI

Rockchip AI Series to określenie grupy układów scalonych firmy Rockchip, w których obok procesora centralnego i układu graficznego znajduje się dedykowany blok NPU (Neural Processing Unit). NPU wykonuje wybrane operacje typowe dla uczenia maszynowego, przede wszystkim mnożenie macierzy, operacje na wektorach oraz obliczenia tensorowe. Dzięki temu analiza obrazu, klasyfikacja obiektów lub rozpoznawanie cech dźwięku może być realizowane lokalnie, bez przekazywania każdego fragmentu danych do zewnętrznego serwera.

Nazwa AI Series nie wskazuje jednego procesora ani jednego modelu płytki. Obejmuje różne układy Rockchip przeznaczone między innymi do kamer, urządzeń brzegowych, terminali, robotów, systemów multimedialnych i komputerów jednopłytkowych. Poszczególne modele różnią się architekturą CPU, możliwościami GPU, typem pamięci, interfejsami wejścia-wyjścia, obsługiwanymi formatami obrazu oraz wydajnością jednostki NPU. Przy identyfikacji urządzenia trzeba więc sprawdzić dokładne oznaczenie układu, a nie poprzestawać na ogólnej nazwie rodziny.

Jak NPU współpracuje z procesorem i pamięcią

Program uruchomiony na urządzeniu nie przekazuje automatycznie wszystkich obliczeń do NPU. Zwykle model sieci neuronowej jest najpierw przygotowywany w narzędziach programistycznych Rockchip, a następnie konwertowany do formatu odpowiedniego dla konkretnego układu. W trakcie konwersji określa się między innymi typy danych, układ operatorów oraz sposób przekazywania buforów pomiędzy pamięcią systemową a akceleratorem. Operator, którego nie obsługuje dany NPU, może zostać wykonany przez CPU, GPU albo warstwę programową, co zmienia rzeczywistą wydajność całego rozwiązania.

W zastosowaniach wizyjnych typowy przepływ obejmuje pobranie obrazu z kamery, zmianę jego rozdzielczości i formatu, wykonanie inferencji przez NPU oraz dalszą interpretację wyników przez procesor centralny. Inferencja oznacza zastosowanie wcześniej wytrenowanego modelu do nowych danych; nie jest tym samym co trenowanie sieci. Ostateczny czas działania zależy nie tylko od samej jednostki AI, lecz także od przepustowości pamięci, kopiowania danych, dekodowania obrazu, obciążenia CPU i liczby operacji wykonywanych poza NPU.

Modele, kwantyzacja i zgodność operatorów

Jednym z istotnych etapów wdrożenia jest kwantyzacja modelu. Polega ona na zastąpieniu części obliczeń zmiennoprzecinkowych reprezentacją o mniejszej precyzji, na przykład całkowitą. Zmniejsza to zapotrzebowanie na pamięć i może przyspieszyć wykonanie na NPU, ale jednocześnie może wpłynąć na dokładność rozpoznawania. Dlatego model po konwersji powinien zostać sprawdzony na danych odpowiadających rzeczywistemu zastosowaniu, a nie tylko uruchomiony z wynikiem technicznie poprawnym.

Kompatybilność zależy od konkretnego modelu Rockchip oraz używanego zestawu narzędzi. Sama obecność pliku modelu w popularnym formacie nie gwarantuje pełnej obsługi. Znaczenie mają wersja środowiska uruchomieniowego, dostępne implementacje operatorów, kolejność warstw oraz sposób przygotowania wejścia. Problemy mogą objawiać się błędem konwersji, zatrzymaniem inferencji, nieprawidłowym kształtem tensora albo wynikami odbiegającymi od oczekiwań. Diagnostyka wymaga wtedy porównania modelu źródłowego z wersją przeznaczoną dla NPU oraz sprawdzenia, które warstwy zostały faktycznie przypisane do akceleratora.

Diagnostyka urządzenia z układem Rockchip AI Series

W przypadku problemów z urządzeniem wyposażonym w układ Rockchip AI Series należy najpierw ustalić dokładny model SoC, wersję systemu, rodzaj płytki oraz sposób zasilania. Następnie sprawdza się, czy urządzenie jest poprawnie wykrywane, czy pamięć masowa i pamięć operacyjna działają stabilnie oraz czy sterowniki i biblioteki NPU odpowiadają użytej wersji systemu. Objawy takie jak niska liczba klatek, opóźnienia lub błędne klasyfikacje nie muszą oznaczać uszkodzenia akceleratora. Często wynikają z niezgodnego modelu, nieprawidłowego formatu obrazu albo przeniesienia części operatorów na CPU.

Serwisowa ocena takiego sprzętu powinna rozdzielać usterkę elektroniczną od problemu konfiguracji oprogramowania. Warto obserwować temperaturę układu, stabilność zasilania, błędy pamięci i powtarzalność działania pod obciążeniem. Jeżeli urządzenie jest wykorzystywane jako element laptopa, komputera PC lub zewnętrznego podzespołu, diagnostyka obejmuje także połączenia, nośnik systemowy i komunikację z pozostałymi komponentami. Wymiana elementu ma sens dopiero po potwierdzeniu, że problem nie wynika z modelu AI, sterownika, obrazu systemu lub niewłaściwego chłodzenia.

Warszawskie Pogotowie Komputerowe wykonuje profesjonalną naprawę laptopów, komputerów PC i ich podzespołów, w tym diagnostykę urządzeń wyposażonych w wyspecjalizowane układy obliczeniowe.