Rockchip RV Series

Rockchip RV Series to rodzina procesorów tej firmy zoptymalizowana pod zastosowania obliczeń wizyjnych.

Zakres rodziny Rockchip RV Series

Rockchip RV Series to oznaczenie układów SoC projektowanych przede wszystkim do urządzeń wykorzystujących analizę obrazu. Nie jest to jedna, jednolita jednostka centralna o stałej konfiguracji, lecz grupa różnych procesorów wizji, między innymi RV1103, RV1106, RV1108, RV1109, RV1126 oraz nowszy RV1126B. Poszczególne modele różnią się procesorem ARM, układem NPU, możliwościami ISP, obsługą kamer, kodekami wideo, interfejsami pamięci i poborem energii. Dlatego przy diagnozowaniu konkretnej płyty trzeba sprawdzić pełne oznaczenie układu, a nie traktować każdego procesora RV jako zamiennika innego modelu.

Układy te są przeznaczone do przetwarzania danych z kamer i innych sensorów obrazu. Stosuje się je między innymi w kamerach IP, wideodomofonach, inteligentnych zamkach, urządzeniach kontroli dostępu, kamerach samochodowych, modułach widzenia maszynowego i systemach konferencyjnych. W odróżnieniu od typowego procesora laptopowego Rockchip RV łączy w jednym układzie rdzenie CPU, blok przetwarzania obrazu ISP, sprzętowy koder lub dekoder wideo, kontrolery pamięci i wyspecjalizowany akcelerator sieci neuronowych.

CPU, NPU i przetwarzanie obrazu

Przykładowe RV1103 i RV1106 mają rdzenie ARM Cortex-A7, mikrokontroler oraz zintegrowany układ NPU. Według materiałów Rockchip ich NPU osiąga do 0,5 TOPS dla operacji INT8, a w określonych trybach INT4 deklarowana wydajność może sięgać 1,0 TOPS. Te wartości opisują zdolność akceleratora do wykonywania operacji sieci neuronowych, a nie ogólną szybkość systemu operacyjnego. Rzeczywista wydajność zależy od modelu sieci, kwantyzacji, dostępu do pamięci i obsługiwanych operatorów.

RV1126 korzysta z czterech rdzeni ARM Cortex-A7 i ma NPU o wydajności do 2,0 TOPS dla INT8 oraz INT16. Układ wyposażono w 14-megapikselowy ISP 2.0, obsługę HDR oraz wejścia kamer przez MIPI CSI, LVDS, sub-LVDS i DVP. RV1126 może kodować i dekodować obraz H.264 oraz H.265 w rozdzielczości do 3840 × 2160 przy 30 klatkach na sekundę, zależnie od konfiguracji strumieni i wymagań konkretnego projektu.

RV1126B jest odrębną, nowszą konstrukcją. Ma cztery rdzenie ARM Cortex-A53 zgodne z ARMv8-A, pamięć podręczną L1 po 32 KB dla instrukcji i danych na rdzeń oraz współdzieloną pamięć L2 o pojemności 512 KB. Wbudowany NPU osiąga do 3 TOPS i obsługuje między innymi INT4, INT8, INT16 oraz FP16. Układ zawiera maksymalnie 12-megapikselowy ISP, dodatkowy AI-ISP, akceleratory HDR, redukcji szumów, korekcji obiektywu typu fisheye i stabilizacji obrazu.

Kamera, kodeki i pamięć w urządzeniu

Najważniejszym elementem systemu z procesorem RV jest tor obrazu. Sygnał z matrycy kamery trafia do interfejsu wejściowego, następnie do ISP, gdzie wykonywane są operacje takie jak korekcja ekspozycji, balans bieli, redukcja szumu, HDR i konwersja formatów. Dopiero później dane mogą zostać przekazane do algorytmu działającego na NPU albo do sprzętowego kodera wideo. Awaria samego sensora, zasilania analogowego, zegara MIPI lub konfiguracji sterownika może więc wyglądać podobnie jak uszkodzenie procesora.

RV1103 i RV1106 są układami nastawionymi na energooszczędne przetwarzanie obrazu. Rockchip opisuje dla nich obsługę sensorów odpowiednio do około 4 i 5 megapikseli, a także sprzętowy koder obrazu i funkcje poprawy jakości obrazu. RV1126 zapewnia większą przepustowość i obsługę bardziej wymagających kamer. W RV1126B możliwe jest jednoczesne podłączenie wielu sensorów przez MIPI CSI lub interfejsy LVDS/sub-LVDS, przy czym liczba kamer i ich konfiguracja zależą od użytej płyty oraz projektu ścieżek sygnałowych.

Kontroler pamięci również nie jest taki sam w całej rodzinie. RV1126 obsługuje między innymi DDR3, DDR3L, LPDDR3 i DDR4, a także pamięci flash eMMC, SPI oraz NAND. RV1126B obsługuje DDR3, DDR3L, DDR4, LPDDR3, LPDDR4 i LPDDR4X oraz pamięci eMMC i SPI flash. W praktyce uszkodzenie pamięci, niewłaściwe jej zasilanie albo błędny obraz startowy może uniemożliwić uruchomienie systemu mimo poprawnej pracy samego rdzenia CPU.

Diagnostyka płyty z procesorem Rockchip RV

Diagnostykę należy rozpocząć od odczytania oznaczenia układu i dokumentacji przypisanej do konkretnego wariantu. Nie wolno zakładać, że firmware dla RV1106 będzie zgodny z RV1126 albo że płyta z RV1126B może zostać zaprogramowana obrazem przeznaczonym dla starszego RV1126. Różnice dotyczą między innymi mapy pamięci, kontrolera DRAM, bloków ISP, sterowników kamery, peryferiów i konfiguracji pinów. Wymiana układu wymaga zgodności obudowy, wyprowadzeń, zasilania, pamięci oraz wersji oprogramowania startowego.

Podczas pomiarów warto sprawdzić kolejno napięcia zasilające rdzeń, pamięć DDR, część wejścia-wyjścia i tor analogowy kamery, a także sygnał resetu oraz obecność zegara. Jeżeli urządzenie nie przechodzi startu, pomocne są komunikaty z UART, stan pamięci SPI lub eMMC oraz obserwacja poboru prądu. Jeżeli system się uruchamia, ale obraz jest czarny, należy rozdzielić problem kamery od problemu ISP: sprawdzić wykrywanie sensora, konfigurację magistrali MIPI, częstotliwość zegara, format Bayer, rozdzielczość i liczbę klatek. Błąd w jednym z tych parametrów może powodować brak obrazu bez fizycznego uszkodzenia SoC.

Problemy z rozpoznawaniem twarzy, detekcją ruchu lub klasyfikacją obiektów nie muszą oznaczać awarii NPU. Przyczyną może być niezgodny model sieci, nieobsługiwany operator, błędna kwantyzacja, przepełnienie pamięci albo uszkodzenie danych wejściowych po etapie ISP. Weryfikacja powinna obejmować osobno obraz surowy, obraz po obróbce, działanie kodera H.264/H.265 i wynik aplikacji wykorzystującej NPU. Takie rozdzielenie pozwala ustalić, czy usterka dotyczy sprzętu, firmware, sterownika kamery czy aplikacji.