Automatyczne importy danych

Automatyczne importy danych to zaplanowane procesy cyklicznie pobierające dane z zewnętrznych źródeł do bazy danych.

Jak działa cykliczne pobieranie danych

Automatyczny import danych jest procesem, w którym program zgodnie z ustalonym harmonogramem pobiera informacje z zewnętrznego źródła i zapisuje je w docelowym systemie. Źródłem może być plik CSV umieszczony w określonym katalogu, dokument XML, odpowiedź JSON z interfejsu API albo zasób dostępny przez protokół HTTP, HTTPS, FTP lub SFTP. Proces zwykle składa się z kilku etapów: uruchomienia zadania, nawiązania połączenia, uwierzytelnienia, pobrania danych, sprawdzenia ich struktury, przekształcenia wartości i zapisania rekordów w bazie danych.

Harmonogram nie oznacza, że dane zawsze zostaną zaimportowane poprawnie. Zadanie może zostać uruchomione, ale zakończyć się błędem połączenia, brakiem pliku, nieprawidłowym hasłem, przekroczeniem czasu oczekiwania albo odrzuceniem rekordu przez walidację. Dlatego poprawnie zaprojektowany import rozróżnia co najmniej stan rozpoczęcia, pobrania źródła, przetwarzania oraz zatwierdzenia zapisu. Informacja o samym uruchomieniu zadania nie jest dowodem, że dane trafiły do bazy.

Format źródła, mapowanie i walidacja rekordów

Podczas importu program musi wiedzieć, jak interpretować dane wejściowe. W pliku CSV znaczenie mają między innymi separator kolumn, kodowanie znaków, obecność wiersza nagłówkowego i sposób zapisu wartości pustych. W formacie JSON istotna jest hierarchia obiektów, nazwy właściwości oraz typy wartości, na przykład rozróżnienie między liczbą, tekstem, wartością logiczną i wartością null. W XML znaczenie ma struktura elementów oraz zgodność dokumentu z oczekiwanym schematem. Zmiana nazwy pola lub formatu daty może spowodować odrzucenie części danych albo zapisanie ich w niewłaściwy sposób.

Mapowanie określa, do których pól docelowej tabeli lub formularza trafiają wartości ze źródła. Przed zapisem stosuje się walidację typu, długości, zakresu i zależności między polami. Data może wymagać określonego formatu, liczba może nie akceptować separatora dziesiętnego używanego w innym ustawieniu regionalnym, a identyfikator może być wymagany do rozpoznania istniejącego rekordu. Warto także ustalić, czy ponowny import ma utworzyć nowy wpis, zaktualizować istniejący rekord, czy pominąć dane już wcześniej przetworzone. Bez takiej reguły wielokrotne uruchamianie zadania może prowadzić do duplikatów.

Kontrola przebiegu i bezpieczne ponawianie operacji

Automatyczny import powinien pozostawiać ślad techniczny pozwalający ustalić, co wydarzyło się podczas konkretnego uruchomienia. Przydatne są informacje o czasie rozpoczęcia i zakończenia, nazwie źródła, liczbie odczytanych rekordów, liczbie zapisanych danych oraz liczbie odrzuceń. Komunikat błędu powinien wskazywać etap problemu, na przykład brak połączenia, niezgodność struktury pliku albo naruszenie ograniczenia unikalności. Sam ogólny komunikat typu „import nieudany” utrudnia rozróżnienie awarii sieci od błędu danych.

Ważną cechą procesu jest idempotencja, czyli możliwość ponownego wykonania tej samej operacji bez niekontrolowanego powielania wyników. Osiąga się ją między innymi przez użycie stabilnego identyfikatora rekordu, zapamiętywanie znaczników przetworzenia lub stosowanie operacji aktualizacji zamiast ślepego dodawania. Jeżeli pobieranie zostało przerwane po zapisaniu części danych, system powinien umieć rozpoznać zakres już przetworzony albo wycofać niepełną transakcję. Ponawianie po błędzie musi uwzględniać także sytuację, w której źródło jest chwilowo niedostępne. Wielokrotne natychmiastowe próby mogą przeciążyć połączenie lub wywołać blokadę dostępu, dlatego stosuje się odstępy między próbami i limit ich liczby.

Co sprawdzić, gdy import przestaje aktualizować dane

W przypadku braku nowych danych należy najpierw sprawdzić, czy zadanie jest faktycznie uruchamiane przez mechanizm harmonogramu systemu lub aplikacji. Następnie warto zweryfikować dostępność źródła, poprawność ścieżki do pliku albo adresu API, ważność danych uwierzytelniających i możliwość rozwiązania nazwy hosta. Przy połączeniu sieciowym znaczenie mają również reguły zapory, certyfikat HTTPS, dostępność odpowiedniego portu oraz ewentualne limity po stronie źródła. Jeżeli plik jest pobierany, lecz liczba zapisanych rekordów wynosi zero, trzeba porównać jego aktualną strukturę z mapowaniem używanym przez importer.

Warszawskie Pogotowie Komputerowe zajmuje się profesjonalną naprawą laptopów, komputerów stacjonarnych PC i podzespołów, dlatego przy problemach z automatycznym importem można sprawdzić na używanym komputerze działanie systemu, połączenia sieciowego, aplikacji uruchamiającej zadanie oraz lokalnych logów. Diagnoza powinna ustalić, czy przyczyną jest awaria sprzętu, brak zasobów, uszkodzenie systemu plików, nieprawidłowa konfiguracja programu czy błąd po stronie zewnętrznego źródła. Dopiero po rozdzieleniu tych obszarów można ocenić, czy potrzebna jest naprawa komputera, korekta ustawień aplikacji, czy analiza samego procesu importu.