Automatyzacja czyszczenia danych

Automatyzacja czyszczenia danych to zaplanowane procesy cyklicznie usuwające lub porządkujące nieaktualne rekordy w bazie.

Zakres i cel automatycznego czyszczenia danych

Automatyzacja czyszczenia danych polega na wykonywaniu wcześniej zdefiniowanych operacji bez ręcznego przeglądania każdego rekordu. Proces może usuwać dane, które utraciły znaczenie, przenosić starsze wpisy do archiwum, ujednolicać format wartości albo oznaczać rekordy wymagające dodatkowej kontroli. Najważniejsze jest rozdzielenie reguł kwalifikacji od samej operacji modyfikującej dane. Reguła może określać na przykład wiek wpisu, jego status, kompletność pól lub obecność duplikatu.

Typowy proces składa się z harmonogramu, źródła danych, zestawu warunków oraz mechanizmu zapisu wyniku. Harmonogram uruchamia zadanie cyklicznie, natomiast warunki ograniczają zakres rekordów poddawanych zmianom. W praktycznym rozwiązaniu powinno być możliwe odróżnienie danych aktywnych od nieaktualnych, tymczasowych, testowych i błędnych. Samo usunięcie wszystkich starych rekordów nie jest bezpieczną regułą, ponieważ wiek danych nie zawsze oznacza ich nieprzydatność.

Reguły kwalifikacji rekordów do porządkowania

Podstawą czyszczenia jest jednoznaczne wskazanie, które wartości mają zostać zmienione. Warunek może obejmować datę utworzenia, datę ostatniej modyfikacji, kod statusu, źródło pochodzenia lub relację z innym rekordem. W przypadku plików lokalnych analogiczną funkcję pełnią reguły dotyczące rozszerzenia, lokalizacji, rozmiaru i czasu ostatniego dostępu. Przy czyszczeniu tabel trzeba dodatkowo uwzględnić zależności między rekordami, ponieważ usunięcie wpisu nadrzędnego może naruszyć odwołania zapisane w tabelach powiązanych.

Warto rozdzielić czyszczenie logiczne od fizycznego. Czyszczenie logiczne polega na ustawieniu pola, takiego jak is_active albo deleted_at, bez natychmiastowego usuwania wiersza. Dzięki temu aplikacja może przestać wykorzystywać rekord, a administrator zyskuje możliwość kontroli wyniku operacji. Czyszczenie fizyczne usuwa dane z głównego zbioru i powinno być wykonywane dopiero po sprawdzeniu, że rekordy nie są już potrzebne żadnemu działającemu procesowi. Przy duplikatach automatyzacja powinna najpierw ustalić rekord wzorcowy, na przykład na podstawie daty utworzenia lub kompletności pól.

Reguły powinny być odporne na wartości puste, niepoprawne daty i różnice zapisu. Data zapisana w kilku formatach może spowodować błędną ocenę wieku rekordu, podobnie jak porównywanie tekstu zamiast wartości liczbowej. Przed zmianą danych przydatny jest tryb raportowy, w którym system wyłącznie wylicza liczbę kandydatów i zapisuje przykładowe identyfikatory. Dopiero po weryfikacji raportu można uruchomić etap modyfikacji.

Harmonogram, transakcje i kontrola przebiegu

Zadanie czyszczące może być uruchamiane o określonej porze, po zakończeniu innego procesu albo po przekroczeniu ustalonego rozmiaru zbioru tymczasowego. Harmonogram nie powinien powodować równoległego uruchomienia kilku identycznych instancji, ponieważ dwa zadania mogą próbować zmienić te same rekordy. Stosuje się w tym celu blokadę zadania, identyfikator uruchomienia albo kontrolę stanu poprzedniej sesji. Jeżeli operacja trwa długo, korzystniejsze jest przetwarzanie danych partiami niż jednorazowa modyfikacja całego zbioru.

Operacje zmieniające dane powinny korzystać z transakcji tam, gdzie silnik przechowywania danych zapewnia taką możliwość. Transakcja pozwala zatwierdzić kompletną partię albo wycofać ją po wykryciu błędu. Przy dużych zbiorach zbyt długa transakcja może jednak blokować inne operacje, zwiększać zużycie dziennika zmian i utrudniać odzyskiwanie po awarii. Dlatego wielkość partii trzeba dobrać do wydajności urządzenia, obciążenia aplikacji i charakteru danych. Po każdej partii warto zapisać liczbę znalezionych, zmienionych, pominiętych i odrzuconych rekordów.

Kontrola przebiegu obejmuje również obsługę błędów częściowych. Jeżeli jeden rekord ma uszkodzoną wartość, całe zadanie nie zawsze powinno przerywać pracę, ale błąd musi zostać odnotowany wraz z identyfikatorem rekordu i przyczyną odrzucenia. Log powinien wskazywać czas rozpoczęcia, czas zakończenia, zastosowaną wersję reguł oraz wynik operacji. Przydatny jest także limit maksymalnej liczby zmian. Jeżeli zwykle porządkowanych jest kilkaset wpisów, a nowe uruchomienie kwalifikuje kilkaset tysięcy, limit może zatrzymać proces przed masową modyfikacją.

Wpływ czyszczenia na pliki, aplikacje i diagnostykę

Błędnie zaplanowane czyszczenie może usunąć pliki tymczasowe używane przez działającą aplikację, skasować lokalny dziennik potrzebny do analizy awarii albo zmienić dane konfiguracyjne przechowywane w profilu użytkownika. Z tego powodu przed uruchomieniem zadania należy rozpoznać lokalizacje robocze programu, pliki blokad i katalogi przeznaczone na dane użytkownika. Nie powinno się utożsamiać rozszerzenia pliku z jego przeznaczeniem, ponieważ plik o tej samej końcówce może być aktywnie używany przez różne programy.

Na laptopie lub komputerze PC automatyzacja może dotyczyć między innymi porządkowania pamięci podręcznej, raportów diagnostycznych, kopii roboczych i plików tymczasowych. Przed usunięciem należy sprawdzić, czy aplikacja nie jest uruchomiona, czy plik nie jest otwarty oraz czy istnieje kopia danych potrzebnych do odtworzenia konfiguracji. Jeżeli po czyszczeniu pojawiają się błędy aplikacji, znikają dokumenty lub zmienia się ilość wolnego miejsca w sposób niezgodny z raportem, diagnostyka powinna objąć harmonogramy zadań, skrypty startowe, uprawnienia oraz logi systemowe.

Warszawskie Pogotowie Komputerowe wykonuje profesjonalną naprawę laptopów, komputerów PC i ich podzespołów, a w ramach diagnostyki można sprawdzić objawy związane z działaniem aplikacji, brakiem miejsca na dysku lub nieprawidłowym przebiegiem zadań automatycznych. Analiza powinna rozpocząć się od ustalenia, co dokładnie zostało usunięte lub zmienione, kiedy nastąpiło zdarzenie i który proces miał uprawnienia do wykonania operacji.