Lokalizacja błędów danych

Lokalizacja błędów danych to ustalenie, w których wierszach i kolumnach występują wartości niezgodne z regułami.

Na czym polega lokalizacja błędów danych

Lokalizacja błędów danych to proces ustalania, które dokładnie rekordy, wiersze, kolumny lub pola zawierają wartości niezgodne z przyjętymi regułami. Sama informacja, że zbiór danych jest niepoprawny, zwykle nie wystarcza do usunięcia problemu. Potrzebne jest wskazanie miejsca wystąpienia błędu oraz określenie, na czym polega niezgodność. Przykładem może być tekst wpisany w kolumnie przeznaczonej na liczby, pusta wartość w polu wymaganym albo data zapisana w formacie, którego nie obsługuje używany program.

Analiza może obejmować pojedynczy plik, arkusz kalkulacyjny, eksport z aplikacji, tabelę w bazie danych albo dane przekazywane pomiędzy kilkoma programami. W każdym przypadku należy najpierw określić oczekiwany schemat: nazwy kolumn, typy wartości, dopuszczalne zakresy, format zapisu oraz zależności między rekordami. Dopiero porównanie rzeczywistej zawartości z tym schematem pozwala rozróżnić błąd techniczny od wartości, która jest nietypowa, ale prawidłowa.

Reguły wykrywania niezgodnych rekordów

Najprostszą metodą jest sprawdzenie typu i formatu danych. W kolumnie liczbowej mogą wystąpić przypadkowe spacje, symbole waluty, separator dziesiętny używany w innym ustawieniu regionalnym albo słowo wpisane zamiast liczby. W polu daty problemem może być niejednoznaczna kolejność dnia, miesiąca i roku. Wartości logiczne, takie jak prawda i fałsz, również powinny mieć ustaloną reprezentację, ponieważ naprzemienne użycie słów, skrótów i wartości liczbowych utrudnia dalsze przetwarzanie.

Kolejna grupa kontroli dotyczy kompletności i zakresu. Należy sprawdzić, czy pola wymagane nie są puste, czy liczby mieszczą się w dopuszczalnym przedziale oraz czy tekst nie przekracza maksymalnej długości przewidzianej przez aplikację. Warto odróżnić pustą wartość od zera, wartości „brak danych” od tekstu oraz brak pola od pola zawierającego błąd. Kontrola duplikatów jest potrzebna wtedy, gdy określony identyfikator powinien być unikalny. W danych powiązanych należy dodatkowo sprawdzić, czy odwołania do identyfikatorów istnieją w tabeli lub pliku nadrzędnym.

Nie każda nietypowa wartość jest błędem. Wysoka kwota, długi opis lub pojedyncza data odbiegająca od pozostałych rekordów mogą być prawidłowe. Dlatego wykrywanie anomalii powinno prowadzić do weryfikacji konkretnego rekordu, a nie do automatycznego usuwania każdej wartości odstającej. Reguły powinny wynikać z przeznaczenia danych i sposobu ich wykorzystania.

Śledzenie błędu przez kolejne etapy przetwarzania

W praktyce błąd często nie powstaje w miejscu, w którym zostaje zauważony. Wartość może zostać zmieniona podczas ręcznego wpisywania, importu pliku, konwersji kodowania znaków, kopiowania między arkuszami albo eksportu z programu. Lokalizacja błędu wymaga więc porównania danych na kolejnych etapach przepływu. Jeżeli niezgodność występuje już w pliku źródłowym, przyczyny należy szukać przed importem. Jeżeli pojawia się dopiero po imporcie, trzeba sprawdzić mapowanie kolumn, konwersję typów i ustawienia regionalne.

Pomocne jest zachowanie identyfikatora rekordu oraz numeru wiersza na każdym etapie. Dzięki temu można porównać pierwotną wartość z wartością przetworzoną, ustalić moment jej zmiany i ocenić, czy problem dotyczy jednego rekordu, całej kolumny czy określonej partii danych. Przydatne są także informacje o czasie importu, nazwie pliku, użytej wersji programu i zastosowanych filtrach. Bez takiego śladu łatwo pomylić błąd źródłowy z błędem prezentacji.

Wynik analizy powinien zawierać co najmniej lokalizację, opis reguły, która została naruszona, wartość zastaną oraz oczekiwany sposób korekty. Dobrą praktyką jest zapisanie raportu przed zmianą danych. Umożliwia to ponowne sprawdzenie, czy korekta usunęła problem i czy nie zmieniła prawidłowych rekordów. W przypadku ważnych plików należy pracować na kopii, zachowując oryginał do porównania.

Znaczenie sprawdzenia środowiska komputera

Nieprawidłowe dane mogą wynikać nie tylko z błędnego wpisu, lecz także z problemu z działaniem programu, uszkodzonego pliku, błędnego importu albo niestabilnego nośnika. Jeżeli te same rekordy zmieniają się po ponownym otwarciu, znikają fragmenty pliku lub aplikacja zgłasza błędy odczytu i zapisu, sama analiza tabeli może nie wystarczyć. Należy wtedy sprawdzić, czy problem występuje również na kopii pliku, w innym programie oraz na innym komputerze. Taki test pomaga oddzielić błąd logiczny danych od problemu środowiskowego.

Warszawskie Pogotowie Komputerowe wykonuje naprawę laptopów, komputerów stacjonarnych PC i ich podzespołów, gdy problemy z działaniem aplikacji lub zapisem plików wymagają sprawdzenia sprzętu oraz oprogramowania. W ramach diagnostyki można ustalić, czy nieprawidłowe wyświetlanie, utrata zawartości albo błędy odczytu są związane z konkretnym plikiem, aplikacją, systemem operacyjnym lub działaniem komputera. Wnioski z lokalizacji błędów danych powinny być zapisane przed modyfikacją rekordów, aby możliwe było rozdzielenie naprawy danych od naprawy środowiska, w którym dane są przechowywane i przetwarzane.