nieczytelne dane z platformy e-commerce

Nieczytelne dane z platformy e-commerce to eksport o strukturze utrudniającej dopasowanie pól do systemu docelowego.

Jak powstają nieczytelne dane w eksporcie e-commerce

Nieczytelne dane z platformy e-commerce to eksport, którego struktura utrudnia jednoznaczne przypisanie wartości do pól systemu docelowego. Problem może dotyczyć zarówno pliku CSV, XML lub JSON, jak i arkusza kalkulacyjnego. Sama obecność danych w pliku nie oznacza jeszcze, że można je bezpiecznie zaimportować. Program odbierający eksport musi znać nazwy kolumn, typy wartości, kolejność elementów, sposób zapisu znaków oraz zależności między rekordami. Jeżeli te informacje są niejednoznaczne, import może zakończyć się błędem albo utworzyć rekordy z nieprawidłowo przypisanymi wartościami.

Częstą przyczyną jest użycie separatora niezgodnego z ustawieniami programu. W pliku CSV przecinek, średnik lub znak tabulacji może pełnić funkcję rozdzielającą pola, ale ten sam znak może także występować wewnątrz nazwy produktu, opisu albo adresu. Wtedy tekst powinien być ujęty w cudzysłowy zgodnie z regułami formatu. Dodatkowe trudności powodują nagłówki o zmiennych nazwach, puste kolumny, powtarzające się identyfikatory, wielowierszowe opisy oraz wartości zapisane w różnych formatach, na przykład ceny z przecinkiem dziesiętnym w jednym rekordzie i kropką dziesiętną w innym.

Struktura pól, kodowanie znaków i typy wartości

Odczyt eksportu zależy również od kodowania znaków. Plik zapisany w UTF-8 może zostać otwarty przez starszy program jako Windows-1250, a wtedy polskie litery zostaną zastąpione nieprawidłowymi znakami. W praktyce utrudnia to wyszukiwanie produktów, rozpoznawanie kategorii i porównywanie wartości tekstowych. Nieczytelność może być pozorna: dane nadal znajdują się w pliku, lecz aplikacja prezentuje je błędnie z powodu niezgodnego kodowania lub błędnej interpretacji nagłówka zawierającego znacznik BOM.

Istotne jest także rozróżnienie typów danych. Identyfikator produktu, kod SKU, numer zamówienia i kod pocztowy powinny być traktowane jako tekst, nawet jeżeli składają się wyłącznie z cyfr. Odczytanie ich jako liczb może usunąć zera znajdujące się na początku. Cena wymaga określenia separatora dziesiętnego i waluty, natomiast data wymaga ustalenia kolejności roku, miesiąca i dnia. Wartość logiczna może być zapisana jako true i false, 1 i 0 albo tak i nie. Bez mapowania tych wariantów system docelowy może odrzucić rekord, zamienić wartości miejscami lub zapisać je jako zwykły tekst.

Mapowanie eksportu na system docelowy

Przed importem należy ustalić mapę pól, czyli tabelę wskazującą, z którego elementu eksportu pobierana jest konkretna wartość w systemie docelowym. Przykładowo nazwa produktu może znajdować się w kolumnie title, product_name albo name, a opis może być podzielony na opis krótki i pełny. Kategoria może być przekazana jako pojedynczy tekst, ścieżka rozdzielona znakiem „>” albo identyfikator liczbowy. Te warianty nie są równoważne bez dodatkowej reguły konwersji.

Problemy występują również wtedy, gdy jeden rekord źródłowy obejmuje kilka wartości zapisanych w jednej komórce. Lista zdjęć może być rozdzielona przecinkami, średnikami lub znakami nowej linii, a warianty produktu mogą występować jako zagnieżdżone elementy. System docelowy może natomiast wymagać osobnego rekordu dla każdego wariantu oraz odwołania do produktu nadrzędnego. Podobnie stany magazynowe mogą być podane jako liczba całkowita, tekst „dostępny” albo zestaw wartości zależnych od magazynu. Bez normalizacji danych import nie zachowa relacji między produktem, wariantem, ceną i stanem.

Sprawdzenie pliku przed importem i pomoc serwisowa

Weryfikację warto rozpocząć od kopii eksportu, aby zachować niezmienny materiał źródłowy. Następnie sprawdza się kodowanie, separator, obecność nagłówków, liczbę kolumn w każdym wierszu oraz powtarzalność identyfikatorów. Dla danych XML należy zweryfikować poprawność składni, zamknięcie znaczników i zgodność struktury z wymaganym schematem. Dla JSON trzeba zwrócić uwagę na prawidłowe cudzysłowy, przecinki, nawiasy oraz typy wartości. Praktycznym testem jest import niewielkiej kopii danych do środowiska testowego i porównanie kilku rekordów źródłowych z wynikiem po konwersji.

Warszawskie Pogotowie Komputerowe wykonuje profesjonalną naprawę laptopów, komputerów PC i ich podzespołów, a przy problemach z nieczytelnym eksportem można rozpocząć od sprawdzenia nośnika, aplikacji otwierającej plik oraz konfiguracji komputera. Diagnostyka pozwala rozdzielić uszkodzenie samego pliku od błędnego mapowania pól, niezgodnego kodowania lub nieprawidłowego działania programu używanego do importu.