Import danych z Excela

Import danych z Excela to proces wczytania zawartości arkusza kalkulacyjnego bezpośrednio do bazy danych.

Na czym polega import arkusza do bazy danych

Import danych z Excela polega na odczytaniu zawartości arkusza kalkulacyjnego i zapisaniu jej w strukturze bazy danych. Wiersze arkusza zwykle odpowiadają rekordom, a kolumny — polom tabeli. Przed rozpoczęciem operacji trzeba ustalić, która kolumna identyfikuje rekord, jakie wartości są wymagane oraz do jakich typów danych powinny zostać przypisane poszczególne kolumny. Sama obecność danych w komórkach nie oznacza jeszcze, że można je bezpośrednio zapisać w tabeli.

Plik XLSX jest pakietem w formacie Office Open XML, przechowywanym jako archiwum ZIP zawierające między innymi arkusze, relacje i definicje typów danych. Starszy format XLS ma inną strukturę binarną. Importer musi więc obsługiwać konkretny format pliku albo korzystać z programu, który potrafi go odczytać. Osobną kategorię stanowią pliki CSV: nie przechowują arkuszy, formatowania ani formuł, lecz tekstowe wartości rozdzielone separatorem, na przykład przecinkiem lub średnikiem.

Przygotowanie kolumn, typów i wartości

Najwięcej błędów powstaje wtedy, gdy kolumny Excela zawierają niejednorodne wartości. W jednej kolumnie mogą występować liczby, tekst, puste komórki, daty zapisane w różnych formatach albo wartości z dodatkowymi spacjami. Kolumna przeznaczona dla liczby całkowitej nie powinna zawierać wpisów takich jak „brak”, „n/d” lub „około 10”, ponieważ parser może odrzucić cały wiersz albo zapisać wartość jako tekst. Przed importem warto usunąć zbędne wiersze tytułowe, połączyć rozbite nagłówki i zapewnić jedną nazwę kolumny dla każdego pola.

Daty wymagają szczególnej kontroli. Excel przechowuje daty jako wartości liczbowe powiązane z systemem dat, a użytkownik widzi je dzięki formatowaniu komórki. Po odczycie importer może otrzymać liczbę seryjną, obiekt daty albo tekst, zależnie od użytego narzędzia. Z kolei identyfikatory, kody pocztowe, numery seryjne i numery telefonów powinny często być traktowane jako tekst, nawet jeśli składają się wyłącznie z cyfr. Dzięki temu nie znikają zera wiodące, a długi identyfikator nie zostaje zaokrąglony.

Formuła w komórce nie jest tym samym co jej wynik. W zależności od sposobu odczytu można pobrać wyrażenie zaczynające się od znaku równości albo ostatnią zapisaną wartość obliczoną przez Excel. Jeżeli baza ma przechowywać wynik, należy sprawdzić, czy plik został wcześniej przeliczony i zapisany. Jeżeli ma przechowywać regułę obliczeń, trzeba zaprojektować ją niezależnie w systemie docelowym, ponieważ formuły arkusza nie są automatycznie równoważne wyrażeniom używanym przez bazy danych.

Walidacja rekordów przed zapisem

Bezpieczny import powinien mieć etap walidacji, który odbywa się przed właściwym dodaniem rekordów do tabeli. Należy sprawdzić liczbę wierszy, obecność wymaganych kolumn, poprawność typów, zakresy liczb, długość tekstu oraz unikalność kluczy. Jeżeli tabela wymaga unikalnej wartości identyfikatora, powtarzające się identyfikatory z arkusza trzeba wykryć przed zapisem. Warto także porównać liczbę wierszy źródłowych z liczbą wierszy zaakceptowanych, odrzuconych i zapisanych.

Dane najlepiej wczytać najpierw do tabeli tymczasowej albo warstwy pośredniej. Pozwala to oddzielić format pliku od właściwego modelu bazy i zapisać przyczynę odrzucenia konkretnego wiersza. Typowe problemy to brak wartości obowiązkowej, nieprawidłowa data, przekroczenie długości pola, nieznany kod słownikowy oraz konflikt klucza głównego. Po usunięciu błędów można wykonać transformację do tabel docelowych, na przykład rozdzielić pełną nazwę na osobne pola albo zamienić kod tekstowy na identyfikator rekordu słownikowego.

Operację zapisu należy wykonywać w sposób kontrolowany. Transakcja pozwala zatwierdzić całość dopiero po pomyślnej walidacji lub wycofać zmiany, gdy wystąpi błąd. Przy większych plikach dane często zapisuje się partiami, lecz wtedy trzeba ustalić, jak obsługiwane są częściowo przetworzone rekordy i ponowne uruchomienie importu. Dobrą praktyką jest przechowywanie informacji o pliku źródłowym, czasie importu i liczbie wyników, aby można było odtworzyć przebieg operacji bez zgadywania, które dane zostały już zapisane.

Import Excela w praktyce serwisowej

Na komputerze użytkownika problemy z importem mogą wynikać zarówno z uszkodzonego pliku, jak i z niezgodności programu. Plik może otwierać się w Excelu, ale zawierać scalone komórki, ukryte arkusze, filtrowane wiersze, makra albo nietypowe formatowanie utrudniające odczyt przez inne narzędzie. Przed przekazaniem danych do importu warto utworzyć kopię oryginału, sprawdzić arkusz bez filtrów i zapisać kopię roboczą w formacie wymaganym przez używany program. W przypadku CSV trzeba dodatkowo ustalić kodowanie znaków oraz separator kolumn.

Jeżeli po imporcie pojawiają się polskie znaki zastąpione przypadkowymi symbolami, należy sprawdzić zgodność kodowania pliku i programu odczytującego. Jeżeli liczby są rozpoznawane jako tekst, przyczyną może być separator dziesiętny, spacje tysięcy lub apostrof zapisany przed wartością. Jeżeli daty przesuwają się o dzień albo miesiąc, trzeba porównać ustawienia regionalne, sposób interpretacji tekstu oraz system dat używany przez źródło. Diagnostyka powinna obejmować także komunikat błędu, konkretny wiersz oraz nazwę kolumny, a nie tylko końcowy raport o nieudanym imporcie.

Warszawskie Pogotowie Komputerowe zajmuje się profesjonalną naprawą laptopów, komputerów PC i ich podzespołów, a w ramach diagnostyki może również sprawdzić środowisko użytkownika, działanie Excela, dostęp do plików oraz przyczyny problemów z przygotowaniem arkusza do importu. Przy pracy na danych należy zachować oryginalny plik i nie nadpisywać go podczas kolejnych prób, ponieważ ułatwia to porównanie wersji oraz ustalenie, czy błąd powstał w arkuszu, programie czy mechanizmie importującym.