Tabela źródłowa

Tabela źródłowa to obiekt, z którego pobierane są dane w operacji importu, złączenia lub replikacji.

Rola tabeli źródłowej w przepływie danych

Tabela źródłowa to tabela, z której system odczytuje rekordy podczas wykonywania określonej operacji na danych. Może zasilać import do innej bazy, złączenie kilku zbiorów, proces raportowy, replikację albo okresową synchronizację. Jej zawartość jest punktem wejścia dla dalszego przetwarzania, dlatego sposób zdefiniowania kolumn, typów danych i kluczy wpływa na wynik całego procesu. Tabela źródłowa nie musi być tabelą tymczasową ani kopią danych. Często jest trwałym obiektem należącym do aplikacji transakcyjnej, hurtowni danych lub systemu pośredniczącego.

W praktyce trzeba odróżnić tabelę źródłową od tabeli docelowej. Tabela źródłowa przechowuje dane odczytywane przez proces, natomiast tabela docelowa otrzymuje wynik importu, transformacji lub synchronizacji. Ten sam obiekt może pełnić obie role w różnych zadaniach: dla jednego procesu będzie źródłem, a dla innego celem. Określenie roli wynika więc z konkretnej konfiguracji przepływu danych, a nie z samej nazwy tabeli.

Budowa i znaczenie kolumn

Proces korzystający z tabeli źródłowej powinien znać oczekiwany schemat danych. Znaczenie mają nazwy kolumn, ich typy, dopuszczalność wartości pustych, długości pól oraz relacje między rekordami. Przykładowo kolumna przechowująca identyfikator może być używana do rozpoznawania zmian, a kolumna z datą modyfikacji do pobierania wyłącznie rekordów zmienionych od ostatniego uruchomienia zadania. Jeżeli źródło zwraca datę w innym formacie albo identyfikator nie jest jednoznaczny, operacja może pominąć rekordy, powielić je lub przypisać dane do niewłaściwych wierszy.

Ważne jest także zachowanie spójności między kolumnami. Rekord zawierający kod produktu, opis i cenę powinien reprezentować jeden logiczny stan danych, a nie wartości pochodzące z różnych momentów zapisu. Przy odczycie tabeli może wystąpić problem, gdy aplikacja jednocześnie modyfikuje dane, a proces importu pobiera kolejne porcje rekordów. Sposób izolacji transakcji oraz moment wykonania odczytu decydują wtedy o tym, czy wynik będzie spójny. Sama obecność danych w tabeli nie oznacza jeszcze, że są one gotowe do bezpośredniego użycia.

Tabela źródłowa podczas importu i złączeń

W imporcie tabela źródłowa dostarcza rekordów, które są odczytywane, sprawdzane i ewentualnie przekształcane przed zapisaniem w innym miejscu. Typowe przekształcenia obejmują zmianę typu wartości, ujednolicenie zapisu daty, usunięcie zbędnych spacji, połączenie kilku kolumn albo odrzucenie wierszy niespełniających warunków walidacji. Przed uruchomieniem cyklicznego importu warto ustalić, czy proces ma pobierać wszystkie rekordy, czy tylko nowe i zmienione. Do drugiego wariantu potrzebne są wiarygodne informacje o stanie rekordu, na przykład stabilny klucz oraz znacznik ostatniej modyfikacji.

Podczas złączenia tabela źródłowa jest łączona z inną tabelą na podstawie warunku określającego odpowiadające sobie wiersze. Najczęściej używa się do tego klucza głównego i klucza obcego, ale warunkiem może być również zgodna wartość biznesowa. Jeśli po stronie źródłowej występują duplikaty klucza, jeden rekord może po złączeniu utworzyć wiele wierszy wyniku. Z kolei brak dopasowania może spowodować pominięcie danych przy złączeniu wewnętrznym albo pozostawienie pustych pól przy złączeniu zewnętrznym. Dlatego przed oceną wyniku należy sprawdzić liczność rekordów, unikalność kluczy i reguły dopasowania.

Kontrola poprawności i diagnostyka

Diagnostyka tabeli źródłowej zaczyna się od porównania schematu z konfiguracją procesu, który ją odczytuje. Należy sprawdzić, czy wszystkie wymagane kolumny istnieją, czy typy danych są zgodne oraz czy wartości mieszczą się w przewidzianych zakresach. Przydatne są kontrole liczby rekordów, liczby wartości pustych, powtarzalności identyfikatorów i zakresu dat. Nagły spadek liczby wierszy może oznaczać filtr zastosowany przez aplikację, zakończoną transakcję bez danych, błąd harmonogramu albo zmianę struktury źródła. Nagły wzrost może wskazywać na ponowne załadowanie tych samych danych bez mechanizmu rozpoznawania duplikatów.

W przypadku nieudanego importu trzeba ustalić, czy błąd powstał podczas odczytu tabeli źródłowej, walidacji, transformacji, złączenia czy zapisu do tabeli docelowej. Pomagają w tym identyfikator uruchomienia zadania, zakres pobranych rekordów, czas odczytu oraz komunikat wskazujący konkretną kolumnę lub wartość. Istotne jest również sprawdzenie, czy proces jest powtarzalny: ponowne uruchomienie powinno dawać przewidywalny rezultat, a nie dopisywać drugi raz te same rekordy. W systemach przetwarzających duże zbiory znaczenie mają indeksy używane w warunkach wyszukiwania, ponieważ ich brak może wydłużać odczyt i powodować przekroczenie czasu przeznaczonego na zadanie.