Zgodność sortowania (collation)

Zgodność sortowania między bazami wymaga jednakowej kolacji, inaczej porównania tekstu mogą się nie powieść.

Jak działa zgodność sortowania tekstu

Zgodność sortowania, określana w bazach danych jako collation albo kolacja, opisuje reguły porównywania i porządkowania napisów. Reguły te określają między innymi, czy wielkość liter ma znaczenie, jak traktowane są znaki diakrytyczne oraz w jakiej kolejności układane są litery występujące w danym języku. Kolacja może również wskazywać używane kodowanie lub sposób interpretacji znaków, zależnie od konkretnego silnika bazy danych.

Przykładowo porównanie tekstów może być niewrażliwe na wielkość liter, więc wartości „Warszawa” i „warszawa” zostaną uznane za równe. Inna kolacja może rozróżniać te wartości. Podobna różnica dotyczy polskich znaków, takich jak „ą”, „ę”, „ł” i „ż”. To, czy znak z akcentem jest traktowany jako odmienny od znaku podstawowego, wynika z reguł wybranej kolacji, a nie z samego wyglądu tekstu.

Kolacja jest stosowana podczas sortowania wyników, porównań operatorami tekstowymi, wyszukiwania wzorców oraz tworzenia i wykorzystywania indeksów znakowych. Dlatego ustawienie widoczne przy tabeli nie jest wyłącznie opcją prezentacji danych. Może wpływać na wynik zapytania, możliwość utworzenia indeksu oraz działanie kluczy i ograniczeń opartych na kolumnach tekstowych.

Porównywanie kolumn z różnych baz i tabel

Problem zgodności pojawia się wtedy, gdy zapytanie porównuje wartości pochodzące z kolumn mających różne kolacje. Dotyczy to między innymi złączeń tabel, warunków filtrowania, operacji scalania wyników oraz porównań wykonywanych pomiędzy tabelą a parametrem zapytania. Silnik może w takiej sytuacji wybrać reguły domyślne, zastosować niejawną konwersję albo zgłosić błąd o niezgodnych kolacjach. Dokładne zachowanie zależy od używanego systemu bazodanowego.

Różne kolacje mogą prowadzić także do odmiennych wyników logicznych. Jeżeli jedna kolumna ignoruje wielkość liter, a druga ją rozróżnia, porównanie może nie odpowiadać założeniom aplikacji. Jeszcze większe znaczenie ma to przy unikatowych indeksach. Dwie wartości, które dla użytkownika wyglądają jak różne, mogą zostać uznane za identyczne przez reguły kolacji, a w innym środowisku mogą przejść jako dwa odrębne wpisy.

Przy przenoszeniu danych między bazami należy sprawdzić kolację na poziomie całej bazy, tabel, kolumn oraz wyrażeń używanych w zapytaniach. Samo ustawienie jednolitego kodowania znaków nie gwarantuje zgodności sortowania. Kodowanie określa sposób zapisania znaków, natomiast kolacja określa sposób ich porównywania i porządkowania. Są to powiązane, lecz różne właściwości.

Skutki niespójnej kolacji w aplikacji

Niespójne ustawienia mogą ujawnić się jako błąd podczas wykonywania zapytania, ale czasem problem jest mniej widoczny. Wyszukiwanie może zwracać zbyt wiele albo zbyt mało rekordów, sortowanie może różnić się między środowiskiem testowym i produkcyjnym, a paginacja może zmieniać kolejność elementów po kolejnych żądaniach. Jeżeli aplikacja zapisuje wyniki sortowania lub porównuje je po stronie programu, różnice między bazą a kodem aplikacji mogą powodować trudne do odtworzenia rozbieżności.

Szczególnej uwagi wymagają identyfikatory tekstowe, adresy e-mail, kody produktów, nazwy plików i pola używane do deduplikacji. Dla jednego zestawu reguł napis „ABC” może być równy „abc”, natomiast dla innego nie. W przypadku znaków narodowych także nie należy zakładać, że kolejność alfabetu polskiego będzie taka sama jak kolejność wynikająca z reguł angielskich lub binarnych. Reguły trzeba odczytać z dokumentacji konkretnego silnika oraz z konfiguracji konkretnej kolumny.

Podczas diagnozy warto odtworzyć porównanie na danych zawierających wielkie i małe litery, polskie znaki, znaki akcentowane oraz wartości o podobnym zapisie. Należy sprawdzić definicje kolumn, typy tekstowe, ustawienia połączenia z bazą i zapytanie generowane przez aplikację. Pomocne jest również porównanie planu wykonania, ponieważ jawna zmiana kolacji lub konwersja wartości może uniemożliwić wykorzystanie istniejącego indeksu i zwiększyć czas działania zapytania.

Ujednolicanie ustawień podczas migracji i naprawy

Bezpieczne ujednolicenie kolacji zaczyna się od ustalenia wymaganej reguły porównywania dla danych oraz od zinwentaryzowania istniejących kolumn tekstowych. Przed zmianą schematu należy wykonać kopię danych, sprawdzić duplikaty ujawniane przez nowe zasady równości i przetestować zapytania korzystające z indeksów. Zmiana kolacji może wymagać przebudowy indeksów, ponownej walidacji ograniczeń unikatowości oraz aktualizacji procedur importu.

Jeżeli ujednolicenie całej bazy nie jest możliwe, zgodność można kontrolować w konkretnych zapytaniach przez jawne wskazanie reguł porównania dostępnych w danym silniku. Takie rozwiązanie powinno być stosowane świadomie, ponieważ konwersja kolumny w trakcie zapytania może zmienić wynik i pogorszyć wydajność. Nie należy kopiować nazwy kolacji z innego systemu bazodanowego bez sprawdzenia, czy dany silnik ją obsługuje i czy identycznie interpretuje jej parametry.

Warszawskie Pogotowie Komputerowe zajmuje się profesjonalną naprawą laptopów i komputerów PC, w tym diagnozowaniem problemów z systemem operacyjnym, aplikacjami oraz lokalnymi bazami danych używanymi na tych urządzeniach. Przy zgłoszeniu dotyczącym błędów sortowania można sprawdzić konfigurację programu, połączenie z bazą, wersję sterownika oraz komunikat zwracany przez silnik, a następnie oddzielić problem ustawień kolacji od problemu uszkodzenia plików lub nieprawidłowej konfiguracji komputera.