Kana sensitivity

Kana sensitivity to ustawienie porównywania tekstu rozróżniające japońskie sylabariusze hiragana i katakana.

Hiragana i katakana w porównywaniu tekstu

Kana sensitivity, czyli czułość na rodzaj japońskiego sylabariusza, określa, czy mechanizm porównywania tekstu rozróżnia zapis hiraganą od zapisu katakaną. Oba systemy służą do zapisywania japońskich sylab, ale mają odmienne zastosowania i odmienny zestaw znaków Unicode. Hiragana jest często używana w rodzimych wyrazach japońskich, końcówkach gramatycznych i elementach odmiany, natomiast katakana między innymi w zapożyczeniach, nazwach obcego pochodzenia oraz wyrazach wymagających wyróżnienia.

Przy porównaniu niewrażliwym na kana odpowiadające sobie zapisy w hiraganie i katakanie mogą zostać uznane za równoważne, zależnie od reguł zastosowanych przez konkretny mechanizm sortowania. Przy porównaniu wrażliwym na kana są traktowane jako różne wartości. Przykładowo japońskie znaki „あ” i „ア” reprezentują tę samą sylabę fonetyczną „a”, ale należą do różnych sylabariuszy, dlatego czułość kana może rozdzielić je podczas wyszukiwania, sortowania albo sprawdzania równości.

Jak ustawienie wpływa na wyszukiwanie i sortowanie

Różnica staje się widoczna wtedy, gdy aplikacja porównuje japońskie nazwy, identyfikatory, etykiety lub treść wprowadzoną przez użytkownika. W trybie kana-sensitive zapytanie zawierające znak hiragany nie musi zwrócić rekordu zapisanego katakaną, nawet gdy oba znaki mają odpowiadającą sobie wymowę. W trybie kana-insensitive taki rekord może zostać uznany za dopasowanie. Nie oznacza to automatycznej transliteracji tekstu ani konwersji jednego alfabetu na drugi; zmienia się wyłącznie reguła oceny podobieństwa lub równości.

Czułość kana jest tylko jednym z parametrów porównania japońskiego tekstu. Wynik może jednocześnie zależeć od rozróżniania wielkości liter, szerokości znaków oraz akcentów lub innych cech uwzględnianych przez daną kolację. Znak zapisany pełną szerokością i jego odpowiednik pochodzący z zestawu znaków o połowie szerokości to osobny problem odróżniający kana sensitivity. Dlatego sama zmiana czułości kana nie gwarantuje jednolitego traktowania wszystkich wariantów japońskiego zapisu.

Kolacje, Unicode i zgodność danych

W bazie danych ustawienie kana sensitivity jest zwykle częścią reguł kolacji, czyli zestawu zasad określających porównywanie i sortowanie znaków. W Microsoft SQL Server oznaczenie „KS” w nazwie kolacji wskazuje na rozróżnianie hiragany i katakany. Kolacja bez tego oznaczenia może stosować porównanie niewrażliwe na kana, jeśli przewidują to jej reguły. Konkretne zachowanie trzeba zawsze sprawdzić dla rzeczywiście użytej kolacji kolumny, wyrażenia albo zapytania, ponieważ ustawienia na poziomie bazy, tabeli, kolumny i pojedynczego wyrażenia mogą się różnić.

Przy projektowaniu aplikacji należy ustalić, czy hiragana i katakana mają oznaczać tę samą wartość biznesową. Dla pola przeznaczonego do wyszukiwania fonetycznego tolerowanie obu zapisów może być zamierzone. Dla nazw własnych, kodów, oznaczeń katalogowych lub danych, w których forma zapisu ma znaczenie, rozróżnianie kana może być konieczne. Test powinien obejmować co najmniej pary odpowiadających sobie znaków, tekst mieszany, sortowanie oraz wyszukiwanie z użyciem indeksu. Warto także sprawdzić zachowanie importu i eksportu UTF-8, ponieważ błędne kodowanie może prowadzić do utraty lub zamiany znaków niezależnie od ustawienia kolacji.

Sprawdzenie ustawienia w komputerze i oprogramowaniu

Jeżeli japońskie wyniki wyszukiwania są niepełne albo dwa pozornie podobne wpisy zostają połączone, należy najpierw ustalić, gdzie odbywa się porównanie: w bazie danych, bibliotece aplikacji, systemie operacyjnym czy interfejsie wyszukiwarki. Trzeba odczytać nazwę użytej kolacji lub konfiguracji porównywania, a następnie wykonać kontrolny test na znakach hiragany i katakany. Sam wygląd tekstu na ekranie nie wystarcza do oceny, ponieważ znaki mogą wyglądać podobnie, a mimo to mieć różne punkty kodowe Unicode.

W praktyce diagnostycznej sprawdza się również, czy problem dotyczy równości, sortowania, indeksowania czy normalizacji tekstu. Należy porównać wynik zwykłego wyszukiwania z wynikiem wyszukiwania dokładnego oraz zweryfikować, czy aplikacja nie zamienia znaków przed przekazaniem danych do bazy. Uszkodzone fonty, niezgodne kodowanie lub błędny import nie są naprawiane przez włączenie kana sensitivity. Warszawskie Pogotowie Komputerowe zajmuje się profesjonalną naprawą laptopów, komputerów PC i ich podzespołów, a w ramach diagnostyki oprogramowania można również przeanalizować konfigurację aplikacji odpowiedzialną za japońskie porównywanie tekstu.