Unicode

Unicode to standard kodowania obejmujący znaki wszystkich powszechnie używanych alfabetów świata.

Unicode jako wspólny język znaków

Unicode jest międzynarodowym standardem porządkowania znaków używanych w systemach komputerowych, telefonach, aplikacjach, dokumentach i witrynach internetowych. Jego zadaniem jest przypisanie każdemu znakowi jednoznacznego punktu kodowego, dzięki czemu litera, cyfra, symbol matematyczny albo znak pisma używanego w innym regionie może być prawidłowo rozpoznany przez różne programy. Nie chodzi wyłącznie o alfabet łaciński. W standardzie uwzględnia się między innymi znaki cyrylicy, alfabetu greckiego, arabskiego, hebrajskiego, chińskiego, japońskiego i koreańskiego, a także wiele systemów pisma stosowanych w Afryce, Azji oraz na Bliskim Wschodzie.

W praktyce Unicode pozwala zapisać treść w sposób niezależny od konkretnego komputera, programu czy ustawionego języka systemu. Polskie litery, takie jak ą, ć, ę, ł, ń, ó, ś, ź i ż, mogą być przechowywane razem z nazwami miejsc, symbolami walut, znakami diakrytycznymi oraz emoji. Dzięki temu możliwe jest tworzenie dokumentów wielojęzycznych, prowadzenie korespondencji z osobami z różnych krajów i wyświetlanie nazw produktów bez zastępowania znaków przypadkowymi kwadratami lub pustymi polami.

Sam Unicode nie jest jednym sposobem zapisu bajtów. Jest przede wszystkim zbiorem reguł określających, jakie znaki istnieją i jak są identyfikowane. Dopiero format kodowania, taki jak UTF-8, UTF-16 albo UTF-32, opisuje sposób przełożenia tych znaków na dane przechowywane w pamięci lub przesyłane przez sieć. To rozróżnienie ma znaczenie podczas diagnozowania problemów z tekstem, ponieważ nieprawidłowy efekt może wynikać zarówno z błędnego kodowania, jak i z braku odpowiedniej czcionki.

Unicode, punkty kodowe i formaty UTF

Każdy znak w Unicode otrzymuje punkt kodowy zapisywany zwykle w notacji szesnastkowej, na przykład U+0041 oznacza wielką literę A, a U+03A9 grecką literę omega. Punkt kodowy nie jest jeszcze pojedynczym bajtem. Stanowi identyfikator znaku, który następnie może zostać zakodowany w wybranym formacie. Takie uporządkowanie umożliwia oddzielenie znaczenia znaku od technicznego sposobu jego zapisu.

UTF-8 jest obecnie bardzo często spotykanym kodowaniem tekstu, szczególnie w dokumentach internetowych, plikach konfiguracyjnych i bazach danych. Znaki z podstawowego zakresu alfabetu łacińskiego zajmują w nim po jednym bajcie, natomiast inne znaki mogą wymagać większej liczby bajtów. Dzięki temu zachowuje zgodność z dawnymi rozwiązaniami opartymi na ASCII, a jednocześnie umożliwia zapis wielu języków. UTF-16 wykorzystuje jednostki o stałej szerokości, lecz część znaków zapisuje za pomocą par jednostek. UTF-32 przypisuje każdemu znakowi cztery bajty, co upraszcza obliczenia indeksów, ale zwykle zwiększa rozmiar pliku.

Podczas porównywania Unicode z dawnymi kodowaniami regionalnymi warto pamiętać, że starsze standardy często obejmowały ograniczony zestaw znaków. Kodowanie przeznaczone dla jednego języka mogło poprawnie przedstawiać polskie litery, lecz nie radziło sobie z tekstem zawierającym znaki greckie, arabskie lub azjatyckie. Unicode zmniejsza ten problem, jednak poprawne wyświetlenie nadal wymaga zgodności kodowania pliku, ustawień programu, deklaracji dokumentu i dostępnych fontów.

Ważnym pojęciem jest również normalizacja. Niektóre znaki mogą być zapisane jako gotowa litera z akcentem albo jako litera podstawowa połączona ze znakiem diakrytycznym. Dla oka oba zapisy mogą wyglądać identycznie, ale komputer może traktować je jako różne ciągi znaków. Normalizacja pomaga ujednolicić takie reprezentacje, co ma znaczenie przy wyszukiwaniu, sortowaniu, sprawdzaniu haseł i porównywaniu nazw.

Unicode a typowe problemy z tekstem

Najbardziej rozpoznawalnym objawem błędów kodowania są tak zwane krzaczki, czyli ciągi znaków pozornie niezwiązanych z pierwotną treścią. Taki efekt powstaje na przykład wtedy, gdy tekst zapisany jako UTF-8 zostanie odczytany według innego formatu. Litery diakrytyczne mogą wtedy zostać zastąpione przypadkowymi symbolami, a część treści może stać się trudna do odczytania. Sam plik nie zawsze jest uszkodzony. Niekiedy problem dotyczy wyłącznie sposobu jego interpretacji przez używany program.

Innym problemem są kwadraty, znaki zapytania albo puste prostokąty. Mogą oznaczać brak glifu w wybranej czcionce. Program zna punkt kodowy, lecz nie ma w używanym foncie rysunku odpowiadającego danemu znakowi. Zdarza się także, że znak został zastąpiony podczas importu, eksportu lub kopiowania pomiędzy aplikacjami. W takiej sytuacji zmiana czcionki może pomóc, ale nie przywróci informacji, która została wcześniej utracona.

Błędy mogą pojawiać się również w nazwach plików, opisach zdjęć, wiadomościach, napisach w programach i danych pobieranych z formularzy. Niewłaściwa interpretacja znaków utrudnia wyszukiwanie plików, sortowanie list i rozpoznawanie nazw użytkowników. W dokumentach wielojęzycznych dodatkowym wyzwaniem bywają znaki łączone, odmiany tego samego symbolu oraz różnice w kolejności elementów tekstu. Warto odróżnić problem z wyświetlaniem od problemu z samymi danymi, ponieważ zakres naprawy zależy od tego, na którym etapie doszło do niezgodności.

Osobną kategorię stanowią emoji i symbole spoza podstawowego zakresu. Mogą być przedstawiane jako pojedynczy znak widoczny dla użytkownika, choć wewnętrznie składają się z kilku elementów połączonych niewidocznymi znakami. Nie każdy program obsługuje takie sekwencje w ten sam sposób. Różnice mogą dotyczyć także wariantu prezentacji, odcienia skóry, symboli płci lub połączeń kilku ikon w jeden obraz.

Unicode w codziennej pracy z komputerem

Przy zapisywaniu dokumentu zawierającego polskie znaki i treści wielojęzyczne zaleca się sprawdzenie, jakie kodowanie proponuje używany program. W przypadku plików tekstowych przydatne jest jawne wybranie UTF-8, jeżeli aplikacja udostępnia taką opcję. W dokumentach internetowych należy sprawdzić deklarację kodowania oraz zgodność jej wartości z faktycznym sposobem zapisania pliku. Samo dodanie deklaracji nie naprawi danych zapisanych wcześniej w innym formacie, ale pozwala programowi właściwie odczytać prawidłowo przygotowany dokument.

Przed konwersją większego zbioru plików warto wykonać kopię zapasową. Masowa zmiana kodowania może utrwalić błędną interpretację, jeśli źródłowy format nie został wcześniej rozpoznany. Dobrą praktyką jest otwarcie kilku plików testowych, sprawdzenie polskich liter, znaków specjalnych i fragmentów w innych alfabetach, a dopiero potem zastosowanie wybranych ustawień do całego zbioru.

Podczas przenoszenia tekstu pomiędzy programami należy zwrócić uwagę na format schowka, ustawienia językowe i sposób zapisu dokumentu. Jeżeli treść wygląda poprawnie w jednym programie, lecz po wklejeniu do innego pojawiają się błędy, przyczyną może być niezgodność obsługiwanych formatów. Pomocne bywa zapisanie treści jako zwykłego pliku UTF-8 i ponowne otwarcie go w programie docelowym, jednak przed takim działaniem powinno się zachować pierwotną wersję.

Nie należy mylić problemów Unicode z awarią klawiatury. Jeżeli wpisywane znaki są prawidłowe w jednym miejscu, a błędne dopiero po zapisaniu lub otwarciu pliku, bardziej prawdopodobna jest niezgodność kodowania. Jeżeli natomiast nie można wprowadzić określonych znaków w żadnej aplikacji, warto sprawdzić układ klawiatury, ustawienia języka oraz działanie sterownika urządzenia wejściowego.

Unicode i moment zgłoszenia do serwisu

Do serwisu warto zgłosić się wtedy, gdy problem z Unicode powtarza się w wielu programach, dotyczy ważnych dokumentów albo prowadzi do utraty czytelności nazw plików i danych. Szczególnej ostrożności wymaga sytuacja, w której po konwersji część znaków została zastąpiona znakami zapytania. Może to oznaczać, że podczas zapisu nie zachowano oryginalnej informacji. Przed dalszymi próbami powinno się odłączyć automatyczne konwertery, zachować kopię plików i zanotować, w którym programie pojawia się błąd.

W ramach diagnostyki można sprawdzić kilka reprezentatywnych przykładów, porównać zawartość pliku przed i po otwarciu, rozpoznać użyte kodowanie oraz ustalić, czy problem dotyczy danych, czcionki, programu czy ustawień systemowych. W przypadku laptopa diagnoza jest darmowa w Warszawskim Pogotowiu Komputerowym 24/7. Po ustaleniu przyczyny można dobrać sposób postępowania obejmujący zmianę ustawień, bezpieczną konwersję dokumentów, odzyskanie czytelnych nazw lub uporządkowanie konfiguracji aplikacji.

Przy przekazywaniu zgłoszenia pomocne jest opisanie rodzaju plików, używanych programów, języków występujących w treści oraz momentu, od którego znaki są wyświetlane nieprawidłowo. Warto również wskazać, czy problem pojawia się po pobraniu pliku, skopiowaniu tekstu, aktualizacji programu albo przeniesieniu danych na inne urządzenie. Takie informacje ułatwiają odtworzenie sytuacji i ograniczają ryzyko przypadkowej modyfikacji oryginalnych danych.