użycie znaków specjalnych (np. azjatyckie skrypty)

Znaki specjalne, np. azjatyckie skrypty, wymagają poprawnego kodowania UTF-8, by wyświetlić się prawidłowo.

Jak komputer przechowuje znaki spoza alfabetu łacińskiego

Użycie znaków specjalnych obejmuje między innymi litery alfabetów azjatyckich, cyrylicę, alfabet grecki, znaki diakrytyczne, symbole matematyczne, waluty oraz emoji. Aby taki tekst mógł zostać zapisany i odczytany, program musi stosować uzgodnione kodowanie znaków. Współczesnym standardem jest Unicode, który przypisuje znakom jednoznaczne punkty kodowe. UTF-8 jest sposobem zapisu tych punktów kodowych w postaci sekwencji bajtów. Znaki używane w podstawowym alfabecie łacińskim zajmują w UTF-8 jeden bajt, natomiast pozostałe znaki mogą zajmować od dwóch do czterech bajtów.

Sam wybór czcionki nie rozwiązuje problemu kodowania. Czcionka odpowiada za narysowanie glifu, czyli wizualnej postaci znaku, a kodowanie określa, jak znak jest przechowywany i przesyłany. Jeżeli aplikacja odczyta dane jako inne kodowanie niż to, w którym je zapisano, pojawiają się zniekształcenia, znaki zapytania albo tak zwane krzaczki, na przykład ciągi typu „ó” zamiast polskiego „ó”. Znak może również wyglądać jak pusty prostokąt, gdy użyta czcionka nie zawiera odpowiedniego glifu.

UTF-8 w stronach internetowych i plikach tekstowych

Na stronie internetowej informacja o kodowaniu powinna być spójna w kilku miejscach. Dokument HTML może określać kodowanie za pomocą elementu <meta charset="utf-8">, a serwer może przekazać je w nagłówku HTTP, na przykład jako Content-Type: text/html; charset=UTF-8. Przeglądarka wykorzystuje te informacje przy interpretacji bajtów dokumentu. Jeżeli plik został zapisany w UTF-8, ale serwer lub deklaracja HTML wskazuje inne kodowanie, tekst zawierający znaki chińskie, japońskie, koreańskie albo polskie może zostać wyświetlony niepoprawnie.

Podobna zasada dotyczy plików tekstowych, napisów w programach, dokumentów konfiguracyjnych i danych eksportowanych z aplikacji. Edytor może zapisywać plik jako UTF-8 z oznaczeniem BOM albo bez niego. BOM, czyli znacznik kolejności bajtów, jest opcjonalny dla UTF-8 i nie powinien być bezkrytycznie dodawany do każdego rodzaju pliku, ponieważ niektóre narzędzia mogą potraktować początkowe bajty jako część danych. Ważniejsza od samej obecności BOM jest zgodność ustawień zapisu i odczytu po obu stronach. Przy imporcie pliku CSV należy również sprawdzić kodowanie oraz separator, ponieważ poprawne UTF-8 nie naprawi błędnej interpretacji kolumn.

Dlaczego azjatycki tekst może wyglądać inaczej na różnych urządzeniach

Poprawnie zakodowany tekst może nadal wyświetlać się niepełnie, jeżeli system lub aplikacja nie ma odpowiedniej czcionki. Dla wielu znaków używanych w języku chińskim, japońskim i koreańskim istnieją osobne kroje pisma, a ich dostępność zależy od systemu operacyjnego, zainstalowanych pakietów językowych i ustawień programu. Brak glifu jest zwykle sygnalizowany pustym kwadratem. W przeglądarce znaczenie ma także mechanizm fallbacku, czyli automatycznego wyboru innej czcionki dla znaków, których nie obsługuje czcionka podstawowa.

Różnice mogą wynikać także z normalizacji Unicode. Niektóre znaki złożone, szczególnie litery z akcentami, mogą być zapisane jako jeden znak albo jako znak podstawowy i osobny znak łączący. Wizualnie oba zapisy mogą wyglądać tak samo, lecz program porównujący ciągi bajt po bajcie uzna je za różne. Ma to znaczenie przy wyszukiwaniu, sortowaniu, walidacji formularzy i nazwach plików. Emoji oraz część nowszych znaków Unicode może wymagać kilku punktów kodowych połączonych w jeden widoczny symbol, dlatego liczba znaków widocznych dla użytkownika nie zawsze odpowiada liczbie elementów w wewnętrznym ciągu tekstowym.

Sprawdzanie kodowania i przywracanie prawidłowego wyświetlania

Przy problemach z wyświetlaniem znaków należy najpierw ustalić, na którym etapie powstaje błąd: podczas wpisywania, zapisu pliku, przesyłania danych czy ich odczytu. Warto otworzyć ten sam plik w edytorze pokazującym aktywne kodowanie, sprawdzić deklarację charset w dokumencie HTML oraz skontrolować nagłówki odpowiedzi serwera. Pomocny jest także prosty test obejmujący kilka grup znaków, na przykład polskie litery, wybrane znaki chińskie, japońskie i koreańskie oraz symbole walut. Jeżeli tekst jest poprawny w jednym programie, a błędny w innym, przyczyną może być ustawienie aplikacji lub brak odpowiedniej czcionki, a nie uszkodzenie samego pliku.

Naprawa powinna zachować oryginalne dane. Zwykła zmiana deklaracji kodowania nie odtworzy znaków, które zostały wcześniej zastąpione znakami zapytania podczas błędnego zapisu. Jeżeli bajty są zachowane, plik można ponownie otworzyć z właściwym kodowaniem i zapisać jako UTF-8. W przypadku stron internetowych trzeba sprawdzić jednocześnie pliki źródłowe, konfigurację serwera, formularze oraz sposób zapisu danych przez aplikację. Warszawskie Pogotowie Komputerowe zajmuje się profesjonalną naprawą laptopów, komputerów PC i ich podzespołów, w tym diagnozowaniem problemów z wyświetlaniem znaków, czcionkami oraz ustawieniami systemu.