kodowanie tekstu polskiego

Kodowanie tekstu polskiego wymaga zestawu obsługującego znaki diakrytyczne — najbezpieczniejszy jest dziś UTF-8.

Znaki diakrytyczne a wybór zestawu znaków

Kodowanie tekstu polskiego określa sposób przypisania znaków, takich jak ą, ć, ę, ł, ń, ó, ś, ż i ź, do wartości zapisywanych w pliku lub przesyłanych między programami. Sam znak widoczny na ekranie nie jest przechowywany jako obraz, lecz jako informacja zgodna z określonym zestawem znaków i sposobem kodowania. Jeżeli program odczyta dane według innej reguły niż ta użyta podczas zapisu, polskie litery mogą zostać zastąpione ciągami przypadkowych symboli.

Współczesne systemy najczęściej wykorzystują Unicode, czyli standard obejmujący znaki wielu języków. UTF-8 jest sposobem kodowania znaków Unicode, w którym podstawowe znaki alfabetu łacińskiego zajmują po jednym bajcie, a polskie znaki diakrytyczne zwykle po dwa bajty. Dzięki temu jeden plik może zawierać jednocześnie tekst polski, angielski, grecki, cyrylicę oraz znaki techniczne bez przełączania między lokalnymi stronami kodowymi.

UTF-8, Windows-1250 i ISO-8859-2

W starszych dokumentach polskojęzycznych można spotkać kodowanie Windows-1250, nazywane także stroną kodową 1250, oraz ISO-8859-2, określane jako Latin-2. Oba rozwiązania obejmują polskie litery, ale przypisują im inne wartości bajtowe. Z tego powodu pliku zapisanego jako Windows-1250 nie należy bez sprawdzenia otwierać jako ISO-8859-2 ani UTF-8. Taka pomyłka może ujawnić się jako błędne znaki w nazwach plików, dokumentach tekstowych, napisach lub formularzach.

UTF-8 nie jest tym samym co Windows-1250 i nie można bezpośrednio zmienić jednego kodowania na drugie przez samo dopisanie nazwy kodowania do pliku. Potrzebna jest konwersja, podczas której program odczytuje bajty według właściwego źródłowego zestawu znaków, a następnie zapisuje odpowiadające im znaki w docelowym kodowaniu. Jeżeli dane zostały już błędnie zinterpretowane, sama ponowna konwersja może nie wystarczyć, ponieważ pierwotne znaki mogły zostać zastąpione innymi symbolami.

Skąd bierze się polskie „krzaczki”

Nieprawidłowe wyświetlanie tekstu, nazywane potocznie mojibake, zwykle wynika z rozbieżności między kodowaniem zapisu a kodowaniem odczytu. Przykładowo plik zapisany w UTF-8 może zostać otwarty przez starszy program jako Windows-1250, a tekst przesłany przez stronę internetową może zostać odczytany według innego nagłówka niż ten ustawiony przez serwer. W efekcie zamiast polskich liter pojawiają się znaki zastępcze, dodatkowe symbole albo nieczytelne sekwencje.

W dokumentach HTML informację o kodowaniu umieszcza się między innymi za pomocą deklaracji <meta charset="utf-8">. Znaczenie ma również nagłówek HTTP Content-Type, który może wskazywać typ treści i parametr kodowania, na przykład text/html; charset=UTF-8. W przypadku zwykłych plików tekstowych kodowanie może być rozpoznawane na podstawie ustawień programu, rozszerzenia, zawartości albo znacznika BOM. BOM, czyli Byte Order Mark, jest opcjonalnym prefiksem na początku niektórych plików UTF-8; nie każdy program obsługuje go w identyczny sposób.

Sprawdzanie kodowania w dokumentach i aplikacjach

Przy problemach z polskimi znakami należy najpierw ustalić, czy błąd występuje w jednym pliku, w konkretnej aplikacji, czy również po skopiowaniu tekstu do innego programu. Warto otworzyć ten sam dokument w edytorze, który pokazuje bieżące kodowanie, i sprawdzić, czy zmiana sposobu odczytu przywraca poprawne znaki. Jeżeli tak się dzieje, dane prawdopodobnie są zapisane prawidłowo, a problem dotyczy automatycznego rozpoznawania kodowania.

Jeżeli błędne znaki pojawiają się już po zapisaniu dokumentu, należy zachować kopię oryginału i dopiero na jej podstawie wykonać konwersję. Trzeba również sprawdzić ustawienia aplikacji używanej do tworzenia pliku, importu danych oraz drukowania. Kodowanie tekstu wpływa nie tylko na wygląd treści, ale także na wyszukiwanie, sortowanie, nazwy plików, eksport do CSV i zgodność danych kopiowanych między systemem Windows, przeglądarką internetową oraz programami biurowymi. Warszawskie Pogotowie Komputerowe wykonuje profesjonalną naprawę laptopów, komputerów PC i ich podzespołów, w tym diagnostykę problemów z oprogramowaniem powodujących nieprawidłowe wyświetlanie polskich znaków.