Bogofilter

Bogofilter to program filtrujący pocztę pod kątem spamu, oparty na statystycznej klasyfikacji treści wiadomości.

Jak Bogofilter rozpoznaje wiadomości niepożądane

Bogofilter to program filtrujący pocztę elektroniczną przy użyciu statystycznej klasyfikacji treści. Jego zadaniem jest oszacowanie, czy analizowana wiadomość przypomina spam, czy wiadomość pożądaną, określaną w dokumentacji i konfiguracji jako ham. Program nie opiera decyzji wyłącznie na pojedynczych słowach, adresie nadawcy albo prostym dopasowaniu tematu. Analizuje zestaw tokenów wyodrębnionych z wiadomości, a następnie porównuje ich prawdopodobieństwo występowania w dwóch zbiorach: wiadomościach uznanych za spam oraz wiadomościach prawidłowych.

Model Bogofiltera wymaga wcześniejszego nauczenia na przykładach. Wiadomości błędnie zaklasyfikowane można ponownie przekazać do programu jako spam albo ham, aby zaktualizować listy używane podczas klasyfikacji. Standardowe opcje -s i -n służą odpowiednio do oznaczania wiadomości jako spam i jako ham. Korekta wpisu w drugą stronę jest możliwa za pomocą opcji -S oraz -N, które usuwają wiadomość z niewłaściwej kategorii i uczą ją w kategorii właściwej. Dzięki temu filtr może dostosowywać się do konkretnego języka, rodzaju korespondencji i charakterystyki otrzymywanego spamu.

Listy słów, tokenizacja i wynik klasyfikacji

Podczas analizy Bogofilter rozkłada wiadomość na elementy rozpoznawane jako tokeny. Mogą nimi być między innymi słowa, fragmenty adresów, elementy nagłówków oraz inne ciągi znaków istotne dla statystyki filtra. Znaczenie tokenu nie wynika z ogólnej opinii programu o danym słowie, lecz z tego, jak często pojawiał się on wcześniej w wiadomościach oznaczonych jako spam i ham. Ten sam token może więc mieć inne znaczenie w różnych środowiskach, zależnie od jakości materiału treningowego.

Program przechowuje dane treningowe w bazach list słów. Do ich obsługi służy między innymi narzędzie bogoutil, pozwalające sprawdzać i utrzymywać zawartość baz. Bogofilter może zapisywać wynik klasyfikacji w nagłówkach dodawanych do wiadomości, w tym informację o statusie określanym jako spam, ham albo unsure. Status unsure oznacza, że wyliczony wynik nie przekroczył progu wystarczającego do jednoznacznego zaklasyfikowania wiadomości. Taki stan jest istotny, ponieważ ogranicza ryzyko automatycznego odrzucenia prawidłowej korespondencji tylko na podstawie niejednoznacznych cech.

Uczenie filtra a ryzyko błędnej decyzji

Skuteczność Bogofiltera zależy przede wszystkim od sposobu dostarczania przykładów treningowych. Jeżeli do listy spamu trafiają wiadomości prawidłowe albo do listy ham trafia dużo spamu, model zaczyna odwzorowywać błędne dane. Zjawisko to może prowadzić do fałszywych alarmów, czyli oznaczania zwykłej wiadomości jako spam, oraz do przepuszczania wiadomości niepożądanych. Dlatego korektę klasyfikacji należy wykonywać na rzeczywistych przykładach, a nie na samych krótkich fragmentach tekstu pozbawionych nagłówków i kontekstu.

Przy diagnostyce problemów z działaniem filtra warto sprawdzić, czy program korzysta z właściwych list słów, czy ma dostęp do katalogu z bazą oraz czy proces uczenia jest wykonywany konsekwentnie. Znaczenie mają również progi klasyfikacji i sposób przekazywania poczty do Bogofiltera. Jeżeli wiadomości są analizowane w różnych formatach albo część nagłówków i treści jest usuwana przed filtracją, wynik może różnić się od oczekiwanego. Warto także odróżnić błąd samego klasyfikatora od błędu programu pocztowego, skryptu filtrującego lub reguły, która przenosi wiadomość do określonego folderu.

Bogofilter w codziennym środowisku pocztowym

Bogofilter może być używany jako element lokalnego przepływu obsługi poczty, w którym wiadomość jest przekazywana do programu przez standardowe wejście, oceniana, a następnie oznaczana wynikiem lub kierowana do dalszej reguły filtrowania. Sam klasyfikator nie zastępuje programu pocztowego. Za wyświetlanie wiadomości, tworzenie folderów, wykonywanie reguł i prezentowanie nagłówków odpowiada aplikacja pocztowa albo inny element skonfigurowanego przepływu. Z tego powodu po zmianie ustawień należy sprawdzić zarówno wynik Bogofiltera, jak i reakcję programu, który ten wynik interpretuje.

Warszawskie Pogotowie Komputerowe zajmuje się profesjonalną naprawą laptopów, komputerów PC i ich podzespołów, dlatego przy problemach z lokalnym działaniem programu pocztowego można rozpocząć od sprawdzenia systemu, konfiguracji aplikacji oraz poprawności instalacji używanego oprogramowania. W przypadku Bogofiltera analiza powinna obejmować także dostęp do list słów, komunikaty diagnostyczne, sposób uczenia oraz miejsce, w którym pojawia się nieprawidłowa klasyfikacja.