przyszłościowe predykcje zachowań

Przyszłościowe predykcje zachowań to prognozy przyszłej aktywności odbiorcy budowane na wzorcach historycznych.

Jak powstaje prognoza przyszłej aktywności

Przyszłościowe predykcje zachowań to prognozy dotyczące tego, jakie działanie może podjąć odbiorca w późniejszym czasie. W systemie komputerowym taka prognoza jest zwykle wynikiem analizy danych historycznych, a nie pojedynczej obserwacji. Dane mogą obejmować kolejność odwiedzanych stron, czas trwania sesji, częstotliwość uruchamiania aplikacji, wybór określonych funkcji, reakcje na komunikaty oraz odstępy między kolejnymi zdarzeniami. Każde zdarzenie jest zapisywane jako element szeregu czasowego albo jako cecha opisująca użytkownika, sesję lub urządzenie.

Proces predykcyjny zaczyna się od określenia zmiennej, którą system ma przewidywać. Może nią być na przykład prawdopodobieństwo ponownego uruchomienia aplikacji, wykonania określonej czynności w ciągu kilku dni albo rezygnacji z dalszej aktywności. Istotne jest wskazanie horyzontu prognozy, ponieważ model przewidujący zachowanie w ciągu godziny rozwiązuje inne zadanie niż model prognozujący zdarzenie w perspektywie miesiąca. Dane wejściowe muszą zostać uporządkowane tak, aby informacje z przyszłości nie znalazły się omyłkowo w zbiorze używanym do przewidywania przeszłego zdarzenia.

Cechy, etykiety i modele predykcyjne

Do budowy predykcji stosuje się cechy, czyli mierzalne właściwości wyprowadzone z danych. Przykładem cechy może być liczba sesji w ostatnich siedmiu dniach, średni czas między zdarzeniami, liczba otwarć konkretnego modułu albo udział sesji zakończonych wykonaniem określonej operacji. W zadaniu klasyfikacyjnym wynikiem może być etykieta „wykona działanie” lub „nie wykona działania”. W zadaniu regresyjnym system może zwracać wartość liczbową, na przykład przewidywaną liczbę zdarzeń albo czas do kolejnej aktywności.

Model może korzystać z regresji logistycznej, drzew decyzyjnych, lasów losowych, gradient boosting albo sieci neuronowych. Dobór metody zależy od rodzaju danych, liczby obserwacji, wymaganej interpretowalności i kosztu błędnej prognozy. Model trenowany jest na danych historycznych, a następnie sprawdzany na osobnym zbiorze testowym. Przy danych uporządkowanych chronologicznie podział losowy może prowadzić do zawyżenia wyników, dlatego bezpieczniejszy jest podział według czasu. W przeciwnym razie model może otrzymać podczas treningu wzorce, które w rzeczywistym użyciu pojawiłyby się dopiero po chwili, którą miał przewidzieć.

Ważnym elementem jest kalibracja prawdopodobieństwa. Wynik 0,8 powinien oznaczać grupę przypadków, w której przewidywane zdarzenie zachodzi mniej więcej w ośmiu przypadkach na dziesięć, jeżeli model jest dobrze skalibrowany. Sama dokładność nie wystarcza do oceny jakości, zwłaszcza gdy zdarzenie docelowe jest rzadkie. Stosuje się także precyzję, czułość, F1-score, pole pod krzywą ROC lub krzywą precision-recall, a dla prognoz liczbowych między innymi średni błąd bezwzględny. Metrykę trzeba dobrać do rzeczywistego zastosowania oraz kosztu fałszywych alarmów i pominiętych zdarzeń.

Opóźnienia, zmiana wzorców i jakość danych

Predykcje zachowań mogą tracić aktualność, gdy zmienia się sposób korzystania z aplikacji, urządzeń lub usług. Zjawisko to nazywa się dryfem danych albo dryfem pojęcia, zależnie od tego, czy zmienia się rozkład danych wejściowych, czy zależność między cechami a przewidywanym wynikiem. Przykładem jest aktualizacja interfejsu, która zmienia kolejność kliknięć, migracja użytkowników na inne urządzenia albo sezonowa zmiana aktywności. Model działający poprawnie w okresie treningowym może wtedy generować zbyt wysokie lub zbyt niskie prawdopodobieństwa.

System predykcyjny powinien rejestrować wersję modelu, moment obliczenia wyniku oraz zestaw cech użytych do prognozy. Pozwala to ustalić, dlaczego konkretna decyzja została podjęta i czy była oparta na aktualnych danych. Należy również kontrolować brakujące wartości, duplikaty, niespójne znaczniki czasu oraz błędne identyfikatory sesji. Jeżeli część danych dociera z opóźnieniem, wynik wyliczony z niepełnego zbioru może różnić się od wyniku obliczonego po zakończeniu sesji. Takie opóźnienie powinno być uwzględnione w projekcie przepływu danych, a nie ukrywane przez bezwarunkowe uzupełnianie braków.

Prognoza nie jest pewnikiem ani bezpośrednim pomiarem przyszłego zachowania. Jest oceną prawdopodobieństwa opartą na cechach, które występowały wcześniej. Dlatego wynik powinien być interpretowany razem z przedziałem czasu, definicją zdarzenia i informacją o jakości modelu. W systemach działających na bieżąco przydatne są testy porównujące prognozy z późniejszymi obserwacjami, monitorowanie rozkładu wyników oraz alarmy dotyczące nagłego spadku jakości. Bez takiej kontroli nawet poprawnie napisany kod może nadal zwracać wyniki nieprzydatne operacyjnie.

Znaczenie sprawnego komputera dla pracy z modelami

Obliczanie predykcji może odbywać się na komputerze użytkownika, w aplikacji działającej lokalnie albo w systemie zdalnym, zależnie od architektury konkretnego rozwiązania. Na laptopie lub komputerze PC znaczenie mają między innymi dostępna pamięć operacyjna, sprawność nośnika danych, stabilność systemu operacyjnego oraz poprawne działanie środowiska uruchomieniowego. Brak miejsca na dysku, uszkodzenia plików, przegrzewanie procesora lub niestabilne sterowniki mogą powodować przerwanie obliczeń, błędy zapisu danych pośrednich albo opóźnienia w działaniu aplikacji.

Warszawskie Pogotowie Komputerowe zajmuje się profesjonalną naprawą laptopów, komputerów stacjonarnych PC i ich podzespołów. Przy problemach z urządzeniem wykorzystywanym do analizy danych można sprawdzić stan nośnika, pamięci operacyjnej, układu chłodzenia, zasilania oraz konfiguracji systemu. Taka diagnostyka pomaga oddzielić błąd samego modelu predykcyjnego od problemu sprzętowego lub systemowego, który wpływa na wykonanie programu.