kampanie A/B uruchamiane jednocześnie

Kampanie A/B uruchamiane jednocześnie to usterka metodologiczna, w której nakładające się testy uniemożliwiają przypisanie efektu.

Kampanie A/B uruchamiane jednocześnie — czym jest problem

Kampanie A/B uruchamiane jednocześnie oznaczają sytuację, w której kilka testów zmian prowadzonych jest w tym samym czasie, a te testy dotyczą podobnych użytkowników, tych samych ekranów, tego samego procesu zakupowego albo zbliżonych elementów komunikacji. Samo równoległe prowadzenie eksperymentów nie musi być błędem. Trudność pojawia się wtedy, gdy wariant jednego testu wpływa na zachowanie osób objętych innym testem. W takiej konfiguracji wynik nie pokazuje już czystego efektu jednej zmiany, lecz wspólny rezultat kilku bodźców.

Przykładowo jeden test może porównywać dwa nagłówki strony, a drugi dwa przyciski umieszczone w tym samym miejscu. Jeżeli użytkownicy są losowani do obu eksperymentów niezależnie, powstają cztery kombinacje doświadczenia: pierwszy nagłówek z pierwszym przyciskiem, pierwszy nagłówek z drugim przyciskiem, drugi nagłówek z pierwszym przyciskiem oraz drugi nagłówek z drugim przyciskiem. Bez zaplanowania takiej macierzy porównawczej trudno stwierdzić, czy wzrost liczby kliknięć wynikał z nagłówka, przycisku, ich konkretnego połączenia, czy z przypadkowego rozkładu ruchu.

Usterka metodologiczna może być jeszcze mniej widoczna, gdy testy dotyczą różnych elementów, ale oddziałują na ten sam cel. Zmiana formularza, komunikatu o dostawie, kolejności sekcji i reklamy kierującej na stronę może jednocześnie wpłynąć na wysłanie formularza. W raporcie końcowym pojawia się wtedy pojedynczy wskaźnik przypisany do kilku zmian. Taki rezultat może być interesujący opisowo, lecz nie daje bezpiecznej podstawy do stwierdzenia, że konkretna modyfikacja była przyczyną poprawy.

Kampanie A/B uruchamiane jednocześnie a interpretacja wyników

Najważniejsze znaczenie ma tutaj rozróżnienie korelacji od związku przyczynowego. Jeżeli w czasie działania dwóch kampanii rośnie współczynnik konwersji, nie wynika z tego automatycznie, że wzrost został wywołany przez wariant analizowanego testu. Ruch mógł zostać dodatkowo zmieniony przez drugi eksperyment, kanał pozyskania, porę dnia, rodzaj urządzenia albo odmienny udział nowych i powracających użytkowników. Im więcej zmian nakłada się na siebie, tym więcej alternatywnych wyjaśnień musi zostać rozważonych.

W praktyce problem dotyczy nie tylko samego wyniku głównego. Nakładające się testy mogą zmienić również wskaźniki pomocnicze: czas przejścia między ekranami, liczbę rozpoczętych formularzy, odsetek rezygnacji, liczbę odsłon lub udział użytkowników powracających. Zmiana jednego elementu może wzmacniać efekt drugiego albo go osłabiać. W niektórych układach użytkownik otrzymuje doświadczenie niespójne, na przykład komunikat sugerujący prostą ścieżkę oraz formularz wymagający dodatkowych kroków. Wtedy spadek wyniku nie musi oznaczać, że każda z modyfikacji była niekorzystna osobno.

Do oceny przydatności rezultatu potrzebne jest sprawdzenie, kto faktycznie trafił do każdego wariantu, jak długo trwała ekspozycja, czy rozkład ruchu był stabilny oraz czy grupy nie różniły się istotnie pod względem źródła wejścia, urządzenia i wcześniejszej aktywności. Warto również sprawdzić, czy jedna osoba nie zmieniała wariantu podczas kolejnych wizyt. Brak stałego przypisania może powodować mieszanie obserwacji i utrudniać odtworzenie ścieżki użytkownika.

Ostrożność jest szczególnie potrzebna przy podejmowaniu decyzji wdrożeniowej. Wynik pozytywny uzyskany podczas kilku jednoczesnych zmian może być wskazówką do dalszej weryfikacji, ale nie powinien być traktowany jako dowód skuteczności pojedynczej modyfikacji. Z kolei wynik negatywny może ukrywać korzystne działanie jednego wariantu, jeżeli zostało ono zneutralizowane przez inny test.

Kampanie A/B uruchamiane jednocześnie — typowe problemy techniczne

Jednym z częstych źródeł niejasności jest brak wspólnego rejestru eksperymentów. Poszczególne zespoły mogą uruchamiać testy według własnych kalendarzy, bez informacji o tym, jakie elementy strony, aplikacji lub komunikacji są w danym momencie zmieniane. W efekcie dwa eksperymenty mogą obejmować tę samą grupę osób, chociaż formalnie zostały uznane za niezależne.

Inny problem stanowi niejednoznaczna definicja grupy kontrolnej. W jednym teście kontrolą może być dotychczasowa wersja strony, natomiast w drugim ta sama grupa otrzyma zmieniony formularz. Nie jest to już kontrola wobec pełnego doświadczenia bazowego. Jeśli raport nie opisuje dokładnie, jakie elementy widziała każda osoba, porównanie może wyglądać poprawnie tylko na poziomie nazwy wariantu.

Znaczenie ma także kolejność ładowania zmian. Skrypt jednego eksperymentu może zostać wykonany wcześniej, a drugi może nadpisać część ustawień, ukryć element lub zmienić jego położenie. W takim przypadku deklarowany wariant nie zawsze odpowiada rzeczywistemu widokowi. Pomocne bywa zapisywanie identyfikatorów wszystkich aktywnych testów przy zdarzeniu końcowym, a nie tylko identyfikatora eksperymentu uznanego za najważniejszy.

Ryzyko rośnie, gdy kampanie mają różne reguły wykluczeń. Jeden test może obejmować osoby korzystające z telefonu, drugi tylko użytkowników powracających, a trzeci ruch z określonego kanału. Częściowe nakładanie segmentów jest wtedy trudne do zauważenia bez tabeli przecięć. Warto kontrolować liczebność każdej kombinacji wariantów, ponieważ nawet formalnie równy podział może w praktyce prowadzić do bardzo małych grup w niektórych połączeniach.

Nie należy pomijać zmian wykonywanych poza systemem testowym. Aktualizacja treści, modyfikacja formularza przez administratora, zmiana ustawień analityki albo kampania reklamowa może wpływać na wynik, mimo że nie ma oznaczenia eksperymentu. Dlatego przydatna jest oś czasu obejmująca wszystkie istotne zmiany, wraz z informacją o momencie rozpoczęcia i zakończenia.

Kampanie A/B uruchamiane jednocześnie — praktyczne wskazówki

Najbezpieczniej jest przed startem określić, które elementy mogą być testowane równolegle, a które wymagają wyłączności. Testy odnoszące się do różnych, niezależnych etapów ścieżki użytkownika mogą być mniej podatne na wzajemne oddziaływanie, jednak nie powinno się zakładać braku wpływu bez sprawdzenia. W przypadku wspólnego celu, tego samego ekranu albo tej samej grupy odbiorców wskazane jest zaplanowanie testów jako jednego doświadczenia wieloczynnikowego lub przeprowadzenie ich w kolejnych okresach.

Każdej osobie uczestniczącej w badaniu powinno zostać przypisane stabilne oznaczenie wariantu. Należy zapisywać również wersję zmian, datę pierwszej ekspozycji i informacje o pozostałych aktywnych kampaniach. Przy analizie przydatne jest rozdzielenie wyników według kombinacji wariantów, zamiast ograniczania się do prostego porównania wszystkich osób z wariantem A i wszystkich osób z wariantem B.

Przed interpretacją można przeprowadzić kontrolę jakości obejmującą kilka pytań: czy grupy miały podobny udział w ruchu, czy liczba osób w każdym połączeniu była wystarczająca, czy zdarzenia zostały zapisane poprawnie, czy użytkownicy nie przechodzili pomiędzy wariantami oraz czy w czasie testu nie wystąpiła dodatkowa zmiana. W przypadku rozbieżności należy opisać ograniczenia w raporcie i unikać przedstawiania wyniku jako jednoznacznej oceny jednej funkcji.

Dobrym rozwiązaniem jest utworzenie kalendarza eksperymentów z informacją o obszarze, odbiorcach, celu, metryce głównej, wariancie kontrolnym, terminie oraz zależnościach z innymi zmianami. Przy większej liczbie testów warto wprowadzić reguły priorytetów i mechanizm automatycznego oznaczania konfliktów. Takie podejście zmniejsza ryzyko przypadkowego uruchomienia dwóch kampanii obejmujących ten sam fragment doświadczenia.

Gdy dane z kampanii są niespójne, przydatne może być również sprawdzenie komputera lub środowiska, z którego prowadzona jest praca analityczna. Problemy z przeglądarką, rozszerzeniami, pamięcią podręczną albo narzędziami do podglądu danych mogą powodować błędne wyświetlanie panelu i utrudniać weryfikację. W takiej sytuacji można skorzystać z pomocy firmy Warszawskie Pogotowie Komputerowe 24/7.

Kampanie A/B uruchamiane jednocześnie — kiedy zgłosić się do serwisu

Do serwisu warto zgłosić się wtedy, gdy trudności z analizą wynikają nie tylko z planowania testu, lecz także z problemów ze sprzętem lub oprogramowaniem używanym do obsługi panelu. Objawami mogą być zawieszanie się przeglądarki podczas ładowania raportów, samoczynne zamykanie kart, błędy przy zapisie konfiguracji, nieprawidłowe wyświetlanie elementów interfejsu albo niestabilne działanie narzędzi do kontroli zdarzeń. Przed przekazaniem urządzenia dobrze jest zachować opis objawów, moment ich występowania i informację, czy problem pojawia się w jednym środowisku, czy w kilku.

Pomoc techniczna nie zastąpi poprawnego planu badania, ale może ułatwić wykluczenie usterek lokalnych. Jeżeli raport jest dostępny na jednym komputerze, a na innym nie, może to wskazywać na problem z przeglądarką, profilem użytkownika, dodatkiem, ustawieniami sieci lub aktualnością oprogramowania. Gdy błędy pojawiają się niezależnie od urządzenia, większą uwagę należy skierować na konfigurację narzędzia analitycznego, sposób przypisywania wariantów i zależności między kampaniami.

Przy zgłoszeniu warto jasno oddzielić dwa obszary: problem metodologiczny, czyli nakładanie się testów, oraz problem techniczny, czyli nieprawidłowe działanie komputera, przeglądarki lub aplikacji. Takie rozdzielenie ułatwia ustalenie, czy potrzebna jest korekta planu eksperymentu, kontrola danych, czy diagnostyka sprzętu. Dzięki temu nie przypisuje się błędnego wyniku wyłącznie komputerowi ani nie traktuje awarii technicznej jako dowodu na nieskuteczność badanego wariantu.