testy wielowariantowe

Testy wielowariantowe porównują jednocześnie więcej niż dwie wersje wiadomości.

Ile kombinacji tworzy test pełny

W teście wielowariantowym nie porównuje się dwóch gotowych wiadomości, lecz zestawia kilka wariantów każdego elementu z osobna. Trzy tematy, dwa układy przycisku i dwie grafiki nagłówka dają dwanaście kombinacji, bo liczba wersji to iloczyn wariantów wszystkich badanych elementów. Ta arytmetyka jest bezlitosna: dodanie jednego elementu o dwóch wariantach podwaja liczbę wysyłek, a każda z nich musi otrzymać próbkę dostatecznie dużą, żeby wynik cokolwiek znaczył.

Alternatywą dla planu pełnego jest plan cząstkowy, w którym testuje się wybrany podzbiór kombinacji i wnioskuje o wpływie poszczególnych elementów. Kosztem jest utrata informacji o wzajemnym oddziaływaniu elementów, a to często najciekawsza część wyniku.

Kiedy naprawdę warto zamiast serii testów A/B

Metoda wielowariantowa ma przewagę tam, gdzie elementy na siebie wpływają: agresywny temat może działać znakomicie z rzeczową treścią, a fatalnie z rozbudowaną grafiką. Seria kolejnych testów dwuwariantowych tego nie wychwyci, bo bada zmienne pojedynczo i w różnym czasie, kiedy zmieniło się już otoczenie: sezon, oferta, skład bazy. Z drugiej strony przy liście liczącej kilka tysięcy adresów test wielowariantowy dzieli ją na kawałki tak małe, że każdy wynik mieści się w granicach przypadku, i wtedy uczciwiej jest zrobić prosty test jednego elementu.

Praktyczna zasada brzmi: liczba kombinacji powinna wynikać z wielkości bazy, a nie z liczby pomysłów zgłoszonych na naradzie.

Za mała próba i złudzenie zwycięzcy

Im więcej wariantów porównujemy jednocześnie, tym większa szansa, że któryś wypadnie lepiej wyłącznie przypadkiem. Przy dwunastu kombinacjach zawsze znajdzie się jedna z najwyższym wynikiem i zawsze da się do niej dopisać uzasadnienie, choć różnica bierze się z rozrzutu, a nie z treści. Dlatego przed startem ustala się minimalną liczbę odbiorców na wariant oraz miarę rozstrzygającą, a wysyłkę przerywa się dopiero po jej osiągnięciu, nie po pierwszej godzinie od startu.

Miarą rozstrzygającą rzadko powinno być otwarcie, bo mierzy je pobranie ukrytej grafiki, zależne od ustawień programu pocztowego. Kliknięcie i zdarzenie po stronie sklepu mówią więcej i są znacznie trudniejsze do zafałszowania.

Baza adresowa i sprzęt, na którym powstaje wysyłka

Wyniki testów są warte tyle, ile baza, z której korzystają. W firmach obsługujemy import i porządkowanie list adresowych trzymanych w systemach opartych o SQL Server, dbamy o kopie zapasowe tych danych i o to, żeby eksport do narzędzia wysyłkowego nie gubił polskich znaków ani nie duplikował rekordów. Zajmujemy się też stacjami, na których obróbka arkuszy z dziesiątkami tysięcy wierszy trwa dłużej niż sama kampania, i doradzamy, czy szybciej pomoże dysk NVMe, czy dołożenie pamięci.