Uruchomienie testu A/B wiadomości zajmuje minutę: dodajesz drugi wariant i gotowe. Zepsucie go zajmuje tyle samo. Poniżej trzy zasady, które oddzielają test uczący od testu, który tylko utwierdza w błędnym przekonaniu — i konkretna kolejność rzeczy, które warto testować.
Jak działa losowanie wariantów
Mechanika jest prosta i to jest jej zaletą: każdy kontakt dostaje jeden losowo wybrany wariant pierwszej wiadomości. Nie ma podziału na grupy, nie ma harmonogramu, nie ma ręcznego przypisywania. Dodajesz warianty, a rozdział robi się sam.
Z tego wynikają dwie rzeczy praktyczne. Po pierwsze, przy małej liczbie wysyłek rozkład bywa nierówny — przy 20 wiadomościach i trzech wariantach jeden może pójść osiem razy, a inny cztery. Po drugie, wariant dodany w środku tygodnia startuje z opóźnieniem i porównywanie go z pozostałymi „od początku kampanii” jest bez sensu. Licz zawsze od momentu, w którym wszystkie porównywane warianty już istniały.
Zasada pierwsza: jedna zmienna
Najczęstszy błąd. Wariant A: krótkie zagajenie z pytaniem o sytuację. Wariant B: dłuższe zagajenie z odniesieniem do grupy, innym tonem i propozycją na końcu. B wygrywa. Czego się nauczyłeś? Niczego — nie wiesz, czy zadziałała długość, odniesienie do grupy, ton czy propozycja.
Test ma sens tylko wtedy, gdy warianty różnią się jedną rzeczą, którą potrafisz nazwać jednym słowem.
Ta sama treść, ten sam ton, to samo pytanie. Różni je tylko jedno zdanie kontekstu. Wynik takiego testu da się zinterpretować.
Nie zmieniaj niczego poza testowanym wariantem
Test unieważnia nie tylko zmiana drugiego wariantu, ale też zmiana grup, kryteriów kontaktów, strategii albo dziennego limitu w trakcie jego trwania. Jeśli musisz coś z tego zmienić — zamknij test, zanotuj wynik jako niepełny i zacznij od nowa.
Zasada druga: dostateczna próbka
„Wariant A ma 3 odpowiedzi, B ma 1, czyli A jest trzy razy lepszy” — to zdanie pada w co drugiej rozmowie o testach i jest nieprawdziwe. Przy tak małych liczbach różnica mieści się w zwykłym przypadku.
Praktyczne progi, których warto się trzymać — nie jako statystyki akademickiej, tylko jako reguły kciuka:
| Wysłanych na wariant | Co możesz z tego odczytać |
|---|---|
| do 30 | Nic. Serio nic — poza tym, czy wiadomość w ogóle wychodzi |
| 30–50 | Widać wariant rażąco słaby (zero odpowiedzi przy kilku w pozostałych) |
| 100+ | Różnice rzędu dwukrotności zaczynają być wiarygodne |
| 300+ | Można porównywać warianty różniące się o kilkanaście procent |
Przy dziennym limicie 20 wiadomości i trzech wariantach każdy z nich dostaje około 47 wysyłek tygodniowo. Oznacza to, że sensowny test trwa co najmniej dwa tygodnie. To nie jest wada narzędzia — to matematyka. Testowanie pięciu wariantów naraz przy tym samym limicie po prostu wydłuża czas do wniosku.
Zasada trzecia: właściwa metryka
Najbardziej kosztowny błąd w całym artykule: optymalizowanie współczynnika odpowiedzi. Odpowiedź jest łatwa do wywołania. Zagajenie prowokacyjne, tajemnicze albo obiecujące zbyt wiele dostanie więcej odpowiedzi — i mniej klientów, bo część tych odpowiedzi to „o co chodzi?” i „czy to spam?”.
Metryka, która ma znaczenie, to liczba rozmów zakwalifikowanych na sto wysłanych wiadomości. W panelu zbudujesz ją w minutę: filtr listy kontaktów po statusie leada, w obrębie jednej kampanii i jednego okresu.
| Metryka | Do czego służy | Ryzyko |
|---|---|---|
| Odsetek odpowiedzi | Szybki sygnał, czy zagajenie w ogóle działa | Nagradza clickbait |
| Rozmowy dłuższe niż 3 wiadomości | Pokazuje, czy rozmowa się rozkręca | Nie mówi nic o jakości leada |
| Zakwalifikowani na 100 wysłanych | Główna metryka testu | Wymaga dyscypliny w ustawianiu statusów |
| Odsetek odmów | Sygnał ostrzegawczy o dopasowaniu grup | Rośnie też przy dobrym, ale zbyt szerokim zasięgu |
Warto patrzeć na dwie naraz: odsetek odpowiedzi i odsetek zakwalifikowanych. Wariant z wysokim pierwszym i niskim drugim to sygnał, że przyciągasz uwagę niewłaściwych ludzi — i najczęściej znaczy, że zagajenie obiecuje coś, czego oferta nie dowozi.
Co testować w pierwszej kolejności
Nie wszystko warto testować i nie wszystko warto testować od razu. Kolejność poniżej odpowiada sile wpływu — od największej do najmniejszej.
- Typ zagajenia. Pytanie o sytuację kontra odniesienie do grupy kontra obserwacja z profilu. To jest największa dźwignia i tu należy zacząć.
- Długość pierwszej wiadomości. Dwa zdania kontra cztery. Różnice bywają duże i zależą od branży — w usługach lokalnych krótkie zwykle wygrywa, w B2B często przegrywa.
- Obecność pytania na końcu. Wiadomość zakończona pytaniem kontra wiadomość zakończona stwierdzeniem. Brzmi banalnie, potrafi zrobić różnicę dwukrotną.
- Ujawnienie roli od razu. „Zajmuję się X” w pierwszym zdaniu kontra dopiero po odpowiedzi.
- Personalizacja. Z imieniem kontra bez, z nazwą grupy kontra bez.
Personalizacja: imię i nazwa grupy
Warto ją testować, bo intuicja tu zawodzi. Imię w wiadomości podnosi odbiór, dopóki wygląda naturalnie — a przestaje działać dokładnie w momencie, w którym wygląda na wstawione automatycznie.
Dlatego w panelu personalizacja nie jest doklejana na koniec treści. Wskazujesz, że chcesz użyć imienia albo nazwy grupy, a system wplata znacznik w naturalne miejsce wiadomości i poprawia tylko jego bezpośrednie otoczenie. Różnica jest widoczna gołym okiem:
Uwaga praktyczna: nazwa grupy działa świetnie w grupach lokalnych i branżowych, a fatalnie w grupach o nazwach żartobliwych albo bardzo długich. Zanim włączysz ją globalnie, sprawdź, jak wyglądają nazwy grup w Twojej kampanii.
Co testować po wiadomości otwierającej
Gdy zagajenie jest już ustabilizowane, kolejne dźwignie leżą głębiej w rozmowie i wymagają dłuższych okresów obserwacji, bo dotyczą mniejszych populacji.
- Pytanie kwalifikujące — pytanie o sytuację kontra pytanie o termin. To zmiana w strategii, nie w wariantach wiadomości.
- Osobowość komunikacji — na przykład Profesjonalista kontra Diagnosta przy tej samej strategii. Zmieniaj ją tylko między kampaniami, nigdy w trakcie testu wariantów.
- Moment prośby o kontakt — po pierwszym sygnale zainteresowania kontra po dopytaniu o szczegóły.
- Zestaw grup — ta sama wiadomość w dwóch typach grup potrafi dać zupełnie różne wyniki i to często jest prawdziwa przyczyna „słabej wiadomości”.
Dziennik testów — bez niego nic z tego nie zostaje
Ostatnia rzecz i najmniej efektowna. Warianty wiadomości nie mają historii wersji — usunięty wariant znika bezpowrotnie. Jeżeli nie zapiszesz gdzieś, co testowałeś i z jakim wynikiem, po trzech miesiącach zostanie Ci wrażenie, a nie wiedza.
Wystarczy arkusz z pięcioma kolumnami: data od–do, co testowałeś, treść wariantów, wysłane na wariant, zakwalifikowani na wariant. Jeden wiersz na test. Po roku ten arkusz jest wart więcej niż wszystkie porady z internetu razem wzięte, bo dotyczy dokładnie Twojego rynku.
Zwycięzcy nie usuwaj konkurencji od razu
Gdy wariant wygra, nie kasuj pozostałych natychmiast. Zostaw dwa: zwycięzcę i nowego pretendenta. Kampania z jednym wariantem przestaje się uczyć, a dodatkowo ta sama wiadomość zaczyna krążyć po grupach.
Do zapamiętania
- Jedna zmienna na test. Jeśli nie umiesz nazwać różnicy jednym słowem, test nie jest testem.
- Poniżej 30 wysyłek na wariant nie wyciągaj żadnych wniosków. Sensowny test trwa około dwóch tygodni.
- Mierz zakwalifikowanych na 100 wysłanych, nie sam odsetek odpowiedzi.
- Zaczynaj od typu zagajenia — to największa dźwignia. Personalizacja jest dopiero piąta.
- Prowadź dziennik testów. Warianty nie mają historii wersji, a pamięć nie jest metryką.