Eksperymenty i wersje robocze kampanii Google Ads - jak testować zmiany
Eksperymenty w Google Ads to wbudowany mechanizm testowania zmian, w którym część ruchu kampanii trafia do wariantu testowego, a reszta pozostaje przy wariancie bazowym. Wersja robocza kampanii (draft) jest kopią ustawień istniejącej kampanii, w której przygotowujesz modyfikacje bez wpływu na kampanię działającą na żywo, ale nie jest już warunkiem testu: eksperyment niestandardowy tworzysz bezpośrednio na stronie Eksperymenty (dawniej „Wersje robocze i eksperymenty”). Google dzieli ruch i budżet między oba warianty i raportuje różnice wyników wraz z przedziałami ufności. Dzięki temu efekt samej zmiany daje się oddzielić od sezonowości, ruchów konkurencji i naturalnych wahań aukcji.
- Czym są eksperymenty w Google Ads i jak działają wersje robocze kampanii?
- Typy kampanii Google Ads z obsługą eksperymentów i wersji roboczych
- Zmienne nadające się do eksperymentu Google Ads i te, które się nie nadają
- Jak podzielić ruch między kampanię bazową a eksperyment?
- Jak uruchomić eksperyment w Google Ads?
- Jak długo powinien trwać eksperyment w Google Ads?
- Jak czytać wyniki eksperymentu i istotność statystyczną?
- Dlaczego eksperymenty w Google Ads dają mylące wyniki?
- Trzy sposoby zamknięcia eksperymentu i wdrożenia zwycięskiego wariantu
- Kiedy lepiej wprowadzić zmianę od razu, bez eksperymentu?
- Od czego zacząć pierwszy eksperyment w Google Ads?
- Źródła i dokumentacja
Najczęstszy sposób „testowania” w kampaniach wygląda tak: specjalista zmienia strategię licytacji w poniedziałek, po dwóch tygodniach porównuje wyniki z poprzednim okresem i ogłasza sukces albo porażkę. Problem w tym, że w tych dwóch tygodniach zmieniło się jeszcze kilkanaście rzeczy, na które nikt nie miał wpływu. Uważam ten wzorzec za jedno z najdroższych przyzwyczajeń w branży, bo daje pewność tam, gdzie dane jej nie dają. Eksperymenty istnieją dokładnie po to, żeby ten sposób pracy zastąpić.
Najważniejsze zasady testowania zmian w kampaniach Google Ads: od mechaniki wersji roboczej po próg, przy którym wynik wolno uznać za rozstrzygnięty.
-
Wersja robocza kampanii Google Ads nie wydaje ani złotówki budżetu
Draft jest kopią ustawień kampanii, która nie bierze udziału w aukcji, a jej kreacje czekają w stanie „W trakcie sprawdzania”. Budżet zaczyna się wydawać dopiero po zastosowaniu wersji roboczej w kampanii albo po uruchomieniu eksperymentu. Na koncie zmieścisz do 25 wersji roboczych.
-
Raport eksperymentu domyślnie pokazuje przedział ufności 80%, a próg można podnieść
Pomoc Google Ads opisuje raport eksperymentu jako zestaw przedziałów ufności, w którym domyślny przedział wynosi 80%, a własny poziom, np. 95%, wybierasz sam. Różnicę istotną statystycznie raport oznacza niebieską gwiazdką.
-
Zatrzymanie testu w dniu korzystnego odczytu produkuje fałszywych zwycięzców
Statystyk Evan Miller opisał ten mechanizm jako problem podglądania: im częściej sprawdzasz wynik i im szybciej reagujesz na pierwszy sygnał przewagi, tym większa szansa, że ogłosisz zwycięzcę tam, gdzie działa wyłącznie przypadek.
-
Eksperyment wychwytuje regres strategii licytacji szybciej niż porównanie okresów
Kampania bazowa i eksperyment działają w tym samym czasie, a przy podziale 50:50 biorą udział w tej samej liczbie aukcji, więc sezonowość działa na oba warianty jednakowo. W porównaniu okres do okresu poprawa sezonowa potrafi przykryć regres nowej strategii i pokazać go jako wynik neutralny.
-
Performance Max nie korzysta z klasycznych wersji roboczych kampanii
Wersje robocze działają tylko w kampaniach w sieci wyszukiwania i reklamowej. Performance Max ma 3 własne typy eksperymentów: wzrost skuteczności, przekształcenie innej kampanii w PMax (np. standardowej kampanii produktowej) i optymalizację, w tym testy komponentów.
Czym są eksperymenty w Google Ads i jak działają wersje robocze kampanii?
Eksperyment w Google Ads jest równoległym uruchomieniem dwóch wariantów tej samej kampanii, między które system dzieli ruch i budżet, żeby zmierzyć wpływ jednej wprowadzonej zmiany.
Wersja robocza to etap przygotowawczy: kopiujesz ustawienia kampanii, nanosisz modyfikacje i decydujesz, czy zastosować je w oryginale, utworzyć z nich nową kampanię, czy sprawdzić je w eksperymencie. Eksperyment możesz też utworzyć bez wersji roboczej, a Google Ads sam zbuduje wtedy kampanię próbną ze zmienionymi ustawieniami.
Mechanika ma trzy stany i warto je rozróżniać, bo w interfejsie łatwo je pomylić. Wersja robocza czeka i nic nie kosztuje. Eksperyment działa i wydaje pieniądze z budżetu kampanii bazowej. Kampania po wdrożeniu zwycięzcy to już zwykła kampania, która przejmuje historię wyników.
- Wersja robocza (draft): kopia ustawień kampanii bazowej, przygotowywana na karcie „Wersje robocze” w menu Kampanie. Nie wyświetla reklam i nie generuje kosztów.
- Eksperyment: kampania próbna wypuszczona na ruch, z określonym udziałem procentowym ruchu i budżetu, datą startu i datą zakończenia.
- Kampania bazowa: oryginał, który działa dalej na pozostałej części ruchu i pełni rolę grupy kontrolnej.
- Raport eksperymentu: zestawienie obu wariantów z różnicami procentowymi i przedziałami ufności dla każdej metryki.
Kluczowa różnica wobec ręcznego testowania leży w jednoczesności. Kampania bazowa i eksperyment działają w tym samym czasie, przy tej samej sezonowości i tej samej aktywności konkurencji. Według opisu metody statystycznej eksperymentów w Pomocy Google Ads podział obejmuje kwalifikujące się aukcje jeszcze przed zastosowaniem kierowania, więc przy podziale 50:50 obie kampanie biorą udział w tej samej liczbie aukcji. Wszystkie czynniki zewnętrzne działają na oba warianty identycznie, więc różnica w wynikach ma szansę pochodzić z testowanej zmiany, a nie z tła.
To podejście wpisuje się w szerszy porządek pracy nad kontem, który opisuję w bazie wiedzy o optymalizacji kampanii Google Ads. Testowanie jest tam etapem, nie dodatkiem.
Typy kampanii Google Ads z obsługą eksperymentów i wersji roboczych
Wersje robocze są dostępne tylko w kampaniach w sieci wyszukiwania i w sieci reklamowej, a eksperymenty niestandardowe obejmują dodatkowo kampanie generujące popyt i kampanie wideo.
Pozostałe typy kampanii mają własne testy na tej samej stronie Eksperymenty w menu Kampanie. Poniższa tabela zestawia, który mechanizm testowy jest dostępny w danym typie kampanii według Pomocy Google Ads.
| Typ kampanii | Wersja robocza | Eksperyment niestandardowy | Inny test na stronie Eksperymenty |
|---|---|---|---|
| Sieć wyszukiwania | Tak | Tak | Odmiany reklam i eksperymenty AI Max |
| Sieć reklamowa | Tak | Tak | Brak osobnego typu |
| Kampanie generujące popyt | Nie | Tak | Test A/B komponentów |
| Wideo | Nie | Tak | Test A/B komponentów wideo |
| Performance Max | Nie | Nie | Eksperymenty wzrostu, przekształcenia i optymalizacji |
| Kampanie produktowe | Nie | Nie | Eksperyment kampania produktowa kontra Performance Max |
| Kampanie promujące aplikacje | Nie | Nie | Eksperymenty z komponentami aplikacji |
Ograniczenie dotyczące Performance Max bywa źródłem nieporozumień. W PMax nie zbudujesz wersji roboczej, a Google udostępnia tam trzy typy eksperymentów: wzrostu skuteczności (PMax dodany do obecnych kampanii), przekształcenia (np. standardowa kampania produktowa kontra Performance Max, po zastosowaniu PMax przejmuje 100% ruchu, a kampania kontrolna zostaje wstrzymana) oraz optymalizacji, w tym eksperymenty na grupach komponentów, opisane szerzej w przeglądzie zmian dotyczących eksperymentów w Performance Max. Osobny przypadek to eksperyment AI Max w kampaniach w sieci wyszukiwania: nie tworzy kopii, tylko dzieli ruch i budżet wewnątrz dotychczasowej kampanii na grupę kontrolną bez funkcji AI Max i eksperymentalną z nimi, co według Pomocy Google Ads skraca okres nauki i usuwa problemy z synchronizacją. Najmłodszy wariant to eksperymenty miksu kampanii (Campaign Mix): do 5 grup złożonych z istniejących kampanii różnych typów, z udziałem ruchu od 1%, na razie tylko dla kont z listy dopuszczonych.
Czy wiesz, że…
Eksperyment niestandardowy w sieci wyszukiwania i reklamowej nie potrzebuje własnego budżetu dziennego. Google pobiera środki z budżetu kampanii bazowej i dzieli go zgodnie z ustawionym udziałem, więc uruchomienie testu nie zwiększa automatycznie łącznych wydatków konta. Inaczej jest w eksperymentach z podziałem ruchu, np. w Performance Max, kampaniach generujących popyt i wideo: gdy testowana zmiana działa lepiej, wydatki mogą wzrosnąć.
Zmienne nadające się do eksperymentu Google Ads i te, które się nie nadają
Do eksperymentu nadaje się każda zmiana, która ma wpływ na sposób wchodzenia kampanii do aukcji i którą da się opisać jedną zmienną.
Nie nadają się zmiany, których skutek wykracza poza kampanię, oraz takie, przy których wariant testowy i bazowy przestają rywalizować o ten sam ruch.
- Strategia licytacji: przejście z maksymalizacji liczby konwersji na Docelowy CPA albo z maksymalizacji wartości konwersji na Docelowy ROAS to najczęstszy i najbardziej wdzięczny przedmiot testu.
- Poziom docelowego CPA lub ROAS: podniesienie celu o kilkanaście procent pokazuje realny kompromis między wolumenem a efektywnością.
- Typy dopasowania słów kluczowych: rozszerzenie zestawu o dopasowanie przybliżone przy jednoczesnej kontroli wykluczeń.
- Struktura grup reklam: konsolidacja rozdrobnionych grup w szersze jednostki tematyczne.
- Strony docelowe: skierowanie ruchu na inny adres, o ile obie wersje strony są jednakowo szybkie i sprawne technicznie.
- Kierowanie geograficzne i harmonogram: zawężenie obszaru lub godzin emisji, gdy podejrzewasz przepalanie budżetu.
Lista rzeczy nienadających się do eksperymentu jest krótsza, ale ważniejsza. Zmiany na poziomie konta, takie jak modele atrybucji czy definicje konwersji, działają na oba warianty jednocześnie, więc test niczego nie rozstrzygnie. Z kolei do testowania samych tekstów reklam nie potrzebujesz osobnej kampanii eksperymentalnej: na stronie Eksperymenty są odmiany reklam (Znajdź i zamień, Aktualizuj tekst, Zaktualizuj adresy URL) z podziałem na podstawie plików cookie, a dobór reklam wewnątrz jednej grupy to zadanie rotacji reklam.
Zasada, którą stosuję bez wyjątku: jeden eksperyment testuje jedną zmienną. Kiedy w kampanii próbnej zmieniasz naraz strategię licytacji, strukturę grup i strony docelowe, wynik będzie jednoznaczny, ale bezużyteczny. Dowiesz się, że pakiet zmian działa lepiej lub gorzej, i nie będziesz miał pojęcia, który element o tym zadecydował.
Ta sama modyfikacja strategii licytacji, wprowadzona na dwa sposoby, daje zupełnie inny poziom ryzyka dla wyników kampanii.
Cała kampania przechodzi na nowe ustawienie. Jeżeli zmiana okaże się błędem, tracisz efektywność na 100% ruchu, a cofnięcie jej ponownie resetuje fazę uczenia strategii licytacji.
Nowe ustawienie dostaje połowę ruchu, druga połowa pracuje bez zmian. Nieudany wariant kosztuje połowę tego, co kosztowałby przy zmianie na żywo, a kampania bazowa nie traci historii.
Uwaga: zejście z udziałem ruchu poniżej 30% wygląda bezpiecznie, ale wydłuża zbieranie danych na tyle, że test często kończy się bez rozstrzygnięcia. Przy typowej kampanii w sieci wyszukiwania startuj od podziału 50 na 50.
Jak podzielić ruch między kampanię bazową a eksperyment?
Google Ads pozwala ustawić udział procentowy ruchu i budżetu przypisanego do eksperymentu (Google zaleca 50%) oraz wybrać metodę losowania: opartą na plikach cookie albo opartą na wyszukiwaniu. Podziału nie zmienisz po skonfigurowaniu eksperymentu, a inny podział wymaga utworzenia nowego.
Wybór metody decyduje o tym, czy ten sam użytkownik może zobaczyć oba warianty, i ma bezpośredni wpływ na wiarygodność wyniku przy dłuższych ścieżkach zakupowych. Poniższa tabela zestawia obie metody podziału według kryteriów, które rozstrzygają o wyborze.
| Kryterium | Podział oparty na plikach cookie | Podział oparty na wyszukiwaniu |
|---|---|---|
| Jednostka losowania | Użytkownik | Pojedyncze zapytanie |
| Czy użytkownik widzi oba warianty | Nie, zostaje w jednej grupie | Tak, przy kolejnych wyszukiwaniach |
| Dostępność | Sieć wyszukiwania i sieć reklamowa | Tylko sieć wyszukiwania |
| Tempo zbierania danych | Wolniejsze | Szybsze |
| Najlepsze zastosowanie | Długi proces decyzyjny, wiele wizyt przed konwersją | Zakupy impulsowe, krótka ścieżka, duży wolumen zapytań |
| Główne ryzyko | Test kończy się bez istotności przy małym ruchu | Efekt przenoszenia doświadczeń między wariantami |
Podział 50 na 50 z losowaniem opartym na plikach cookie, który Google oznacza jako zalecany, sprawdza się wszędzie tam, gdzie konwersja wymaga więcej niż jednej wizyty. Przy zakupie mebli, usłudze prawnej czy maszynie użytkownik wraca kilka razy, więc mieszanie wariantów w obrębie jednej ścieżki zwyczajnie zaciera wynik. Jeśli eksperyment z podziałem na podstawie plików cookie korzysta z list odbiorców, lista musi mieć co najmniej 10 tys. użytkowników.
Asymetryczny podział ma sens w dwóch sytuacjach. Pierwsza to test o wysokim ryzyku, przy którym chcesz ograniczyć ekspozycję - wtedy 20% ruchu dla eksperymentu jest rozsądnym kompromisem, o ile kampania ma wolumen pozwalający zebrać dane. Druga to sytuacja odwrotna: gdy jesteś niemal pewny przewagi wariantu testowego i chcesz szybciej ją potwierdzić, dając mu 70% ruchu.
Jak uruchomić eksperyment w Google Ads?
Uruchomienie eksperymentu zajmuje kilka minut i sprowadza się do pięciu czynności: utworzenia eksperymentu niestandardowego, naniesienia jednej zmiany w kampanii próbnej, nadania nazwy i wyboru wyznaczników sukcesu, ustawienia dat i udziału ruchu oraz zapisania hipotezy przed startem.
Ostatni krok jest pomijany najczęściej i to on decyduje o tym, czy wynik da się w ogóle zinterpretować.
Kolejność ma znaczenie: hipotezę zapisujesz przed startem, bo po pierwszym odczycie danych nikt nie potrafi już jej sformułować uczciwie.
W menu Kampanie kliknij Eksperymenty, potem przycisk plusa i Eksperyment niestandardowy, wybierz typ kampanii i kampanię pierwotną. Google utworzy kampanię próbną z przyrostkiem w nazwie. Ten sam efekt daje przycisk „Zapisz jako eksperyment” podczas edycji aktywnej kampanii.
Zmodyfikuj w kampanii próbnej wyłącznie testowany element. Każda dodatkowa poprawka, nawet drobna korekta wykluczeń, odbiera wynikowi jednoznaczność.
Nazwa powinna zawierać testowaną zmienną, na przykład „Docelowy ROAS 420% kontra maks. wartości konwersji”, bo za trzy miesiące będzie jedynym opisem, jaki zostanie. Raport podkreśli maksymalnie 2 wybrane cele, np. konwersje i koszt konwersji.
Data zakończenia powinna obejmować minimum cztery pełne tygodnie. Udział ruchu (zalecany 50%) i metodę losowania dobierasz do długości ścieżki zakupowej.
Jedno zdanie w dokumencie: co zmieniasz, jakiego kierunku zmiany oczekujesz i która metryka decyduje o wyniku. Bez tego zapisu każdy odczyt da się później opowiedzieć jako sukces.
Trzy rzeczy warto sprawdzić przed kliknięciem przycisku startu. Po pierwsze, czy kampania bazowa nie jest ograniczona budżetem - jeżeli już teraz traci wyświetlenia z powodu limitu, podział ruchu pogłębi problem w obu wariantach. Po drugie, czy w najbliższych tygodniach nie wypada promocja, wyprzedaż ani zmiana cennika, bo takie zdarzenia potrafią przesunąć wyniki mocniej niż testowana zmienna. Po trzecie, czy kampania nie korzysta z budżetu wspólnego - na kampanii z budżetem wspólnym eksperymentu niestandardowego nie utworzysz.
Jeśli chcesz sprawdzić, czy Twoje kampanie w ogóle mają wolumen pozwalający na sensowne eksperymenty, to jedna z pierwszych rzeczy, które weryfikuję podczas audytu konta - napisz do mnie przez formularz kontaktowy.
Jak długo powinien trwać eksperyment w Google Ads?
Eksperyment powinien trwać co najmniej cztery pełne tygodnie, żeby objąć wszystkie dni tygodnia w powtórzeniu i przetrwać fazę uczenia strategii licytacji.
Krótsze testy pokazują głównie szum, bo pierwsze dni po starcie wariant testowy spędza na kalibracji modelu, a nie na normalnej pracy.
Pomoc Google Ads o eksperymentach niestandardowych zaleca dać kampanii eksperymentalnej 7-14 dni na ustabilizowanie się, a przebieg okresu nauki strategii licytacji opisuję osobno.
Po zmianie strategii licytacji skuteczność według Pomocy Google Ads zbliża się do nowego celu zwykle w ciągu jednego lub dwóch cykli konwersji, więc test dwutygodniowy przy długim cyklu mierzy w dużej mierze sam proces kalibracji. Dodatkowo pojedynczy tydzień z nietypowym rozkładem konwersji przy czterech cyklach waży 25%, a przy dwóch aż 50%. Sama Pomoc Google Ads nie podaje jednej liczby: przy monitorowaniu eksperymentów mówi o 2-3 tygodniach potrzebnych do wskazania zwycięzcy, a w odpowiedziach dotyczących eksperymentów kampanii produktowych i Performance Max zaleca co najmniej 4-6 tygodni i 1-2 cykle konwersji.
Sam czas to jednak tylko połowa warunku. Druga połowa to wolumen: eksperyment potrzebuje wystarczającej liczby konwersji w każdym wariancie, żeby różnica dała się odróżnić od przypadku. Za minimum przyjmuję około 100 konwersji na wariant - to robocza reguła, nie próg podany przez Google, a wielkość próby dla własnych liczb policzysz w kalkulatorze testu A/B. Przy kilkudziesięciu konwersjach na wariant nawet różnica rzędu 20% mieści się w losowym rozrzucie, co pokazuje przykład poniżej.
- Tydzień 1 - faza uczenia, dane traktujesz wyłącznie jako kontrolę poprawności ustawień.
- Tydzień 2 - stabilizacja emisji, pierwsze porównania są już sensowne, ale wciąż niewiążące.
- Tydzień 3 - dane zaczynają się układać, sprawdzasz, czy udział ruchu faktycznie odpowiada ustawieniu.
- Tydzień 4 - odczyt rozstrzygający, decyzja o wdrożeniu, przedłużeniu albo odrzuceniu wariantu.
Czy wiesz, że…
Eksperyment, który po czterech tygodniach nie osiągnął istotności statystycznej, też jest wynikiem. Oznacza, że testowana zmiana nie daje różnicy wykrywalnej przy Twoim wolumenie, więc decyzję warto oprzeć na kosztach wdrożenia, a nie na mikroskopijnej przewadze w tabeli.
Jak czytać wyniki eksperymentu i istotność statystyczną?
Raport eksperymentu pokazuje dla każdej metryki wartość w obu wariantach, różnicę procentową oraz przedział ufności, w którym mieści się prawdziwa wielkość tej różnicy.
Wynik uznajesz za rozstrzygnięty dopiero wtedy, gdy Google oznaczy różnicę jako istotną statystycznie (niebieska gwiazdka). Domyślny przedział ufności w raporcie to 80%, a przy decyzjach o dużym budżecie warto przełączyć go na 95%. Poniższa tabela zestawia pięć typowych sygnałów z raportu eksperymentu z decyzją, którą z nich wyciągasz.
| Sygnał w raporcie | Co oznacza | Decyzja |
|---|---|---|
| Różnica oznaczona jako istotna, kierunek korzystny | Przewaga wariantu testowego jest wykrywalna przy wybranym poziomie ufności | Wdrażasz zwycięzcę |
| Różnica oznaczona jako istotna, kierunek niekorzystny | Wariant testowy realnie pogarsza wynik | Kończysz eksperyment, zostawiasz kampanię bazową |
| Przedział ufności obejmuje zero | Dane nie pozwalają odróżnić różnicy od przypadku | Przedłużasz test albo uznajesz brak efektu |
| Istotność na CTR, brak istotności na CPA | Zmiana działa na zachowanie w SERP, nie na sprzedaż | Oceniasz po metryce rozstrzygającej, nie po CTR |
| Duża różnica przy małej liczbie konwersji | Typowy fałszywy sygnał przy niskim wolumenie | Nie wdrażasz, czekasz na dane |
Najczęstszy błąd interpretacyjny polega na czytaniu wszystkich metryk naraz i wybieraniu tej, która wypadła najkorzystniej. Przy dziesięciu obserwowanych metrykach szansa, że przynajmniej jedna wyjdzie istotna czysto przypadkowo, jest znacząca - i właśnie dlatego metrykę rozstrzygającą zapisuje się przed startem, a nie po odczycie.
Druga rzecz, o której łatwo zapomnieć: przedział ufności mówi nie tylko o tym, czy różnica istnieje, ale też jak duża może być. Różnica CPA na poziomie minus 12% z przedziałem od minus 22% do minus 2% to zupełnie inna informacja niż te same minus 12% z przedziałem od minus 30% do plus 6%. W pierwszym przypadku wiesz, że oszczędzasz. W drugim wiesz tylko, że coś się dzieje.
Sam przedział Google liczy metodą ponownego próbkowania „scyzoryk” (jackknife) na danych zgrupowanych w 20 grup dla kampanii kontrolnej i 20 dla eksperymentalnej. Reklamodawca nie ma dostępu do danych na poziomie użytkownika, więc nie przeliczy tej statystyki samodzielnie, np. łącząc kilka eksperymentów w jeden wynik. Jeśli nie ufasz samej konfiguracji, Pomoc opisuje test A/A: kampania eksperymentalna identyczna z oryginałem przez cały test nie powinna dać istotnych różnic w kliknięciach, wyświetleniach, CTR ani CPC.
Kiedy testujesz zmiany w strategiach automatycznych, warto zestawić odczyt z tym, jak działa Smart Bidding - część wahań w pierwszych dwóch tygodniach wynika z samego procesu kalibracji modelu, a nie z jakości testowanego ustawienia.
Dlaczego eksperymenty w Google Ads dają mylące wyniki?
Eksperymenty mylą najczęściej dlatego, że decyzja zapada zbyt wcześnie, przy pierwszym korzystnym odczycie. Statystyk Evan Miller opisał ten mechanizm jako problem podglądania: powtarzane sprawdzanie wyniku i gotowość do zatrzymania testu w dowolnym momencie drastycznie podnoszą odsetek fałszywych zwycięstw wobec deklarowanego progu istotności.
Przyjmijmy podział ruchu 50/50 i współczynnik konwersji ok. 2,9% w wariancie bazowym oraz 3,7% w testowym. Po 5 dniach każdy wariant ma 1 120 kliknięć (33 i 41 konwersji), po 28 dniach 6 272 kliknięcia (184 i 229 konwersji). Ufność liczona dwustronnym testem dwóch proporcji.
Wniosek: przewaga wariantu testowego jest w obu odczytach taka sama, ok. 24% więcej konwersji. Przy 33 i 41 konwersjach daje ufność 66%, czyli nie odróżnia się od przypadku, a przy 184 i 229 konwersjach już 98%. Wynik rozstrzyga liczba konwersji, nie sama różnica między wariantami.
Poza przedwczesną decyzją powtarza się kilka innych źródeł błędu. Każde z nich jest łatwe do uniknięcia, o ile wiesz, czego szukać.
- Edycja kampanii w trakcie testu: synchronizacja eksperymentu, domyślnie włączona w nowych eksperymentach niestandardowych w sieci wyszukiwania i reklamowej, kopiuje zmiany z kampanii podstawowej do próbnej zwykle w ciągu 15 minut, ale tylko w tę stronę. Przy wyłączonej synchronizacji albo po jej błędzie zmiana w oryginale działa tylko po jednej stronie porównania.
- Nierówna ekspozycja: podział 50/50 kontroluje kwalifikowanie się do aukcji, a nie liczbę wyświetleń ani wydatki. Wariant z innymi stawkami wygrywa więcej lub mniej aukcji, a strona, która pierwsza wyczerpie budżet dzienny, przestaje wyświetlać reklamy do końca dnia.
- Nierówny start: eksperyment uruchomiony w środku tygodnia przy krótkim teście daje wariantom różną liczbę weekendów.
- Zdarzenie zewnętrzne: promocja, awaria płatności w sklepie, zmiana cennika albo kampania telewizyjna działają nierównomiernie na oba warianty.
- Zbyt mały udział ruchu: eksperyment z 10-procentowym udziałem w kampanii o umiarkowanym wolumenie praktycznie nigdy nie osiągnie istotności.
- Mieszanie sygnałów konwersji: jeśli w trakcie testu zmieniasz definicję konwersji, obie kampanie raportują coś innego niż na starcie.
Uważam, że najgroźniejszy z tej listy jest punkt pierwszy, bo wygląda niewinnie. Synchronizacja działa tylko z kampanii podstawowej do próbnej, edycja kampanii próbnej przy włączonej synchronizacji może skończyć się błędem, po którym system przestaje synchronizować zmiany do końca testu, a reklamy są wspólne dla obu kampanii, więc edycja reklamy w kampanii kontrolnej od razu trafia do eksperymentalnej. Dlatego traktuję kampanię bazową w czasie eksperymentu jak zamrożoną.
To dokładnie ten rodzaj wzorca, który wychodzi na wierzch podczas audytu konta - jeśli rozpoznajesz go u siebie, warto zacząć od uporządkowania samego procesu testowania, zanim uruchomisz kolejny eksperyment.
Trzy sposoby zamknięcia eksperymentu i wdrożenia zwycięskiego wariantu
Google Ads daje trzy sposoby zamknięcia eksperymentu: zastosowanie zmian w kampanii bazowej, przekształcenie eksperymentu w niezależną kampanię albo zwykłe zakończenie testu bez wdrożenia.
Wybór między dwoma pierwszymi wariantami ma konsekwencje dla historii konta i dla strategii licytacji, więc nie jest kosmetyczny.
- Zastosuj zmiany w oryginale - kampania bazowa przejmuje ustawienia z eksperymentu i zachowuje pełną historię wyników. To domyślny wybór dla testów dotyczących licytacji i kierowania.
- Przekształć eksperyment w nową kampanię - wariant testowy staje się zwykłą kampanią z takim samym budżetem dziennym i datami, a kampania bazowa zostaje wstrzymana. Sensowne, gdy zmiana była na tyle głęboka, że stara historia i tak przestaje pasować.
- Zakończ eksperyment bez wdrożenia - zmieniasz datę zakończenia albo klikasz Edytuj i Zakończ teraz, ruch wraca w całości do kampanii bazowej, a wnioski zapisujesz w dokumentacji testów.
Według Pomocy Google Ads w obu wariantach zachowasz dane o skuteczności pierwotnej kampanii i eksperymentu, ale po przekształceniu dalsze wyniki zbiera nowy obiekt, a stara kampania stoi wstrzymana obok. Dlatego domyślnie wybieram zastosowanie zmian w oryginale: jedna kampania, ciągła historia i brak dubli w raportach. Eksperyment niestandardowy z korzystnym wynikiem możesz też zastosować automatycznie, jeśli włączysz to przy jego tworzeniu.
Po wdrożeniu zostaje jeszcze jedna czynność, którą łatwo pominąć: zapisanie wyniku. Prowadzę prosty rejestr testów z datą, testowaną zmienną, metryką rozstrzygającą i wynikiem. Po roku taki rejestr jest wart więcej niż większość raportów, bo pokazuje, które hipotezy na danym koncie sprawdzają się powtarzalnie, a które wracają jak bumerang i zawsze przegrywają.
Czy wiesz, że…
Policzmy na przykładzie: kampania na maksymalizacji liczby konwersji ma 100 konwersji po 58 zł, czyli 5 800 zł wydatku. Eksperyment ze strategią Docelowy CPA kończy się spadkiem CPA z 58 zł do 41 zł przy 9-procentowym spadku liczby konwersji: 91 konwersji po 41 zł to 3 731 zł, więc wydatek spada o 2 069 zł, ale tracisz 9 sprzedaży. Decyzję o wdrożeniu podejmujesz dopiero po zestawieniu obu tych liczb, nie po samym CPA.
Kiedy lepiej wprowadzić zmianę od razu, bez eksperymentu?
Eksperyment traci sens, gdy koszt czekania na wynik przewyższa ryzyko samej zmiany albo gdy kampania nie ma wolumenu pozwalającego cokolwiek zmierzyć.
W takich sytuacjach uczciwiej jest wprowadzić zmianę na żywo, zapisać datę i obserwować wyniki, niż udawać test, który i tak nic nie rozstrzygnie.
- Naprawa oczywistego błędu: brakujące wykluczenia, zła strona docelowa, literówka w reklamie - to się poprawia natychmiast, bez testowania.
- Kampania o bardzo małym wolumenie: przy kilkunastu konwersjach miesięcznie podział ruchu na pół daje dwa zbiory danych, z których żaden nie pozwoli na wniosek.
- Zmiana wymuszona zewnętrznie: nowa polityka Google, wycofanie formatu, wymóg prawny - tu nie ma czego porównywać.
- Test na poziomie konta: modele atrybucji, definicje konwersji i ustawienia globalne działają na oba warianty jednocześnie.
- Bardzo krótkie okno sprzedażowe: przy kampanii trwającej dziesięć dni czterotygodniowy test kończy się po sezonie.
Istnieje też grupa zmian, które Google sam podpowiada w panelu, a które kuszą, żeby wdrożyć je jednym kliknięciem. Zanim to zrobisz, sprawdź, które rekomendacje Google Ads warto wdrażać - część z nich to idealni kandydaci na eksperyment, a nie na automatyczne zastosowanie.
Granica jest prosta i stosuję ją od lat: eksperyment robisz wtedy, gdy nie wiesz, co się stanie, a skutki są odwracalne. Kiedy wiesz, co się stanie, wdrażasz. Kiedy skutki są nieodwracalne, nie testujesz tylko planujesz.
Od czego zacząć pierwszy eksperyment w Google Ads?
Eksperymenty w Google Ads zamieniają opinie na dane. Zamiast dyskusji o tym, czy docelowy ROAS zadziała lepiej od maksymalizacji liczby konwersji, dostajesz liczbę z przedziałem ufności i decyzję, która da się obronić przed klientem, zarządem i przed samym sobą za pół roku.
Przestań traktować zmianę ustawień jak decyzję do podjęcia i zacznij postrzegać ją jako hipotezę do sprawdzenia. Ta zmiana perspektywy kosztuje kilka minut na uruchomienie eksperymentu i cztery tygodnie cierpliwości, a w zamian eliminuje najdroższą kategorię błędów w kampaniach: zmiany wprowadzone z przekonaniem, na całym ruchu, bez możliwości sprawdzenia, czy faktycznie pomogły.
- Wybierz jedną zmienną i zapisz hipotezę wraz z metryką rozstrzygającą.
- Ustaw podział 50 na 50 i metodę losowania dopasowaną do długości ścieżki zakupowej.
- Zamroź kampanię bazową na cały czas trwania testu.
- Odczytaj wynik po czterech tygodniach, nie wcześniej, i porównaj go z zapisaną hipotezą.
- Zapisz wnioski w rejestrze testów, niezależnie od tego, czy wariant wygrał, czy przegrał.
Konto, na którym prowadzi się jeden porządny eksperyment na kwartał, po roku wie o swoich odbiorcach więcej niż konto, na którym zmienia się coś co tydzień. To nie jest kwestia tempa pracy. To kwestia tego, czy z tej pracy zostaje wiedza.
Sprawdź, jak to wygląda u Ciebie
Ta sama mechanika działa inaczej w zależności od tego, gdzie i dla kogo reklamujesz. Trzy ujęcia, w których prowadzę kampanie:
Czy ten artykuł był dla Ciebie pomocny?
Oceń go w skali od 1 do 5. Dzięki temu wiem, które tematy rozwijać.
Brak ocen. Twoja będzie pierwsza.
Źródła i dokumentacja
Cztery źródła opisują mechanikę wersji roboczych i eksperymentów po stronie Google, dwa kolejne dotyczą metodologii testów i najczęstszego błędu przy odczycie wyniku.
About campaign drafts for Search and Display
Oficjalny opis wersji roboczych kampanii: kopia ustawień, stany wersji roboczej, dostępność tylko w sieciach wyszukiwania i reklamowej oraz funkcje niedostępne w wersjach roboczych. Podstawa dla sekcji o działaniu wersji roboczych.
Eksperymenty niestandardowe
Opis eksperymentów niestandardowych w Pomocy Google Ads: typy kampanii, przycisk Zapisz jako eksperyment, podział ruchu i budżetu, 7-14 dni na stabilizację oraz zastosowanie wyniku albo przekształcenie w nową kampanię. Podstawa tabeli typów kampanii i sekcji o zamknięciu eksperymentu.
Metoda statystyczna używana w przypadku eksperymentów
Wyjaśnienie Google, jak raport eksperymentu liczy przedział ufności: metoda jackknife na 20 grupach danych na kampanię, podział aukcji przed kierowaniem, różnica między podziałem według wyszukiwania i pliku cookie oraz warunki testu A/A. Podstawa sekcji o czytaniu wyników.
Experiments overview - Google Ads API
Dokumentacja techniczna opisująca strukturę eksperymentu, statusy cyklu życia oraz parametr udziału ruchu i metodę podziału. Techniczna podstawa sekcji o dzieleniu ruchu między kampanię bazową a eksperyment.
A/B Testing 101
Opracowanie Nielsen Norman Group o zasadach testów porównawczych: jedna zmienna na test, równoległość wariantów i warunki, w których wynik da się przypisać zmianie. Metodologiczne zaplecze sekcji o zmiennych nadających się do eksperymentu.
How Not To Run an A/B Test
Analiza problemu podglądania wyników z symulacją pokazującą, jak wielokrotne sprawdzanie testu zawyża odsetek fałszywych zwycięstw. Bezpośrednie zaplecze sekcji o tym, dlaczego eksperymenty dają mylące wyniki.
Pytania i odpowiedzi (FAQ)
Siedem pytań, które wracają po uruchomieniu pierwszego eksperymentu: o koszty, limity, wpływ na strategie automatyczne i o to, kto w firmie zatwierdza wdrożenie zwycięskiego wariantu.
Czy uruchomienie eksperymentu w Google Ads zwiększa łączne wydatki na kampanię?
Ile eksperymentów w Google Ads można prowadzić jednocześnie na jednym koncie?
Czy eksperyment w Google Ads resetuje fazę uczenia strategii Smart Bidding?
Czy eksperymenty Google Ads można przygotować w Edytorze Google Ads albo przez Google Ads API?
Kto w firmie powinien zatwierdzać wdrożenie zwycięskiego wariantu eksperymentu Google Ads?
Czy wyniki eksperymentu Google Ads można wykorzystać w raporcie dla klienta lub zarządu?
Czy w Google Ads można zmienić podział ruchu w trakcie trwającego eksperymentu?
Ten wpis należy do obszaru Pomiar i analityka - zobacz pozostałe teksty z tego obszaru.
Możesz też wrócić do obszaru optymalizacji kampanii Google Ads.