Eksperymenty i wersje robocze kampanii Google Ads - jak testować zmiany

Autor: |Baza wiedzy o Google Ads
Czas czytania: 23 min
Aktualizacja:

Eksperymenty w Google Ads to wbudowany mechanizm testowania zmian, w którym część ruchu kampanii trafia do wariantu testowego, a reszta pozostaje przy wariancie bazowym. Wersja robocza kampanii (draft) jest kopią ustawień istniejącej kampanii, w której przygotowujesz modyfikacje bez wpływu na kampanię działającą na żywo, ale nie jest już warunkiem testu: eksperyment niestandardowy tworzysz bezpośrednio na stronie Eksperymenty (dawniej „Wersje robocze i eksperymenty”). Google dzieli ruch i budżet między oba warianty i raportuje różnice wyników wraz z przedziałami ufności. Dzięki temu efekt samej zmiany daje się oddzielić od sezonowości, ruchów konkurencji i naturalnych wahań aukcji.

Najczęstszy sposób „testowania” w kampaniach wygląda tak: specjalista zmienia strategię licytacji w poniedziałek, po dwóch tygodniach porównuje wyniki z poprzednim okresem i ogłasza sukces albo porażkę. Problem w tym, że w tych dwóch tygodniach zmieniło się jeszcze kilkanaście rzeczy, na które nikt nie miał wpływu. Uważam ten wzorzec za jedno z najdroższych przyzwyczajeń w branży, bo daje pewność tam, gdzie dane jej nie dają. Eksperymenty istnieją dokładnie po to, żeby ten sposób pracy zastąpić.

Skrót artykułu
Co warto wiedzieć

Najważniejsze zasady testowania zmian w kampaniach Google Ads: od mechaniki wersji roboczej po próg, przy którym wynik wolno uznać za rozstrzygnięty.

  • Wersja robocza kampanii Google Ads nie wydaje ani złotówki budżetu

    Draft jest kopią ustawień kampanii, która nie bierze udziału w aukcji, a jej kreacje czekają w stanie „W trakcie sprawdzania”. Budżet zaczyna się wydawać dopiero po zastosowaniu wersji roboczej w kampanii albo po uruchomieniu eksperymentu. Na koncie zmieścisz do 25 wersji roboczych.

  • Raport eksperymentu domyślnie pokazuje przedział ufności 80%, a próg można podnieść

    Pomoc Google Ads opisuje raport eksperymentu jako zestaw przedziałów ufności, w którym domyślny przedział wynosi 80%, a własny poziom, np. 95%, wybierasz sam. Różnicę istotną statystycznie raport oznacza niebieską gwiazdką.

  • Zatrzymanie testu w dniu korzystnego odczytu produkuje fałszywych zwycięzców

    Statystyk Evan Miller opisał ten mechanizm jako problem podglądania: im częściej sprawdzasz wynik i im szybciej reagujesz na pierwszy sygnał przewagi, tym większa szansa, że ogłosisz zwycięzcę tam, gdzie działa wyłącznie przypadek.

  • Eksperyment wychwytuje regres strategii licytacji szybciej niż porównanie okresów

    Kampania bazowa i eksperyment działają w tym samym czasie, a przy podziale 50:50 biorą udział w tej samej liczbie aukcji, więc sezonowość działa na oba warianty jednakowo. W porównaniu okres do okresu poprawa sezonowa potrafi przykryć regres nowej strategii i pokazać go jako wynik neutralny.

  • Performance Max nie korzysta z klasycznych wersji roboczych kampanii

    Wersje robocze działają tylko w kampaniach w sieci wyszukiwania i reklamowej. Performance Max ma 3 własne typy eksperymentów: wzrost skuteczności, przekształcenie innej kampanii w PMax (np. standardowej kampanii produktowej) i optymalizację, w tym testy komponentów.

Czym są eksperymenty w Google Ads i jak działają wersje robocze kampanii?

Eksperyment w Google Ads jest równoległym uruchomieniem dwóch wariantów tej samej kampanii, między które system dzieli ruch i budżet, żeby zmierzyć wpływ jednej wprowadzonej zmiany.

Wersja robocza to etap przygotowawczy: kopiujesz ustawienia kampanii, nanosisz modyfikacje i decydujesz, czy zastosować je w oryginale, utworzyć z nich nową kampanię, czy sprawdzić je w eksperymencie. Eksperyment możesz też utworzyć bez wersji roboczej, a Google Ads sam zbuduje wtedy kampanię próbną ze zmienionymi ustawieniami.

Mechanika ma trzy stany i warto je rozróżniać, bo w interfejsie łatwo je pomylić. Wersja robocza czeka i nic nie kosztuje. Eksperyment działa i wydaje pieniądze z budżetu kampanii bazowej. Kampania po wdrożeniu zwycięzcy to już zwykła kampania, która przejmuje historię wyników.

  • Wersja robocza (draft): kopia ustawień kampanii bazowej, przygotowywana na karcie „Wersje robocze” w menu Kampanie. Nie wyświetla reklam i nie generuje kosztów.
  • Eksperyment: kampania próbna wypuszczona na ruch, z określonym udziałem procentowym ruchu i budżetu, datą startu i datą zakończenia.
  • Kampania bazowa: oryginał, który działa dalej na pozostałej części ruchu i pełni rolę grupy kontrolnej.
  • Raport eksperymentu: zestawienie obu wariantów z różnicami procentowymi i przedziałami ufności dla każdej metryki.

Kluczowa różnica wobec ręcznego testowania leży w jednoczesności. Kampania bazowa i eksperyment działają w tym samym czasie, przy tej samej sezonowości i tej samej aktywności konkurencji. Według opisu metody statystycznej eksperymentów w Pomocy Google Ads podział obejmuje kwalifikujące się aukcje jeszcze przed zastosowaniem kierowania, więc przy podziale 50:50 obie kampanie biorą udział w tej samej liczbie aukcji. Wszystkie czynniki zewnętrzne działają na oba warianty identycznie, więc różnica w wynikach ma szansę pochodzić z testowanej zmiany, a nie z tła.

To podejście wpisuje się w szerszy porządek pracy nad kontem, który opisuję w bazie wiedzy o optymalizacji kampanii Google Ads. Testowanie jest tam etapem, nie dodatkiem.

Typy kampanii Google Ads z obsługą eksperymentów i wersji roboczych

Wersje robocze są dostępne tylko w kampaniach w sieci wyszukiwania i w sieci reklamowej, a eksperymenty niestandardowe obejmują dodatkowo kampanie generujące popyt i kampanie wideo.

Pozostałe typy kampanii mają własne testy na tej samej stronie Eksperymenty w menu Kampanie. Poniższa tabela zestawia, który mechanizm testowy jest dostępny w danym typie kampanii według Pomocy Google Ads.

Wersje robocze, eksperymenty niestandardowe i inne testy według typu kampanii Google Ads (Pomoc Google Ads, stan na październik 2026)
Typ kampaniiWersja roboczaEksperyment niestandardowyInny test na stronie Eksperymenty
Sieć wyszukiwaniaTakTakOdmiany reklam i eksperymenty AI Max
Sieć reklamowaTakTakBrak osobnego typu
Kampanie generujące popytNieTakTest A/B komponentów
WideoNieTakTest A/B komponentów wideo
Performance MaxNieNieEksperymenty wzrostu, przekształcenia i optymalizacji
Kampanie produktoweNieNieEksperyment kampania produktowa kontra Performance Max
Kampanie promujące aplikacjeNieNieEksperymenty z komponentami aplikacji

Ograniczenie dotyczące Performance Max bywa źródłem nieporozumień. W PMax nie zbudujesz wersji roboczej, a Google udostępnia tam trzy typy eksperymentów: wzrostu skuteczności (PMax dodany do obecnych kampanii), przekształcenia (np. standardowa kampania produktowa kontra Performance Max, po zastosowaniu PMax przejmuje 100% ruchu, a kampania kontrolna zostaje wstrzymana) oraz optymalizacji, w tym eksperymenty na grupach komponentów, opisane szerzej w przeglądzie zmian dotyczących eksperymentów w Performance Max. Osobny przypadek to eksperyment AI Max w kampaniach w sieci wyszukiwania: nie tworzy kopii, tylko dzieli ruch i budżet wewnątrz dotychczasowej kampanii na grupę kontrolną bez funkcji AI Max i eksperymentalną z nimi, co według Pomocy Google Ads skraca okres nauki i usuwa problemy z synchronizacją. Najmłodszy wariant to eksperymenty miksu kampanii (Campaign Mix): do 5 grup złożonych z istniejących kampanii różnych typów, z udziałem ruchu od 1%, na razie tylko dla kont z listy dopuszczonych.

!

Czy wiesz, że…

Eksperyment niestandardowy w sieci wyszukiwania i reklamowej nie potrzebuje własnego budżetu dziennego. Google pobiera środki z budżetu kampanii bazowej i dzieli go zgodnie z ustawionym udziałem, więc uruchomienie testu nie zwiększa automatycznie łącznych wydatków konta. Inaczej jest w eksperymentach z podziałem ruchu, np. w Performance Max, kampaniach generujących popyt i wideo: gdy testowana zmiana działa lepiej, wydatki mogą wzrosnąć.

Zmienne nadające się do eksperymentu Google Ads i te, które się nie nadają

Do eksperymentu nadaje się każda zmiana, która ma wpływ na sposób wchodzenia kampanii do aukcji i którą da się opisać jedną zmienną.

Nie nadają się zmiany, których skutek wykracza poza kampanię, oraz takie, przy których wariant testowy i bazowy przestają rywalizować o ten sam ruch.

  • Strategia licytacji: przejście z maksymalizacji liczby konwersji na Docelowy CPA albo z maksymalizacji wartości konwersji na Docelowy ROAS to najczęstszy i najbardziej wdzięczny przedmiot testu.
  • Poziom docelowego CPA lub ROAS: podniesienie celu o kilkanaście procent pokazuje realny kompromis między wolumenem a efektywnością.
  • Typy dopasowania słów kluczowych: rozszerzenie zestawu o dopasowanie przybliżone przy jednoczesnej kontroli wykluczeń.
  • Struktura grup reklam: konsolidacja rozdrobnionych grup w szersze jednostki tematyczne.
  • Strony docelowe: skierowanie ruchu na inny adres, o ile obie wersje strony są jednakowo szybkie i sprawne technicznie.
  • Kierowanie geograficzne i harmonogram: zawężenie obszaru lub godzin emisji, gdy podejrzewasz przepalanie budżetu.

Lista rzeczy nienadających się do eksperymentu jest krótsza, ale ważniejsza. Zmiany na poziomie konta, takie jak modele atrybucji czy definicje konwersji, działają na oba warianty jednocześnie, więc test niczego nie rozstrzygnie. Z kolei do testowania samych tekstów reklam nie potrzebujesz osobnej kampanii eksperymentalnej: na stronie Eksperymenty są odmiany reklam (Znajdź i zamień, Aktualizuj tekst, Zaktualizuj adresy URL) z podziałem na podstawie plików cookie, a dobór reklam wewnątrz jednej grupy to zadanie rotacji reklam.

Zasada, którą stosuję bez wyjątku: jeden eksperyment testuje jedną zmienną. Kiedy w kampanii próbnej zmieniasz naraz strategię licytacji, strukturę grup i strony docelowe, wynik będzie jednoznaczny, ale bezużyteczny. Dowiesz się, że pakiet zmian działa lepiej lub gorzej, i nie będziesz miał pojęcia, który element o tym zadecydował.

Dwa sposoby wprowadzania zmiany
Zmiana na żywo kontra zmiana przez eksperyment

Ta sama modyfikacja strategii licytacji, wprowadzona na dwa sposoby, daje zupełnie inny poziom ryzyka dla wyników kampanii.

Zmiana wprowadzona wprost w kampanii Cały ruch pod eksperymentem
0100% ruchu

Cała kampania przechodzi na nowe ustawienie. Jeżeli zmiana okaże się błędem, tracisz efektywność na 100% ruchu, a cofnięcie jej ponownie resetuje fazę uczenia strategii licytacji.

Zmiana wypuszczona jako eksperyment Ryzyko ograniczone do udziału testu
Barieraudział ruchu = 50%
0100% ruchu

Nowe ustawienie dostaje połowę ruchu, druga połowa pracuje bez zmian. Nieudany wariant kosztuje połowę tego, co kosztowałby przy zmianie na żywo, a kampania bazowa nie traci historii.

Uwaga: zejście z udziałem ruchu poniżej 30% wygląda bezpiecznie, ale wydłuża zbieranie danych na tyle, że test często kończy się bez rozstrzygnięcia. Przy typowej kampanii w sieci wyszukiwania startuj od podziału 50 na 50.

Jak podzielić ruch między kampanię bazową a eksperyment?

Google Ads pozwala ustawić udział procentowy ruchu i budżetu przypisanego do eksperymentu (Google zaleca 50%) oraz wybrać metodę losowania: opartą na plikach cookie albo opartą na wyszukiwaniu. Podziału nie zmienisz po skonfigurowaniu eksperymentu, a inny podział wymaga utworzenia nowego.

Wybór metody decyduje o tym, czy ten sam użytkownik może zobaczyć oba warianty, i ma bezpośredni wpływ na wiarygodność wyniku przy dłuższych ścieżkach zakupowych. Poniższa tabela zestawia obie metody podziału według kryteriów, które rozstrzygają o wyborze.

Podział eksperymentu Google Ads na podstawie plików cookie i na podstawie wyszukiwań (Pomoc Google Ads, stan na październik 2026)
KryteriumPodział oparty na plikach cookiePodział oparty na wyszukiwaniu
Jednostka losowaniaUżytkownikPojedyncze zapytanie
Czy użytkownik widzi oba wariantyNie, zostaje w jednej grupieTak, przy kolejnych wyszukiwaniach
DostępnośćSieć wyszukiwania i sieć reklamowaTylko sieć wyszukiwania
Tempo zbierania danychWolniejszeSzybsze
Najlepsze zastosowanieDługi proces decyzyjny, wiele wizyt przed konwersjąZakupy impulsowe, krótka ścieżka, duży wolumen zapytań
Główne ryzykoTest kończy się bez istotności przy małym ruchuEfekt przenoszenia doświadczeń między wariantami

Podział 50 na 50 z losowaniem opartym na plikach cookie, który Google oznacza jako zalecany, sprawdza się wszędzie tam, gdzie konwersja wymaga więcej niż jednej wizyty. Przy zakupie mebli, usłudze prawnej czy maszynie użytkownik wraca kilka razy, więc mieszanie wariantów w obrębie jednej ścieżki zwyczajnie zaciera wynik. Jeśli eksperyment z podziałem na podstawie plików cookie korzysta z list odbiorców, lista musi mieć co najmniej 10 tys. użytkowników.

Asymetryczny podział ma sens w dwóch sytuacjach. Pierwsza to test o wysokim ryzyku, przy którym chcesz ograniczyć ekspozycję - wtedy 20% ruchu dla eksperymentu jest rozsądnym kompromisem, o ile kampania ma wolumen pozwalający zebrać dane. Druga to sytuacja odwrotna: gdy jesteś niemal pewny przewagi wariantu testowego i chcesz szybciej ją potwierdzić, dając mu 70% ruchu.

Jak uruchomić eksperyment w Google Ads?

Uruchomienie eksperymentu zajmuje kilka minut i sprowadza się do pięciu czynności: utworzenia eksperymentu niestandardowego, naniesienia jednej zmiany w kampanii próbnej, nadania nazwy i wyboru wyznaczników sukcesu, ustawienia dat i udziału ruchu oraz zapisania hipotezy przed startem.

Ostatni krok jest pomijany najczęściej i to on decyduje o tym, czy wynik da się w ogóle zinterpretować.

Procedura uruchomienia
Pięć kroków od pomysłu do działającego eksperymentu

Kolejność ma znaczenie: hipotezę zapisujesz przed startem, bo po pierwszym odczycie danych nikt nie potrafi już jej sformułować uczciwie.

1
Utwórz eksperyment niestandardowy

W menu Kampanie kliknij Eksperymenty, potem przycisk plusa i Eksperyment niestandardowy, wybierz typ kampanii i kampanię pierwotną. Google utworzy kampanię próbną z przyrostkiem w nazwie. Ten sam efekt daje przycisk „Zapisz jako eksperyment” podczas edycji aktywnej kampanii.

2
Nanieś dokładnie jedną zmianę

Zmodyfikuj w kampanii próbnej wyłącznie testowany element. Każda dodatkowa poprawka, nawet drobna korekta wykluczeń, odbiera wynikowi jednoznaczność.

3
Nadaj nazwę i wybierz wyznaczniki sukcesu

Nazwa powinna zawierać testowaną zmienną, na przykład „Docelowy ROAS 420% kontra maks. wartości konwersji”, bo za trzy miesiące będzie jedynym opisem, jaki zostanie. Raport podkreśli maksymalnie 2 wybrane cele, np. konwersje i koszt konwersji.

4
Ustaw daty, udział ruchu i metodę podziału

Data zakończenia powinna obejmować minimum cztery pełne tygodnie. Udział ruchu (zalecany 50%) i metodę losowania dobierasz do długości ścieżki zakupowej.

5
Zapisz hipotezę i metrykę rozstrzygającą

Jedno zdanie w dokumencie: co zmieniasz, jakiego kierunku zmiany oczekujesz i która metryka decyduje o wyniku. Bez tego zapisu każdy odczyt da się później opowiedzieć jako sukces.

Trzy rzeczy warto sprawdzić przed kliknięciem przycisku startu. Po pierwsze, czy kampania bazowa nie jest ograniczona budżetem - jeżeli już teraz traci wyświetlenia z powodu limitu, podział ruchu pogłębi problem w obu wariantach. Po drugie, czy w najbliższych tygodniach nie wypada promocja, wyprzedaż ani zmiana cennika, bo takie zdarzenia potrafią przesunąć wyniki mocniej niż testowana zmienna. Po trzecie, czy kampania nie korzysta z budżetu wspólnego - na kampanii z budżetem wspólnym eksperymentu niestandardowego nie utworzysz.

Jeśli chcesz sprawdzić, czy Twoje kampanie w ogóle mają wolumen pozwalający na sensowne eksperymenty, to jedna z pierwszych rzeczy, które weryfikuję podczas audytu konta - napisz do mnie przez formularz kontaktowy.

Jak długo powinien trwać eksperyment w Google Ads?

Eksperyment powinien trwać co najmniej cztery pełne tygodnie, żeby objąć wszystkie dni tygodnia w powtórzeniu i przetrwać fazę uczenia strategii licytacji.

Krótsze testy pokazują głównie szum, bo pierwsze dni po starcie wariant testowy spędza na kalibracji modelu, a nie na normalnej pracy.

Pomoc Google Ads o eksperymentach niestandardowych zaleca dać kampanii eksperymentalnej 7-14 dni na ustabilizowanie się, a przebieg okresu nauki strategii licytacji opisuję osobno.

Minimalny horyzont testu 28 dni 4 pełne cykle tygodniowe
Dlaczego cztery tygodnie, a nie dwa

Po zmianie strategii licytacji skuteczność według Pomocy Google Ads zbliża się do nowego celu zwykle w ciągu jednego lub dwóch cykli konwersji, więc test dwutygodniowy przy długim cyklu mierzy w dużej mierze sam proces kalibracji. Dodatkowo pojedynczy tydzień z nietypowym rozkładem konwersji przy czterech cyklach waży 25%, a przy dwóch aż 50%. Sama Pomoc Google Ads nie podaje jednej liczby: przy monitorowaniu eksperymentów mówi o 2-3 tygodniach potrzebnych do wskazania zwycięzcy, a w odpowiedziach dotyczących eksperymentów kampanii produktowych i Performance Max zaleca co najmniej 4-6 tygodni i 1-2 cykle konwersji.

Sam czas to jednak tylko połowa warunku. Druga połowa to wolumen: eksperyment potrzebuje wystarczającej liczby konwersji w każdym wariancie, żeby różnica dała się odróżnić od przypadku. Za minimum przyjmuję około 100 konwersji na wariant - to robocza reguła, nie próg podany przez Google, a wielkość próby dla własnych liczb policzysz w kalkulatorze testu A/B. Przy kilkudziesięciu konwersjach na wariant nawet różnica rzędu 20% mieści się w losowym rozrzucie, co pokazuje przykład poniżej.

  1. Tydzień 1 - faza uczenia, dane traktujesz wyłącznie jako kontrolę poprawności ustawień.
  2. Tydzień 2 - stabilizacja emisji, pierwsze porównania są już sensowne, ale wciąż niewiążące.
  3. Tydzień 3 - dane zaczynają się układać, sprawdzasz, czy udział ruchu faktycznie odpowiada ustawieniu.
  4. Tydzień 4 - odczyt rozstrzygający, decyzja o wdrożeniu, przedłużeniu albo odrzuceniu wariantu.
!

Czy wiesz, że…

Eksperyment, który po czterech tygodniach nie osiągnął istotności statystycznej, też jest wynikiem. Oznacza, że testowana zmiana nie daje różnicy wykrywalnej przy Twoim wolumenie, więc decyzję warto oprzeć na kosztach wdrożenia, a nie na mikroskopijnej przewadze w tabeli.

Jak czytać wyniki eksperymentu i istotność statystyczną?

Raport eksperymentu pokazuje dla każdej metryki wartość w obu wariantach, różnicę procentową oraz przedział ufności, w którym mieści się prawdziwa wielkość tej różnicy.

Wynik uznajesz za rozstrzygnięty dopiero wtedy, gdy Google oznaczy różnicę jako istotną statystycznie (niebieska gwiazdka). Domyślny przedział ufności w raporcie to 80%, a przy decyzjach o dużym budżecie warto przełączyć go na 95%. Poniższa tabela zestawia pięć typowych sygnałów z raportu eksperymentu z decyzją, którą z nich wyciągasz.

Sygnały w raporcie eksperymentu Google Ads i decyzje, które z nich wynikają (opracowanie autora na podstawie Pomocy Google Ads)
Sygnał w raporcieCo oznaczaDecyzja
Różnica oznaczona jako istotna, kierunek korzystnyPrzewaga wariantu testowego jest wykrywalna przy wybranym poziomie ufnościWdrażasz zwycięzcę
Różnica oznaczona jako istotna, kierunek niekorzystnyWariant testowy realnie pogarsza wynikKończysz eksperyment, zostawiasz kampanię bazową
Przedział ufności obejmuje zeroDane nie pozwalają odróżnić różnicy od przypadkuPrzedłużasz test albo uznajesz brak efektu
Istotność na CTR, brak istotności na CPAZmiana działa na zachowanie w SERP, nie na sprzedażOceniasz po metryce rozstrzygającej, nie po CTR
Duża różnica przy małej liczbie konwersjiTypowy fałszywy sygnał przy niskim wolumenieNie wdrażasz, czekasz na dane

Najczęstszy błąd interpretacyjny polega na czytaniu wszystkich metryk naraz i wybieraniu tej, która wypadła najkorzystniej. Przy dziesięciu obserwowanych metrykach szansa, że przynajmniej jedna wyjdzie istotna czysto przypadkowo, jest znacząca - i właśnie dlatego metrykę rozstrzygającą zapisuje się przed startem, a nie po odczycie.

Druga rzecz, o której łatwo zapomnieć: przedział ufności mówi nie tylko o tym, czy różnica istnieje, ale też jak duża może być. Różnica CPA na poziomie minus 12% z przedziałem od minus 22% do minus 2% to zupełnie inna informacja niż te same minus 12% z przedziałem od minus 30% do plus 6%. W pierwszym przypadku wiesz, że oszczędzasz. W drugim wiesz tylko, że coś się dzieje.

Sam przedział Google liczy metodą ponownego próbkowania „scyzoryk” (jackknife) na danych zgrupowanych w 20 grup dla kampanii kontrolnej i 20 dla eksperymentalnej. Reklamodawca nie ma dostępu do danych na poziomie użytkownika, więc nie przeliczy tej statystyki samodzielnie, np. łącząc kilka eksperymentów w jeden wynik. Jeśli nie ufasz samej konfiguracji, Pomoc opisuje test A/A: kampania eksperymentalna identyczna z oryginałem przez cały test nie powinna dać istotnych różnic w kliknięciach, wyświetleniach, CTR ani CPC.

Kiedy testujesz zmiany w strategiach automatycznych, warto zestawić odczyt z tym, jak działa Smart Bidding - część wahań w pierwszych dwóch tygodniach wynika z samego procesu kalibracji modelu, a nie z jakości testowanego ustawienia.

Dlaczego eksperymenty w Google Ads dają mylące wyniki?

Eksperymenty mylą najczęściej dlatego, że decyzja zapada zbyt wcześnie, przy pierwszym korzystnym odczycie. Statystyk Evan Miller opisał ten mechanizm jako problem podglądania: powtarzane sprawdzanie wyniku i gotowość do zatrzymania testu w dowolnym momencie drastycznie podnoszą odsetek fałszywych zwycięstw wobec deklarowanego progu istotności.

Policzmy na przykładzie: dwa momenty odczytu
Poziom ufności po piątym i po dwudziestym ósmym dniu

Przyjmijmy podział ruchu 50/50 i współczynnik konwersji ok. 2,9% w wariancie bazowym oraz 3,7% w testowym. Po 5 dniach każdy wariant ma 1 120 kliknięć (33 i 41 konwersji), po 28 dniach 6 272 kliknięcia (184 i 229 konwersji). Ufność liczona dwustronnym testem dwóch proporcji.

Dzień 5 testu
66%
Poniżej progu decyzyjnego
Dzień 28 testu
98%
Powyżej progu 95%

Wniosek: przewaga wariantu testowego jest w obu odczytach taka sama, ok. 24% więcej konwersji. Przy 33 i 41 konwersjach daje ufność 66%, czyli nie odróżnia się od przypadku, a przy 184 i 229 konwersjach już 98%. Wynik rozstrzyga liczba konwersji, nie sama różnica między wariantami.

Poza przedwczesną decyzją powtarza się kilka innych źródeł błędu. Każde z nich jest łatwe do uniknięcia, o ile wiesz, czego szukać.

  • Edycja kampanii w trakcie testu: synchronizacja eksperymentu, domyślnie włączona w nowych eksperymentach niestandardowych w sieci wyszukiwania i reklamowej, kopiuje zmiany z kampanii podstawowej do próbnej zwykle w ciągu 15 minut, ale tylko w tę stronę. Przy wyłączonej synchronizacji albo po jej błędzie zmiana w oryginale działa tylko po jednej stronie porównania.
  • Nierówna ekspozycja: podział 50/50 kontroluje kwalifikowanie się do aukcji, a nie liczbę wyświetleń ani wydatki. Wariant z innymi stawkami wygrywa więcej lub mniej aukcji, a strona, która pierwsza wyczerpie budżet dzienny, przestaje wyświetlać reklamy do końca dnia.
  • Nierówny start: eksperyment uruchomiony w środku tygodnia przy krótkim teście daje wariantom różną liczbę weekendów.
  • Zdarzenie zewnętrzne: promocja, awaria płatności w sklepie, zmiana cennika albo kampania telewizyjna działają nierównomiernie na oba warianty.
  • Zbyt mały udział ruchu: eksperyment z 10-procentowym udziałem w kampanii o umiarkowanym wolumenie praktycznie nigdy nie osiągnie istotności.
  • Mieszanie sygnałów konwersji: jeśli w trakcie testu zmieniasz definicję konwersji, obie kampanie raportują coś innego niż na starcie.

Uważam, że najgroźniejszy z tej listy jest punkt pierwszy, bo wygląda niewinnie. Synchronizacja działa tylko z kampanii podstawowej do próbnej, edycja kampanii próbnej przy włączonej synchronizacji może skończyć się błędem, po którym system przestaje synchronizować zmiany do końca testu, a reklamy są wspólne dla obu kampanii, więc edycja reklamy w kampanii kontrolnej od razu trafia do eksperymentalnej. Dlatego traktuję kampanię bazową w czasie eksperymentu jak zamrożoną.

To dokładnie ten rodzaj wzorca, który wychodzi na wierzch podczas audytu konta - jeśli rozpoznajesz go u siebie, warto zacząć od uporządkowania samego procesu testowania, zanim uruchomisz kolejny eksperyment.

Trzy sposoby zamknięcia eksperymentu i wdrożenia zwycięskiego wariantu

Google Ads daje trzy sposoby zamknięcia eksperymentu: zastosowanie zmian w kampanii bazowej, przekształcenie eksperymentu w niezależną kampanię albo zwykłe zakończenie testu bez wdrożenia.

Wybór między dwoma pierwszymi wariantami ma konsekwencje dla historii konta i dla strategii licytacji, więc nie jest kosmetyczny.

  1. Zastosuj zmiany w oryginale - kampania bazowa przejmuje ustawienia z eksperymentu i zachowuje pełną historię wyników. To domyślny wybór dla testów dotyczących licytacji i kierowania.
  2. Przekształć eksperyment w nową kampanię - wariant testowy staje się zwykłą kampanią z takim samym budżetem dziennym i datami, a kampania bazowa zostaje wstrzymana. Sensowne, gdy zmiana była na tyle głęboka, że stara historia i tak przestaje pasować.
  3. Zakończ eksperyment bez wdrożenia - zmieniasz datę zakończenia albo klikasz Edytuj i Zakończ teraz, ruch wraca w całości do kampanii bazowej, a wnioski zapisujesz w dokumentacji testów.

Według Pomocy Google Ads w obu wariantach zachowasz dane o skuteczności pierwotnej kampanii i eksperymentu, ale po przekształceniu dalsze wyniki zbiera nowy obiekt, a stara kampania stoi wstrzymana obok. Dlatego domyślnie wybieram zastosowanie zmian w oryginale: jedna kampania, ciągła historia i brak dubli w raportach. Eksperyment niestandardowy z korzystnym wynikiem możesz też zastosować automatycznie, jeśli włączysz to przy jego tworzeniu.

Po wdrożeniu zostaje jeszcze jedna czynność, którą łatwo pominąć: zapisanie wyniku. Prowadzę prosty rejestr testów z datą, testowaną zmienną, metryką rozstrzygającą i wynikiem. Po roku taki rejestr jest wart więcej niż większość raportów, bo pokazuje, które hipotezy na danym koncie sprawdzają się powtarzalnie, a które wracają jak bumerang i zawsze przegrywają.

!

Czy wiesz, że…

Policzmy na przykładzie: kampania na maksymalizacji liczby konwersji ma 100 konwersji po 58 zł, czyli 5 800 zł wydatku. Eksperyment ze strategią Docelowy CPA kończy się spadkiem CPA z 58 zł do 41 zł przy 9-procentowym spadku liczby konwersji: 91 konwersji po 41 zł to 3 731 zł, więc wydatek spada o 2 069 zł, ale tracisz 9 sprzedaży. Decyzję o wdrożeniu podejmujesz dopiero po zestawieniu obu tych liczb, nie po samym CPA.

Kiedy lepiej wprowadzić zmianę od razu, bez eksperymentu?

Eksperyment traci sens, gdy koszt czekania na wynik przewyższa ryzyko samej zmiany albo gdy kampania nie ma wolumenu pozwalającego cokolwiek zmierzyć.

W takich sytuacjach uczciwiej jest wprowadzić zmianę na żywo, zapisać datę i obserwować wyniki, niż udawać test, który i tak nic nie rozstrzygnie.

  • Naprawa oczywistego błędu: brakujące wykluczenia, zła strona docelowa, literówka w reklamie - to się poprawia natychmiast, bez testowania.
  • Kampania o bardzo małym wolumenie: przy kilkunastu konwersjach miesięcznie podział ruchu na pół daje dwa zbiory danych, z których żaden nie pozwoli na wniosek.
  • Zmiana wymuszona zewnętrznie: nowa polityka Google, wycofanie formatu, wymóg prawny - tu nie ma czego porównywać.
  • Test na poziomie konta: modele atrybucji, definicje konwersji i ustawienia globalne działają na oba warianty jednocześnie.
  • Bardzo krótkie okno sprzedażowe: przy kampanii trwającej dziesięć dni czterotygodniowy test kończy się po sezonie.

Istnieje też grupa zmian, które Google sam podpowiada w panelu, a które kuszą, żeby wdrożyć je jednym kliknięciem. Zanim to zrobisz, sprawdź, które rekomendacje Google Ads warto wdrażać - część z nich to idealni kandydaci na eksperyment, a nie na automatyczne zastosowanie.

Granica jest prosta i stosuję ją od lat: eksperyment robisz wtedy, gdy nie wiesz, co się stanie, a skutki są odwracalne. Kiedy wiesz, co się stanie, wdrażasz. Kiedy skutki są nieodwracalne, nie testujesz tylko planujesz.

Od czego zacząć pierwszy eksperyment w Google Ads?

Eksperymenty w Google Ads zamieniają opinie na dane. Zamiast dyskusji o tym, czy docelowy ROAS zadziała lepiej od maksymalizacji liczby konwersji, dostajesz liczbę z przedziałem ufności i decyzję, która da się obronić przed klientem, zarządem i przed samym sobą za pół roku.

Przestań traktować zmianę ustawień jak decyzję do podjęcia i zacznij postrzegać ją jako hipotezę do sprawdzenia. Ta zmiana perspektywy kosztuje kilka minut na uruchomienie eksperymentu i cztery tygodnie cierpliwości, a w zamian eliminuje najdroższą kategorię błędów w kampaniach: zmiany wprowadzone z przekonaniem, na całym ruchu, bez możliwości sprawdzenia, czy faktycznie pomogły.

  1. Wybierz jedną zmienną i zapisz hipotezę wraz z metryką rozstrzygającą.
  2. Ustaw podział 50 na 50 i metodę losowania dopasowaną do długości ścieżki zakupowej.
  3. Zamroź kampanię bazową na cały czas trwania testu.
  4. Odczytaj wynik po czterech tygodniach, nie wcześniej, i porównaj go z zapisaną hipotezą.
  5. Zapisz wnioski w rejestrze testów, niezależnie od tego, czy wariant wygrał, czy przegrał.

Konto, na którym prowadzi się jeden porządny eksperyment na kwartał, po roku wie o swoich odbiorcach więcej niż konto, na którym zmienia się coś co tydzień. To nie jest kwestia tempa pracy. To kwestia tego, czy z tej pracy zostaje wiedza.

Czy ten artykuł był dla Ciebie pomocny?

Oceń go w skali od 1 do 5. Dzięki temu wiem, które tematy rozwijać.

Brak ocen. Twoja będzie pierwsza.

Na czym opieram te wnioski

Źródła i dokumentacja

Cztery źródła opisują mechanikę wersji roboczych i eksperymentów po stronie Google, dwa kolejne dotyczą metodologii testów i najczęstszego błędu przy odczycie wyniku.

support.google.com

About campaign drafts for Search and Display

Oficjalny opis wersji roboczych kampanii: kopia ustawień, stany wersji roboczej, dostępność tylko w sieciach wyszukiwania i reklamowej oraz funkcje niedostępne w wersjach roboczych. Podstawa dla sekcji o działaniu wersji roboczych.

Google Ads Help Otwórz
support.google.com

Eksperymenty niestandardowe

Opis eksperymentów niestandardowych w Pomocy Google Ads: typy kampanii, przycisk Zapisz jako eksperyment, podział ruchu i budżetu, 7-14 dni na stabilizację oraz zastosowanie wyniku albo przekształcenie w nową kampanię. Podstawa tabeli typów kampanii i sekcji o zamknięciu eksperymentu.

Google Ads Help Otwórz
support.google.com

Metoda statystyczna używana w przypadku eksperymentów

Wyjaśnienie Google, jak raport eksperymentu liczy przedział ufności: metoda jackknife na 20 grupach danych na kampanię, podział aukcji przed kierowaniem, różnica między podziałem według wyszukiwania i pliku cookie oraz warunki testu A/A. Podstawa sekcji o czytaniu wyników.

Google Ads Help Otwórz
developers.google.com

Experiments overview - Google Ads API

Dokumentacja techniczna opisująca strukturę eksperymentu, statusy cyklu życia oraz parametr udziału ruchu i metodę podziału. Techniczna podstawa sekcji o dzieleniu ruchu między kampanię bazową a eksperyment.

Google for Developers Otwórz
nngroup.com

A/B Testing 101

Opracowanie Nielsen Norman Group o zasadach testów porównawczych: jedna zmienna na test, równoległość wariantów i warunki, w których wynik da się przypisać zmianie. Metodologiczne zaplecze sekcji o zmiennych nadających się do eksperymentu.

Nielsen Norman Group Otwórz
evanmiller.org

How Not To Run an A/B Test

Analiza problemu podglądania wyników z symulacją pokazującą, jak wielokrotne sprawdzanie testu zawyża odsetek fałszywych zwycięstw. Bezpośrednie zaplecze sekcji o tym, dlaczego eksperymenty dają mylące wyniki.

Evan Miller Otwórz
Najczęściej zadawane pytania

Pytania i odpowiedzi (FAQ)

Siedem pytań, które wracają po uruchomieniu pierwszego eksperymentu: o koszty, limity, wpływ na strategie automatyczne i o to, kto w firmie zatwierdza wdrożenie zwycięskiego wariantu.

Czy uruchomienie eksperymentu w Google Ads zwiększa łączne wydatki na kampanię?
Eksperyment w Google Ads nie ma osobnego budżetu dziennego i korzysta z budżetu kampanii bazowej, dzielonego zgodnie z ustawionym udziałem ruchu. Przy podziale 50 na 50 obie kampanie łącznie wydają tyle, ile wydawała sama kampania bazowa. Wyjątkiem jest sytuacja, w której przy okazji testu podnosisz budżet - wtedy wzrost kosztów wynika z tej decyzji, a nie z samego eksperymentu. W eksperymentach z podziałem ruchu, np. w Performance Max, kampaniach generujących popyt i wideo, wydatki mogą wzrosnąć, gdy testowana zmiana działa lepiej: dzienny wydatek może sięgnąć 2-krotności budżetu dziennego, ale w miesiącu nie przekroczy budżetu dziennego pomnożonego przez 30,4.
Ile eksperymentów w Google Ads można prowadzić jednocześnie na jednym koncie?
Konto Google Ads pozwala prowadzić wiele eksperymentów równolegle, a jedna kampania może mieć zaplanowanych do 5 eksperymentów, ale w danym momencie tylko jeden aktywny. Google nie zaleca prowadzenia kilku eksperymentów jednocześnie, bo mogą na siebie oddziaływać i obniżać wiarygodność wyniku, i proponuje plan sekwencyjny: eksperymenty jeden po drugim. Rekomenduję jeden eksperyment na jeden obszar tematyczny konta, nawet jeśli technicznie zmieściłbyś ich więcej.
Czy eksperyment w Google Ads resetuje fazę uczenia strategii Smart Bidding?
Wariant eksperymentalny w Google Ads wchodzi w fazę uczenia, jeśli zmieniasz w nim strategię licytacji lub jej cel, natomiast kampania bazowa pozostaje przy swoim dotychczasowym modelu. To główny powód, dla którego pierwsze dni testu są niereprezentatywne i nie powinny być podstawą decyzji. Pomoc Google Ads podaje, że stan „Strategia ustalania stawek w trakcie nauki” w eksperymencie zwykle trwa 7 dni. Po zastosowaniu zmian w kampanii bazowej faza uczenia może wystąpić ponownie, tym razem w oryginale.
Czy eksperymenty Google Ads można przygotować w Edytorze Google Ads albo przez Google Ads API?
Eksperymenty niestandardowe Google Ads konfigurujesz w panelu, na stronie Eksperymenty w menu Kampanie. Wersje robocze w Edytorze Google Ads to co innego niż wersje robocze kampanii: w Edytorze są to kampanie, których jeszcze nie eksportujesz na konto, więc wersja robocza z Edytora nie staje się eksperymentem. W Google Ads API procedura się nie zmieniła i nadal korzysta z wersji roboczych i eksperymentów, a wersje robocze i eksperymenty potrafią tworzyć także skrypty Google Ads.
Kto w firmie powinien zatwierdzać wdrożenie zwycięskiego wariantu eksperymentu Google Ads?
Decyzję o wdrożeniu wariantu eksperymentu Google Ads powinna podejmować osoba odpowiedzialna za wynik finansowy kanału, a nie wyłącznie osoba obsługująca konto. Powód jest prosty: część zwycięskich wariantów obniża koszt konwersji kosztem wolumenu, co jest korzystne przy celu efektywnościowym i szkodliwe przy celu wzrostowym. Rekomenduję zapisanie w hipotezie, która metryka rozstrzyga, zanim test wystartuje.
Czy wyniki eksperymentu Google Ads można wykorzystać w raporcie dla klienta lub zarządu?
Raport eksperymentu Google Ads nadaje się do prezentacji lepiej niż zwykłe porównanie okresów, bo zawiera przedziały ufności i oznaczenie istotności statystycznej. W raporcie warto podać trzy elementy: testowaną zmienną, metrykę rozstrzygającą i przedział ufności różnicy. Samo stwierdzenie, że wariant testowy był lepszy o kilka procent, bez informacji o istotności, jest nieuczciwe wobec odbiorcy raportu.
Czy w Google Ads można zmienić podział ruchu w trakcie trwającego eksperymentu?
Nie. Pomoc Google Ads podaje, że po skonfigurowaniu eksperymentu nie można zmienić procentowego podziału ruchu w żadnym typie eksperymentu, także w eksperymentach niestandardowych i w kampaniach generujących popyt. Jeśli chcesz sprawdzić inny podział, musisz utworzyć nowy eksperyment.

Ten wpis należy do obszaru Pomiar i analityka - zobacz pozostałe teksty z tego obszaru.

Możesz też wrócić do obszaru optymalizacji kampanii Google Ads.

Artur Smolicki
Samodzielny Specjalista Google Ads

Artur Smolicki

Od ponad 15 lat specjalizuję się w przygotowaniu, wdrożeniu i optymalizacji kampanii Google Ads. W 2024 roku uzyskałem status Google Premier Partner dla 3% najlepszych specjalistów i agencji w Polsce. Prowadzę kampanie reklamowe na 29 rynkach zagranicznych, tak dla segmentu e-commerce jak i B2B.


Potrzebujesz audytu oraz pomocy w prowadzeniu kampanii
Google Ads?

Działajmy