Statystyki indeksowania w Search Console - budżet indeksowania w praktyce
Statystyki indeksowania to raport w Google Search Console (w wersji angielskiej Crawl Stats), który pokazuje historię żądań wysłanych przez roboty Google do danego hosta: ile żądań padło i w jakich dniach, jakimi kodami HTTP odpowiedział serwer, ile bajtów zostało pobranych i jaki był średni czas odpowiedzi. Raport siedzi w Ustawieniach usługi i działa wyłącznie dla usług na poziomie roota, czyli usługi typu Domena albo prefiksu URL bez podkatalogu. Jego praktyczna rola to obserwacja budżetu indeksowania, czyli zbioru adresów, które Google jest w stanie i chce pobrać w danym serwisie.
- Gdzie są statystyki indeksowania w Search Console?
- Co pokazuje raport Statystyki indeksowania w GSC?
- Czym jest budżet indeksowania i z czego się składa?
- Kiedy budżet indeksowania jest realnym problemem?
- Jak czytać stan hosta w statystykach indeksowania?
- Co oznacza średni czas odpowiedzi Googlebota?
- Jak czytać tabelę odpowiedzi indeksowania?
- Gdzie ucieka budżet indeksowania w sklepie?
- Co znaczy cel indeksowania: wykrywanie czy odświeżanie?
- Co zdradza typ Googlebota przy skoku żądań?
- Statystyki indeksowania czy raport Indeksowanie stron?
- Jak odzyskać zmarnowany budżet indeksowania?
- Statystyki indeksowania jako stały punkt audytu
- Źródła i dokumentacja
Przy przejmowaniu opieki nad sklepem scenariusz powtarza się z uporem: właściciel wie, że nowe kategorie wchodzą do Google po trzech tygodniach, nie wie dlaczego, a w Search Console zagląda wyłącznie do raportu Skuteczność. Tymczasem odpowiedź siedzi dwa kliknięcia dalej, w panelu, który wygląda jak wykres dla administratora serwera. Statystyki indeksowania mówią wprost, na co Googlebot wydaje czas na tej domenie, i pokazują, ile z tego czasu idzie na adresy, których nikt nie chciał publikować.
Najważniejsze ustalenia o raporcie Statystyki indeksowania, o progach istotności budżetu indeksowania i o tym, czego ten panel nie pokazuje.
-
Raport Statystyki indeksowania działa tylko dla usług na poziomie roota domeny
Google udostępnia ten panel usługom typu Domena oraz prefiksom URL bez podkatalogu. Właściciel usługi zawężonej do katalogu w rodzaju example.com/sklep nie zobaczy tego raportu wcale i musi zweryfikować całą domenę.
-
Budżet indeksowania powstaje z limitu wydajności hosta i zapotrzebowania Google
Dokumentacja Google dla wydawców opisuje dwa niezależne czynniki: crawl capacity limit, zależny od kondycji serwera, oraz crawl demand, zależny od popularności i świeżości treści. Niski popyt oznacza rzadsze indeksowanie nawet przy bardzo szybkim serwerze.
-
Budżet indeksowania jest tematem dla serwisów powyżej progów podanych przez Google
Przewodnik Google wskazuje witryny z ponad milionem unikalnych stron zmieniających się mniej więcej raz w tygodniu oraz serwisy powyżej dziesięciu tysięcy stron zmieniających się codziennie. Poniżej tych progów panel służy raczej do diagnozy awarii niż do optymalizacji.
-
Filtry i sortowania w sklepach zjadają największą część żądań Googlebota
W sklepie z katalogiem powyżej 4 000 produktów każda kombinacja filtrów i sortowania tworzy nowy adres do odwiedzenia, więc nawigacja fasetowa potrafi przejąć dużą część żądań Googlebota kosztem kart produktów i kategorii.
-
Stan hosta w Search Console podsumowuje dostępność serwisu z ostatnich 90 dni
Google ocenia w nim trzy kategorie: pobieranie pliku robots.txt, rozpoznawanie DNS oraz łączność z serwerem. Zielony status oznacza brak istotnych problemów w całym oknie, czerwony oznacza incydent z ostatnich siedmiu dni.
Gdzie są statystyki indeksowania w Search Console?
Statystyki indeksowania otwierasz w Google Search Console przez ikonę Ustawienia w dolnej części lewego menu, a następnie pozycję Statystyki indeksowania w sekcji Indeksowanie. Panel nie ma własnego wpisu w głównym menu raportów i to najczęstszy powód, dla którego właściciele serwisów nigdy go nie widzieli. Google udostępnia go wyłącznie usługom na poziomie roota.
Poziom roota oznacza jedną z dwóch rzeczy: usługę typu Domena (na przykład example.com, obejmującą wszystkie subdomeny i oba protokoły) albo usługę typu Prefiks URL wskazującą na sam adres główny, czyli https://example.com bez żadnego katalogu. Jeżeli w koncie masz wyłącznie usługę zawężoną do https://example.com/sklep/, pozycja Statystyki indeksowania się nie pojawi.
Naprawa jest jednorazowa i sprowadza się do weryfikacji usługi typu Domena, najwygodniej rekordem TXT w DNS.
- Usługa Domena: pełny raport, dodatkowo lista hostów podrzędnych z podziałem na subdomeny.
- Prefiks URL na roocie: pełny raport, dane obejmują oba protokoły, ale przykładowe adresy tylko dla protokołu usługi.
- Prefiks URL z katalogiem: raport niedostępny, panel nie pojawia się w Ustawieniach.
Warto od razu ustawić poprawne oczekiwania co do zakresu danych. Raport liczy żądania faktycznie wysłane pod adresy tej domeny, bez sprowadzania ich do adresów kanonicznych, więc każdy przeskok w łańcuchu przekierowań figuruje jako osobne żądanie. Zasoby hostowane poza domeną, na przykład obrazki z zewnętrznego CDN, w ogóle się tu nie pokażą.
Co pokazuje raport Statystyki indeksowania w GSC?
Raport Statystyki indeksowania pokazuje trzy zbiorcze liczby na górze ekranu oraz cztery tabele przekrojowe pod nimi. Liczby zbiorcze to łączna liczba żądań indeksowania, łączny rozmiar pobrania w bajtach i średni czas odpowiedzi w milisekundach. Tabele rozkładają te żądania na kody odpowiedzi, typy plików, cel indeksowania i typ Googlebota.
- Odpowiedzi indeksowania: rozkład kodów HTTP zwróconych robotom, liczony jako procent wszystkich żądań.
- Typ pliku: udział HTML, obrazów, wideo, JavaScriptu, CSS, plików PDF, JSON, kanałów RSS i danych geograficznych.
- Cel indeksowania: podział na Wykrywanie (adres pobrany pierwszy raz) i Odświeżanie (ponowne pobranie znanej strony).
- Typ Googlebota: agent, który wysłał żądanie, od Googlebota na smartfony po AdsBota i StoreBota.
Każdy wiersz tabeli jest klikalny i prowadzi do widoku szczegółowego z przykładowymi adresami. To najważniejsza mechanika tego panelu: sama liczba procentowa nic nie mówi, dopiero lista przykładów pokazuje, jakie adresy stoją za danym kodem odpowiedzi. Przykłady są reprezentatywne, a nie kompletne, więc brak konkretnego URL na liście nie oznacza, że Google go nie pobrał.
Wartości poglądowe dla przykładowego katalogu 26 400 produktów i okna 90 dni, nie dane konkretnego klienta. Wykres pokazuje, jak może wyglądać dzienna liczba żądań po skróceniu czasu odpowiedzi.
Łączna liczba żądań obejmuje także próby nieudane: pobrania porzucone z powodu niedostępnego pliku robots.txt, błędy rozpoznawania DNS, problemy z łącznością i pętle przekierowań. Rozmiar pobrania nie liczy zasobów, które Google ma już w cache i pobiera tylko raz przy pierwszym użyciu. Te dwie definicje wyjaśniają większość rozbieżności między raportem a logami serwera.
Czym jest budżet indeksowania i z czego się składa?
Budżet indeksowania to zbiór adresów, które Google może i chce pobrać w danym serwisie, złożony z dwóch niezależnych składników: limitu wydajności indeksowania oraz zapotrzebowania na indeksowanie. Pierwszy jest ograniczeniem technicznym po stronie serwera, drugi jest decyzją systemów Google o tym, ile w ogóle warto tu pobierać. Oba muszą być spełnione, żeby robot przyszedł częściej.
Limit wydajności, opisywany w dokumentacji jako crawl capacity limit albo hostload, pilnuje, żeby Googlebot nie przeciążył serwera. Każdy serwis startuje z tym samym, zachowawczym ustawieniem, a Google podnosi je dopiero wtedy, gdy odpowiedzi są stabilne i szybkie. Spadek działa w drugą stronę i jest szybszy: rosnące opóźnienia, błędy z rodziny 5xx albo odpowiedzi 429 obniżają limit niemal natychmiast.
Zapotrzebowanie zależy od rozmiaru serwisu, częstotliwości aktualizacji, jakości stron i ich popularności w sieci. Google wymienia tu trzy dźwignie: postrzegany zasób adresów (ile URL-i robot w ogóle zna i uznaje za warte pobrania), popularność oraz starzenie się treści. Jeżeli w serwisie krąży dużo duplikatów, robot zużywa czas na nie i realnie nie dociera do stron, na których Ci zależy. Mechanizm działania samego indeksu opisałem szerzej przy okazji tekstu o tym, jak przebiega proces indeksowania stron.
- Host to osobny budżet - Google traktuje www.example.com i sklep.example.com jako dwie różne witryny z własnymi limitami.
- Limit wydajności jest wspólny dla wszystkich robotów - wysoki popyt AdsBota potrafi ograniczyć pole dla Googlebota smartfonowego.
- Pobranie nie równa się indeksacji - po pobraniu strona przechodzi jeszcze ocenę, konsolidację i kwalifikację do indeksu.
Kiedy budżet indeksowania jest realnym problemem?
Budżet indeksowania jest realnym problemem w trzech sytuacjach opisanych przez Google: przy serwisach powyżej miliona unikalnych stron ze zmianami mniej więcej co tydzień, przy serwisach powyżej dziesięciu tysięcy stron ze zmianami codziennymi oraz wtedy, gdy duża część adresów trafia w Search Console do statusu „Strona wykryta - obecnie niezindeksowana”. Poza tymi przypadkami dokumentacja Google mówi wprost, żeby tym tematem się nie zajmować i pilnować mapy witryny oraz raportu Indeksowanie stron.
Google dodaje przy tych progach zastrzeżenie, że są to szacunki pomocnicze, a nie twarde granice. Pomoc Search Console formułuje to jeszcze ostrzej po stronie samego raportu: przy serwisie poniżej tysiąca stron nie ma potrzeby zaglądać do tego poziomu szczegółowości. Uważam, że to najzdrowsza rada techniczna, jaką Google wydało w ostatnich latach, i że trzy czwarte polskich dyskusji o crawl budgecie dotyczy serwisów, których ten problem nie obejmuje.
Trzy przekonania, które najczęściej słyszę przy rozmowie o statystykach indeksowania, zestawione z tym, co opisuje dokumentacja Google.
Pomoc Search Console kieruje ten panel do użytkowników zaawansowanych i zastrzega, że przy mniejszych serwisach nie trzeba schodzić na ten poziom szczegółowości. Przydaje się wtedy wyłącznie do diagnozy awarii dostępności.
Po pobraniu każda strona przechodzi osobną ocenę i konsolidację, zanim trafi do indeksu. Skok żądań wywołany świeżym feedem produktowym albo nowymi celami reklam dynamicznych nie przekłada się na widoczność w bezpłatnych wynikach.
Pomoc Search Console klasyfikuje go jako odpowiedź potencjalnie dobrą i zaznacza, że naprawianie wszystkich błędów 404 nie jest ani możliwe, ani celowe. Reagować warto wtedy, gdy 404 wraca z adresów linkowanych wewnątrz serwisu.
Czy wiesz, że…
Google definiuje witrynę na potrzeby budżetu indeksowania jako pojedynczą, unikalną nazwę hosta, więc sklep pod adresem sklep.example.com i blog pod adresem blog.example.com mają dwa całkowicie odrębne budżety, mimo wspólnej domeny i wspólnego serwera.
Łatwo uznać, że temat dotyczy wyłącznie serwisów z milionem adresów, i odsyłać mniejsze sklepy do innych priorytetów. Tymczasem nawet sklep z katalogiem 4 000 produktów może przez nawigację fasetową generować kilkaset tysięcy kombinacji parametrów. Nie rozmiar katalogu jest tu progiem, tylko liczba adresów, które serwis potrafi wyprodukować z tego katalogu.
Jak czytać stan hosta w statystykach indeksowania?
Stan hosta to jednozdaniowa ocena dostępności serwisu dla robotów Google w oknie ostatnich 90 dni, wyrażona trzema kolorami. Zielony oznacza brak istotnych problemów z dostępnością w całym oknie. Żółty oznacza co najmniej jeden istotny problem, ale starszy niż tydzień. Czerwony oznacza incydent z ostatnich siedmiu dni i to jedyny kolor, który wymaga reakcji tego samego dnia.
Po kliknięciu w stan hosta Google rozbija ocenę na trzy kategorie, każdą z własnym wykresem i własną przerywaną linią progową. Przekroczenie tej linii w danym dniu jest traktowane jako problem w tej kategorii: dla rozpoznawania DNS próg leży przy pięciu procentach nieudanych żądań dziennie.
- Pobieranie pliku robots.txt: odsetek nieudanych żądań o ten plik. Google prosi o niego często i wstrzymuje indeksowanie, jeśli nie dostanie akceptowalnej odpowiedzi.
- Rozpoznawanie DNS: przypadki, w których serwer DNS nie rozpoznał nazwy hosta albo nie odpowiedział w czasie indeksowania.
- Łączność z serwerem: momenty, w których serwer nie odpowiadał albo nie zwrócił pełnej odpowiedzi dla żądanego adresu.
Kategoria robots.txt ma najostrzejsze konsekwencje i warto znać dokładny harmonogram. Za odpowiedź udaną Google uznaje kod 200 z plikiem (nawet pustym lub z błędami składni) oraz kody 403, 404 i 410, czyli brak pliku. Za nieudaną uznaje 429 i całą rodzinę 5xx. Jeśli ostatnia odpowiedź była nieudana, przez pierwsze 12 godzin Google wstrzymuje indeksowanie serwisu, przez kolejny okres do 30 dni korzysta z ostatniej poprawnie pobranej wersji pliku, a po 30 dniach zachowuje się zależnie od tego, czy strona główna odpowiada.
Co oznacza średni czas odpowiedzi Googlebota?
Średni czas odpowiedzi to uśredniony czas pobrania wszystkich zasobów z serwisu w wybranym okresie, liczony osobno dla każdego zasobu powiązanego ze stroną. Ta metryka jest w praktyce najważniejszą liczbą w całym raporcie, bo wprost steruje limitem wydajności indeksowania: stabilnie niski czas odpowiedzi pozwala Google podnieść liczbę równoległych połączeń, rosnący czas odpowiedzi ten limit obniża.
Skala robocza, którą stosuję przy audytach sklepów. Google nie publikuje progu docelowego, więc traktuj te widełki jako punkt odniesienia, a nie jako wymaganie wyszukiwarki.
Dlaczego ta dźwignia działa tak mocno? Google w dokumentacji Optimize your crawl budget opisuje limit wydajności jako mechanizm sprzężenia zwrotnego: jeśli serwis przez pewien czas odpowiada szybko, limit rośnie i Googlebot może używać więcej równoległych połączeń, a gdy odpowiedzi zwalniają albo pojawiają się błędy serwera, limit spada. Cache po stronie serwera i odciążenie najcięższych zapytań do bazy skracają czas każdej odpowiedzi, więc w tym samym oknie robot zdąży pobrać więcej adresów, a nowe kategorie szybciej trafiają do kolejki indeksowania. Dzieje się to jednak tylko wtedy, gdy po stronie Google istnieje zapotrzebowanie na te adresy - szybszy serwer nie sprawi, że robot zacznie pobierać strony, których nie uważa za wartościowe.
Ta metryka mierzy czas serwera, a nie wrażenie użytkownika, więc nie myl jej z Core Web Vitals. Googlebot nie czeka na render ani na skrypty, tylko na pierwszą pełną odpowiedź HTTP. Jeśli chcesz zobaczyć, jak ten wątek wpisuje się w szerszy obraz, opisałem go w kontekście optymalizacji technicznej serwisu.
Jak czytać tabelę odpowiedzi indeksowania?
Tabela Odpowiedzi indeksowania pokazuje rozkład kodów HTTP, którymi serwer odpowiedział robotom Google, wyrażony jako procent wszystkich żądań, a nie procent adresów. Ta różnica jest istotna: jeśli Google pobrało jeden adres dwa razy i raz dostało błąd 500, a raz kod 200, tabela pokaże 50 procent błędów serwera przy jednym URL-u.
Poniższa tabela zestawia pięć grup kodów odpowiedzi HTTP z raportu Statystyki indeksowania według oceny Google, zdrowego udziału w żądaniach i zalecanej reakcji.
| Kod odpowiedzi | Ocena Google | Zdrowy udział | Reakcja |
|---|---|---|---|
| OK (200) | Dobry | zdecydowana większość żądań | Brak działań, monitoruj trend miesiąc do miesiąca. |
| Przeniesiono trwale (301/308) | Dobry | poniżej 10 % żądań | Skróć łańcuchy przekierowań, każdy przeskok to osobne żądanie. |
| Bez zmian (304) | Dobry | bez limitu | Utrzymuj poprawne nagłówki warunkowe, ten kod oszczędza transfer. |
| Nie znaleziono (404) | Potencjalnie dobry | poniżej 5 % żądań | Napraw tylko te adresy, do których linkujesz wewnątrz serwisu. |
| Błąd serwera (5xx) | Zły | bliski zeru | Reaguj natychmiast, ten kod obniża limit wydajności indeksowania. |
Trzy wiersze tej tabeli warto czytać razem, a nie osobno. Wysoki udział przekierowań obok wysokiego udziału kodu 404 to zwykle ślad po migracji, w której stare adresy prowadzą do nieistniejących nowych. Wysoki udział błędów 5xx obok rosnącego czasu odpowiedzi to sygnał, że serwer nie wytrzymuje równoległych połączeń i Google zaraz ograniczy tempo.
Czy wiesz, że…
W statystykach indeksowania przekierowania nie mają własnego typu pliku i trafiają do kategorii Inny typ pliku, a przekierowania wykonywane po stronie przeglądarki nie są zliczane wcale, więc migracja oparta o JavaScript jest dla tego raportu niewidoczna.
Osobno pilnuj kodu 429 i statusu o niedostępnym pliku robots.txt. Oba należą do rodziny odpowiedzi złych i oba potrafią zatrzymać indeksowanie serwisu, zanim ktokolwiek zauważy spadek w raporcie Skuteczność. To jedyne dwa wiersze, przy których włączam powiadomienie zamiast przeglądu miesięcznego.
Gdzie ucieka budżet indeksowania w sklepie?
W sklepie internetowym budżet indeksowania ucieka najczęściej w czterech miejscach: na adresach z parametrami filtrowania i sortowania, na wewnętrznych wynikach wyszukiwania, na łańcuchach przekierowań po migracji i na pobieraniu zasobów strony, czyli obrazków, plików CSS i skryptów. Dopiero to, co zostanie, idzie na realne strony kategorii i produktów.
Rozkład dziennej puli żądań przed naprawą, odczytany z tabel Typ pliku i Cel indeksowania oraz z próbek adresów. Wartości poglądowe dla tego samego przykładowego katalogu, nie dane klienta ani benchmark rynkowy.
Parametry filtrowania są największym pojedynczym ubytkiem, bo rosną wykładniczo. Sklep z pięcioma filtrami po sześć wartości każdy produkuje 7 775 kombinacji na jednej kategorii, a przy 60 kategoriach daje to prawie pół miliona adresów z jednego katalogu na 26 400 produktów. Google zna je, bo są w linkach nawigacji, więc próbuje je pobierać.
Zasoby strony to drugi wątek, o którym mało kto pamięta. Żądania pobierające obrazki i pliki CSS mają w raporcie własny typ Googlebota o nazwie Ładowanie zasobu strony i liczą się do tej samej puli, bo limit wydajności jest wspólny dla wszystkich robotów. Sklep serwujący pięćdziesiąt miniatur na kategorię płaci za to w budżecie indeksowania. Ten sam wątek sprawdzam zawsze przy audycie sklepu internetowego, bo bez niego liczby z tabel nie układają się w całość. Drugą dźwignią przy dużym katalogu jest porządek w mapach witryn - opisuję go w tekście o tym, jak zgłosić mapę witryny do Google Search Console.
Co znaczy cel indeksowania: wykrywanie czy odświeżanie?
Cel indeksowania dzieli żądania na dwie kategorie: Wykrywanie oznacza adres, którego Google nigdy wcześniej nie pobrało, a Odświeżanie oznacza ponowne pobranie strony już znanej. Proporcja między nimi jest najszybszym testem tego, czy serwis rośnie w oczach wyszukiwarki, czy tylko odgrzewa to, co już ma.
Zdrowy rozkład zależy od etapu życia serwisu i to jest dobra wiadomość dla diagnozy. Serwis stabilny, który publikuje kilka tekstów miesięcznie, ma naturalnie wysoki udział odświeżania. Sklep, który właśnie wprowadził 3 000 nowych indeksów, powinien zobaczyć wyraźny skok wykrywania w ciągu kilku dni od wysłania zaktualizowanej mapy witryny. Brak tego skoku jest sygnałem, że nowe adresy nie są w ogóle widoczne dla robota.
- Wysokie wykrywanie po publikacji nowej sekcji: sytuacja oczekiwana, mapa witryny zadziałała.
- Wysokie wykrywanie bez żadnej publikacji: najczęściej ślad nawigacji fasetowej albo identyfikatorów sesji w adresach.
- Zerowe wykrywanie mimo nowych treści: sprawdź mapę witryny, blokady w robots.txt i linkowanie wewnętrzne do nowej sekcji.
- Odświeżanie skupione na kilku adresach: Google uznaje resztę serwisu za mało wartą ponownego pobrania.
Ten przekrój dobrze zestawia się ze statusem, w którym adres jest znany, ale nie trafił do indeksu. Jeśli w raporcie Indeksowanie stron rośnie liczba adresów w stanie zeskanowanych i jeszcze niezaindeksowanych, a tutaj widzisz wysokie wykrywanie, problemem nie jest dostęp robota, tylko ocena jakości. Rozpisałem ten scenariusz osobno w tekście o tym, co robić, gdy strona jest zeskanowana, ale jeszcze niezindeksowana.
Co zdradza typ Googlebota przy skoku żądań?
Tabela Typ Googlebota nazywa agenta, który wysłał żądanie, i to zwykle najszybsza droga do wyjaśnienia nagłego skoku ruchu robotów. Google wymienia tu między innymi Googlebota na smartfony, Googlebota na komputery, roboty do obrazów i wideo, osobny typ Ładowanie zasobu strony oraz agentów spoza wyszukiwarki: AdsBota i StoreBota.
- Googlebot na smartfony i na komputery: podstawowe roboty wyszukiwarki, indeksujące treść stron.
- Ładowanie zasobu strony: pobieranie obrazków, plików CSS i skryptów potrzebnych do wyrenderowania strony przed indeksacją.
- AdsBot: robot reklamowy sprawdzający jakość stron docelowych, niezwiązany z bezpłatnymi wynikami.
- StoreBot: robot zakupowy pobierający karty produktów na potrzeby powierzchni handlowych Google.
AdsBot jest najczęstszym sprawcą niespodziewanego skoku w sklepach prowadzących reklamy. Google podaje, że AdsBot pobiera adresy mniej więcej co dwa tygodnie, a jego aktywność rośnie wraz z liczbą celów dynamicznych reklam w wyszukiwarce. Uruchomienie kampanii z dynamicznymi celami na całym katalogu potrafi podnieść pulę żądań w ciągu jednej doby, a ponieważ limit wydajności jest wspólny, dzieje się to kosztem Googlebota.
Czy wiesz, że…
Jeśli obrazek albo wideo zostaje pobrane jako element renderowanej strony, Google zalicza to żądanie do typu Ładowanie zasobu strony, a nie do typów Obraz i Wideo, więc niski udział robota obrazów nie oznacza, że grafiki nie są pobierane.
StoreBot pojawia się przy sklepach podpiętych do zakupów Google i skaluje się z liczbą produktów w feedzie. Uważam, że to najbardziej niedoceniany wiersz tej tabeli: przy dużych katalogach potrafi zabrać sporą część puli, a jego aktywność wynika z decyzji podjętych w Merchant Center, nie w serwisie. Jeśli widzisz skok bez zmian na stronie, zacznij od kalendarza zmian w kampaniach i feedzie, a nie od kodu szablonu.
Statystyki indeksowania czy raport Indeksowanie stron?
Statystyki indeksowania odpowiadają na pytanie o zachowanie robota, a raport Indeksowanie stron na pytanie o zawartość indeksu. Pierwszy pokazuje żądania i odpowiedzi serwera, drugi pokazuje adresy podzielone na zaindeksowane i niezaindeksowane wraz z powodem. Do diagnozy pojedynczej strony nie nadaje się żaden z nich osobno.
Poniższa tabela porównuje raport Statystyki indeksowania i raport Indeksowanie stron według jednostki danych, zakresu czasu, kanonikalizacji, liczenia zasobów i typowego pytania diagnostycznego.
| Kryterium | Statystyki indeksowania | Indeksowanie stron |
|---|---|---|
| Jednostka danych | pojedyncze żądanie HTTP | pojedynczy adres URL |
| Zakres czasu | 90 dni | historia dłuższa, z podziałem na statusy |
| Kanonikalizacja | brak, liczone są adresy faktycznie żądane | dane sprowadzane do adresu kanonicznego |
| Zasoby (CSS, obrazy) | wliczane do puli żądań | pomijane |
| Typowe pytanie | dlaczego robot pobiera mało stron | dlaczego strona nie jest w indeksie |
Rekomenduję prostą kolejność: najpierw raport Indeksowanie stron, potem statystyki indeksowania. Jeśli adresy są w indeksie, a problemem są pozycje, statystyki indeksowania nic nie wniosą i szkoda na nie czasu. Statystyki mają sens dopiero wtedy, gdy adresy nie wchodzą do indeksu albo wchodzą z opóźnieniem liczonym w tygodniach, bo tylko one pokazują, czy przyczyna leży po stronie dostępu robota.
Jest jeden wyjątek od tej kolejności i dotyczy awarii. Przy nagłym spadku wyświetleń w raporcie Skuteczność zaglądam najpierw do stanu hosta, bo niedostępny plik robots.txt albo seria błędów 5xx tłumaczy spadek w trzydzieści sekund, a raport Indeksowanie stron pokaże skutek dopiero po kilku dniach. Mapę wszystkich raportów i ich podział według zadania znajdziesz w przewodniku po raportach Google Search Console.
Jak odzyskać zmarnowany budżet indeksowania?
Budżet indeksowania odzyskuje się przez odcięcie robotowi dostępu do adresów bezwartościowych i przez przyspieszenie odpowiedzi serwera, w tej kolejności. Google nazywa postrzegany zasób adresów czynnikiem, na który wydawca ma największy realny wpływ, więc pierwszy krok zawsze dotyczy tego, ile adresów serwis w ogóle produkuje.
- Wypisz wzorce adresów z próbek - otwórz tabele Typ pliku i Cel indeksowania, wejdź w przykładowe adresy i wynotuj powtarzające się wzorce parametrów.
- Zablokuj w robots.txt to, co nie ma wartości wyszukiwawczej - wewnętrzna wyszukiwarka, koszyk, sortowania, identyfikatory sesji. Blokada w robots.txt oszczędza żądanie, czego nie robi znacznik noindex.
- Uporządkuj nawigację fasetową - wybierz kombinacje filtrów o realnym popycie i zostaw je indeksowalne, resztę odetnij. Kryterium jest popyt wyszukiwawczy, nie wygoda wdrożenia.
- Skróć łańcuchy przekierowań do jednego przeskoku - każdy pośredni adres to osobne żądanie liczone w raporcie.
- Przyspiesz odpowiedź serwera - cache po stronie serwera, indeksy w bazie, odchudzenie zapytań generujących listingi.
- Zadbaj o mapę witryny i datę lastmod - to główny kanał, którym zgłaszasz Google, co jest nowe i co się zmieniło.
- Sprawdź efekt po trzech tygodniach - limit wydajności rośnie stopniowo, a raport ma dobowe opóźnienie, więc ocena po tygodniu jest przedwczesna.
Kolejność ma znaczenie praktyczne, bo kroki drugi i trzeci dają efekt w kilka dni, a krok piąty wymaga pracy po stronie hostingu i bywa najdroższy. Jeśli po przejściu tej listy widzisz, że liczby w raporcie się nie ruszyły, to zwykle znak, że problemem nie jest wydajność, tylko zapotrzebowanie: Google nie chce częściej pobierać serwisu, bo nie widzi powodu. Taki wniosek przenosi rozmowę z hostingu na jakość i unikalność treści.
Statystyki indeksowania jako stały punkt audytu
Przestań traktować statystyki indeksowania jak panel dla administratora serwera. Zacznij patrzeć na nie jak na rachunek, który Google co miesiąc wystawia za sposób, w jaki zbudowałeś adresy w swoim serwisie. Trzy liczby na górze raportu mówią, ile robot był w stanie zrobić, a cztery tabele mówią, na co ten czas poszedł.
Dla większości serwisów firmowych i blogów wniosek brzmi uspokajająco: raport wystarczy otworzyć raz na kwartał, sprawdzić stan hosta i udział kodu 200, a resztę zostawić. Dla sklepów z katalogiem powyżej kilku tysięcy produktów i rozbudowaną nawigacją fasetową ten panel jest pierwszym miejscem, do którego zaglądam, zanim w ogóle spojrzę na pozycje i frazy.
Budżet indeksowania najszybciej robi się wąskim gardłem w sklepach z rozbudowaną filtracją, więc Search Console dla sklepu internetowego opisuję w tekście poświęconym wyłącznie dużym katalogom.
Zamiast pytać, jak zwiększyć liczbę żądań Googlebota, pytaj, ile procent obecnej puli trafia na strony, które chcesz sprzedawać. Jeśli po lekturze tego tekstu widzisz w swoim raporcie rozkład podobny do kaskady opisanej wyżej, ten wzorzec rozpoznaję w kilka minut i chętnie go z Tobą przejdę - napisz przez formularz kontaktowy.
Czy ten artykuł był dla Ciebie pomocny?
Oceń go w skali od 1 do 5. Dzięki temu wiem, które tematy rozwijać.
Brak ocen. Twoja będzie pierwsza.
Źródła i dokumentacja
Definicje metryk i progi z raportu Statystyki indeksowania biorę z dokumentacji Google, a ocenę tego, kiedy budżet indeksowania w ogóle warto analizować, zestawiam z dwoma niezależnymi opracowaniami technicznymi.
Crawl Stats report - Search Console Help
Oficjalny opis raportu: wymaganie usługi na poziomie roota, definicje trzech metryk zbiorczych, kategorie stanu hosta oraz harmonogram reakcji Google na niedostępny plik robots.txt. Podstawa sekcji o lokalizacji raportu, o stanie hosta i o czytaniu tabeli odpowiedzi indeksowania.
Optimize your crawl budget
Przewodnik Google dla dużych serwisów: progi miliona i dziesięciu tysięcy stron, definicja witryny jako unikalnej nazwy hosta, rozbicie budżetu na limit wydajności i zapotrzebowanie. Podstawa sekcji o składnikach budżetu indeksowania i sekcji o tym, kiedy temat jest realnym problemem.
When Should You Worry About Crawl Budget?
Niezależna analiza Patricka Stoxa o tym, które serwisy powinny zajmować się budżetem indeksowania, co realnie liczy się do puli i jak sprawdzać aktywność robotów. Kontrapunkt dla sekcji o progach istotności oraz dla sekcji porównującej ten raport z raportem Indeksowanie stron.
10 Tips To Optimize Crawl Budget For SEO
Przegląd technik ograniczania marnotrawstwa żądań: nawigacja fasetowa, łańcuchy przekierowań, zasoby strony i mapy witryn. Zestawienie referencyjne dla sekcji o tym, gdzie ucieka budżet w sklepie, oraz dla listy kroków odzyskiwania budżetu.
Pytania i odpowiedzi (FAQ)
Sześć pytań, które wracają po pierwszym otwarciu raportu Statystyki indeksowania - o zakresie danych, zgodności z logami serwera i o tym, komu ta analiza realnie się opłaca.