Co Twój robots.txt pozwala indeksować
Plik robots.txt mówi robotom wyszukiwarek, gdzie wolno im wejść. Jeden zapis potrafi zamknąć całą stronę przed Google, a serwer przez cały czas odpowiada normalnie, więc zwykły monitoring niczego nie zauważa. Sprawdzamy, czy plik nie wycina Cię z wyników i którym robotom AI daje albo odmawia wstępu.
Co dokładnie sprawdzamy
- Czy plik zamyka całą stronę przed wyszukiwarkami (User-agent: *, Disallow: /)
- Którym robotom modeli AI plik zabrania wstępu: GPTBot, ClaudeBot, CCBot, Google-Extended i inne
- Czy plik wskazuje mapę strony (wpis Sitemap:)
- Czy plik w ogóle istnieje pod adresem /robots.txt
Czytamy sam plik robots.txt. Znaczniki noindex na poszczególnych podstronach sprawdza przegląd podstron w panelu, bo wymaga wejścia na każdy adres z osobna.
Chcesz zbudować albo poprawić plik? Generator robots.txt ›
Jak czytać wynik
Cała strona zamknięta
Zapis „User-agent: * / Disallow: /" mówi wszystkim wyszukiwarkom, że nie wolno im pobrać ani jednej podstrony. Strona działa dla odwiedzających, ale z czasem znika z Google. Najczęściej to plik ze środowiska testowego, który wjechał na produkcję razem z wdrożeniem.
Zablokowane roboty AI
Osobne wpisy potrafią odmówić wstępu robotom modeli AI, jak GPTBot czy ClaudeBot, przy stronie otwartej dla zwykłych wyszukiwarek. Bywa to świadomym wyborem: nie każdy chce, żeby jego treści zasilały modele. Pokazujemy stan, decyzja należy do Ciebie.
Brak mapy strony
Wpis „Sitemap:" podpowiada wyszukiwarce pełną listę adresów. Jego brak nie jest błędem, mapę można zgłosić też bezpośrednio w narzędziach dla webmasterów, ale wpis w robots.txt to najprostsza droga.
Brak pliku
Gdy pliku nie ma, roboty indeksują wszystko domyślnie. To nie usterka, choć plik przydaje się choćby po to, żeby wskazać mapę strony albo zamknąć zaplecze.
Najczęstsze przyczyny
Plik ze staginga na produkcji
Środowiska testowe trzymają „Disallow: /", żeby nie trafiły do Google. Wdrożenie kopiujące pliki w całości przenosi ten zapis na żywą stronę. To najczęstsza przyczyna nagłego zniknięcia z wyników.
Odhaczone „nie indeksuj" w systemie zarządzania treścią
W systemach jak WordPress jedno pole „poproś wyszukiwarki o nieindeksowanie" przełącza całą stronę na niewidoczną. Zostaje włączone po migracji albo po pracach i nikt do niego nie zagląda.
Skopiowany cudzy robots.txt
Plik przeklejony z innej strony blokuje katalogi, których u Ciebie nie ma, albo boty, które chcesz wpuścić. Warto przeczytać go linijka po linijce, a nie ufać, że pasuje.
Pytania i odpowiedzi
Czy robots.txt to to samo co noindex?
Nie. robots.txt prosi robota, żeby nie wchodził na adres. Znacznik noindex pozwala wejść, ale zabrania pokazywać stronę w wynikach. Adres zablokowany w robots.txt bywa nawet pokazywany jako goły link, bo wyszukiwarka nie weszła i nie zobaczyła noindex.
Zablokowałem boty AI. Czy to zaszkodzi pozycji w Google?
Nie. Google-Extended i GPTBot to roboty osobne od Googlebota, który indeksuje stronę do wyszukiwarki. Blokada tych pierwszych nie rusza Twojej widoczności w wynikach.
Czy robots.txt ukrywa prywatne strony?
Nie. To prośba, nie zamek, a sam plik jest jawny. Adres wpisany w Disallow bywa właśnie tam wypatrywany. Do zamknięcia treści służą logowanie i uprawnienia, nie robots.txt.
Sprawdziłeś raz. My sprawdzamy co pięć minut.
Bezpłatny pakiet pilnuje strony głównej, certyfikatu SSL i ważności domeny. Bez karty płatniczej i bez terminu ważności.
- Puls strony co 5 minut, awarię potwierdzamy drugim sprawdzeniem
- Ostrzeżenie przed wygaśnięciem certyfikatu i domeny
- Powiadomienia e-mail bez limitu
- Statystyki z ostatnich 7 dni, jedno konto
Jak pilnujemy tego na co dzień: Przegląd treści ›
Pozostałe narzędzia
Czy strona działa
Sprawdź z zewnątrz, czy strona odpowiada i czy problem nie leży przypadkiem po Twojej stronie.
Certyfikat SSL
Data ważności, wystawca, dopasowanie nazwy i wszystko, przez co znika kłódka.
Ważność domeny
Kiedy wygasa domena, kto jest rejestratorem i czy ktoś może ją przenieść bez Twojej wiedzy.
SPF, DKIM i DMARC
Dlaczego maile lądują w spamie i czy ktoś może wysyłać faktury z Twojego adresu.
Nagłówki bezpieczeństwa
Osiem pozycji, które ustawia się na serwerze w kilkanaście minut, a pyta o nie każdy audyt.