Search console robots.txt sorunu

Herşey Ahmet’in Search console’a site haritası yollarken

Site haritası okunamadı
Genel HTTP hatası

RDP AHMET

Bu hatayı alıyorum demesiyle başladı. Site haritasını search console’a gönderdiğinde aşağıda ki gibi bir uyarı veriyordu.

Site haritasını normal bir sayfa gibi google dizini için kontrol ettiğimizde erişim engellendi uyarısı veriyordu kısaca Robots.txt’nin hatalı yapılandırmasından dolayı search console bu hatayı veriyordu. Ahmet robots.txt’yi çok önceden tabi ki kontrol etmişti ve normaldi ama Google robots.txt’nin bir ay önceki içeriğini ön belleğe almıştı. Bunu kontrol etmek için ise Robots.txt Test aracına gitmek gerekiyor.

Bu yüzden de sorunun buradan kaynaklandığının farkına varamamıştı. Sorunu gidermek için ise Gönder tuşuna basıp “Google’dan güncelleme yapmasını isteyin tuşuna basmanız gerekiyor.