robots Politikası Denetleyicisi

robots Politikası Denetleyicisi

Site robots.txt dosyasını alır, User-agent gruplamalarını ayrıştırır ve bir yolun taranmasına izin verilip verilmediğini hemen doğrular.