robots txt

Google, desteklenmeyen robots.txt kuralları listesini genişletmeyi planlıyor. HTTP Archive verilerini kullanan yeni araştırma detayları.