Back to Question Center
0

سيمالت جميع الروبوتات robots.txt

1 answers:

في بلدي الروبوتات Source - all2gether bakfiets cargo. تكست ملف لدي قائمة من الروبوتات التي لا يسمح بفهرسة على موقعي والباقي يجب أن تسمح لجميع الروبوتات الأخرى، ولكن أود أن أعرف الفرق الحقيقي بين هاتين القاعدتين:

     وسر-إدجنت: *
عدم السماح:    

وهذا:

     وسر-إدجنت: *
السماح: /    
February 13, 2018