ملف robots.txt

ملف robots.txt بيقول لزواحف محركات البحث أي أجزاء من موقعك مسموح لها تزورها.

بيكون بجذر موقعك. الزواحف بتقراه قبل ما تزور.

ليش بيهم الشغل الصغير

قاعدة غلط ممكن تخبّي صفحات عن البحث. افتح yoursite.com/robots.txt وتأكد إنو ما بيمنع صفحات بدك ياها تنلاقي.