لكل موقع أو مدونة فإن إضافة الروبوتكس شيئ في غاية الأهمية، إن ملف Robots.txt جاهز عبارة عن مجموعة من الأوامر ، عن طريقها يمكنك التحكم في روبوتات البحث و ما يجب أرشفته من موقعك أو مدونتك، سنقدم لك في هذا المقال كل يجب معرفته حول كيفية إضافة Robots.txt جاهز و أهميته.
ما هو ملف Robots.Txt جاهز
ملف الروبوتكس هو عبارة عن محتوي نصي يتم إضافته في المدونة، من خلاله توجه الاوامر لمحرك البحث حول الصفحة التي يجب عليه الزحف إليها و أرشفتها في الموقع أو المدونة. لكن ليس الأمر أنه ليس من الضروري أن يتبع محرك البحث قواعد ملف Robots.txt على الرغم من أنه لا يبحث في الملف المحدد بواسطة Robot.txt.
لماذا يجب إضافة robots.txt
توجد بعض الخصوصيات في الموقع واللتي لايجب أن تظهر للزائر ولا لروبوتات Google ، يأدي ظهورها إلي أضرار لموقعك، مثل المسودات و الصفحات الأساسية، كما لايجب أن تظهر الصفحات علي محرك البحث، ولهذا يجب إرسال ملف robots.txt جاهز ليبين لعناكب الفهرسة ما يجب أرشفته.
باختصار ، تستخدم Robots Metatag لإخبار روبوتات البحث حول المجلدات و الملفات التي يجب أرشفتها أو يتم عرضها علي الموقع، والمجلدات اللتي لايجب أرشفتها أو ظهورها علي الموقع، إلا أن بعض من محركات البحث لا يمكنها فهم هذه العلامات الوصفية، مما يجعل إرسلها مضيعة للوقت وتذهب دون إشعار.
لهذا عن طريق ملف الروبوتكس، ستتمكن من التغلب على هذه المشكلة ومن خلال إضافة robots.txt ، تأمر محرك البحث بطريقة واضحة و صريحة.
أهمية الإحتفاظ بملف robots.txt
بعد إرسال ملف الروبوتكس يجب الاحتفاظ به، وذالك عن طريق تفعيل محتواه في اعدادات المدونة، لكي تتمكن عناكب البحث من العثور عليه بسهولة، يجب أن تعرف أنه إذا لم يتم إضافة ملف Robot.txt على المدونة بالطريقة الصحيحة ، فلن يقوم محرك البحث بتنفيذه فسيبدو موقعك في نظر جوحل أنه لا يحتوي علي الملف.
وهذا. قد يأدي إلي أنه لن تتم فهرسة مشاركاتك علي محرك البحث Google ، وحتي إن تمت فهرستها فستكون فوضاوية جدا، بسبب فهرسة المسودات و الصفحات و حتي التعليقات، و من هنا يجب مراعات إرسال الملف بشكل صحيح، وذالك عن طريق إتباع الخطوات اللتي سنذكرها فيما بعد.
عند وصول عناكب محرك بحث إلى مدونتك للمرة الأولي ، فإن مهمتم الأولى هي الزحف إلى ملف Robot.txt على مدونتك، حتي تحصل على معلومات حول مشاركاتك و صفحات و ما يتوجب عليه الزحف إليها.
ماهي فوائد ملف الروبوتكس
لقد فهمنا ما هو ملف robots.txt جاهز وما هي وظيفته، و الآن سنعرف متى يكون ملف الروبوتكس مفيدًا للمدونة.
- عندما نريد ألا تقوم محركات بحث بأرشفة بعض الصفحات في المدونة و الزحف إليها.
- إذا أردنا أن تتجاهل محركات البحث الصفحات المكررة في المدونة.
- حينما نريد إخبار محركات البحث أن المدونة تحتوي على Sitemap.
كيفية إنشاء و إضافة Robots.Txt جاهز
كما ذكرنا سابقا أنه لا يمكن أن تقوم مدونة بدون ملف robots.txt جاهز ، و لكي تستفيد منه علي المدي الطويل فيجب عليك إنشائه بطريقة صحيحة.
توجد العديد من ملفات robots.txt، ولكن يعتبر أفضلها هو ملف بلوجر الإفتراضي، هو عبارة عن ملف نصي بسيط يحتوي علي بعض الأوامر المهمة اللتي يجب توجيهها لمحرك البحث.
وهو هذا الملف التالي قم بنسخه و أضف عنوان موقعك في مكان example.com
بعد نسخه و إضافة عنوان مدونتك توجه بعدها إلي إعدادات مدونتك، قم بالبحث عن برامج الزحف و الفهرسة قم بتفعيل محتوي ملف robots.txt وقم بلصقه داخل الخانة.
مميزات ملف الروبوتكس
نظرًا لأننا فهمنا بالفعل أن ملف الروبوتكس، مهم جدًا لمدونتنا، فلنتعرف الآن على بعض مميزات ملف Robots.txt.
- من خلال ملف Robots.txt يمكننا فهرسة عن طريق Google Bots.
- عن طريق ملف Robots.txt جاهز ، سنتمكن التغلب على مشكلة محتوى المكرر.
- عن طريق إرسال الملف سنتمكن من إبقاء المعلومات الحساسة في المدونة بعيدة عن متناول أي شخص.
ماهو محتوي Robots.Txt
عند استخدام أي ملف robots.txt ، مهم جدا أن نعرف المحتوي المستخدم فيه وهذا ما سنفعله بالضبط لمحتوي ملف الروبوتكس الذي أرسلناه.
عبارة User-agent: Mediapartners-Google وهي عبارة وكيل المستخدم و وهي هنا للحالة اللافتراضية لمحرك البحث Google و من المعروف أن أرشفته تكون عن طريق الزاحف (روبوتات).
Disallow - تستخدم هذه الجملة من أجل حظر الصفحات التي لا نريد من أي زاىر الوصول إليها.
User-agent*: يتم استخدام هذا الرمز الإفتراضي، حتي لا تقوم الروبوتات بأرشفة أقسام المدونة، إلا في حالة أنه توجد أعداد كثيرة من الزوار، أي في اللحظة المناسبة.
Disallow:/search
من خلال هذ الرمز، ستوجه أمرا للروبوتات بأن لا تقوم بأرشفة التعليقات و صفحات البحث في المدونة، و قد تأدي أرشفتها إلي أضرار وخيمة.
Allow:/ من خلال هذا الرمز توجه للروبوتات أمرا، بأن تقوم بأرشفة جميع مقالات مدونتك و جعلها مرئية لمحرك البحث Google.
Sitemap: https://example.com/sitemap.xml وهذا الرمز خاص Sitemap وهي اللتي تبين خريطة موقعك، من حيث المقالات الجديدة و ما إلي ذالك.
ماذا يحدث إذا لم نستخدم ملف الروبوتكس
عندما لا يتم استخدام ملف robots.txt في المدونة يمكن لروبوتات جوجل الزحف إلى أي جزء من المدونة و أرشفته، مما قد يأدي إلي أرشفة إحدي الصفحات الأساسية.
وهذا سبب كافٍ لرفض Google AdSense لمدونتك، لأنه الزاحف لم يستقبل تعليمات حول ما يجب أرشفته من الموقع و ما يجب تركه، ولهذا عن طريق ملف robots.txt جاهز ، تتم أرشفة صفحات المدونة علي النحو الذي تريد وهذا أمر مفيد للمدونة. يمكنك معرفة شروط قبول مدونتك في أدسنس من خلال هذا المقال: تعلم اهم شروط الربح من بلوجر blogger لعام 2022 .
نأمل أن تكون قد حصلت علي معلومات من هذا المقال اترك استفسارك في التعليقات.