ووردبريس

ملف robots txt – ما هو؟ – وهل أحتاجه لموقعي؟

تعرّف على ملف robots txt

ملف robots txt

ملف robots txt عبارة عن مجموعة من الإرشادات لبرامج الروبوت. يتم تضمين هذا الملف في الملفات المصدر لمعظم مواقع الويب.

تهدف ملفات Robots txt في الغالب إلى إدارة أنشطة الروبوتات الجيدة مثل برامج زحف الويب، نظرًا لأنه من غير المحتمل أن تتبع الروبوتات السيئة الإرشادات.

فكر فيه على أنه مثل “قواعد السلوك” الموضوعة على الحائط في صالة ألعاب رياضية أو بار أو مركز مجتمعي: الورقة نفسها ليس لها سلطة لفرض القواعد المدرجة، ولكن الزوار “الجيدين” سيتبعون القواعد، بينما من المحتمل أن يخرقها “السيئون” ويحظرون أنفسهم.

البوت هو برنامج كمبيوتر آلي يتفاعل مع مواقع الويب والتطبيقات. هناك روبوتات جيدة وروبوتات سيئة، وهناك نوع واحد من البوتات الجيدة يسمى روبوت زاحف الويب.

تقوم هذه الروبوتات “بالزحف” إلى صفحات الويب وفهرسة المحتوى بحيث يمكن أن يظهر في نتائج

محرك البحث. يساعد ملف robots txt في إدارة أنشطة برامج زحف الويب هذه بحيث لا ترهق خادم الويب الذي يستضيف موقع الويب أو فهرسة الصفحات غير المخصصة للعرض العام.

ملف robots txt
ملف robots txt

لماذا يعتبر ملف robots txt مهمًا؟

لا تحتاج معظم مواقع الويب إلى ملف robots txt.

وذلك لأن محرك البحث Google يمكنه عادةً العثور على جميع الصفحات المهمة على موقعك وفهرستها.

ولن يقوموا تلقائيًا بفهرسة الصفحات غير المهمة أو النسخ المكررة من الصفحات الأخرى.

ومع ذلك، هناك ثلاثة أسباب رئيسية تدفعك لاستخدام هذا الملف

حظر الصفحات غير العامة: في بعض الأحيان يكون لديك صفحات على موقعك لا تريد فهرستها. على سبيل المثال، قد يكون لديك إصدار مرحلي من الصفحة. أو صفحة تسجيل الدخول. يجب أن تكون هذه الصفحات موجودة. لكنك لا تريد أن يهبط عليها أشخاص عشوائيون. هذه هي الحالة حيث يمكنك استخدام ملف robots txt لمنع هذه الصفحات من برامج الزحف وبرامج الروبوت لمحركات البحث.

زيادة الزحف إلى الحد الأقصى: إذا كنت تواجه صعوبة في فهرسة جميع صفحاتك، فقد تواجه مشكلة في الزحف. من خلال منع الصفحات غير المهمة باستخدام ملف robots txt، يمكن لبرنامج Googlebot إنفاق المزيد من ميزانية الزحف على الصفحات المهمة بالفعل.

منع فهرسة الموارد: يمكن أن يعمل استخدام التوجيهات الوصفية تمامًا مثل ملف robots txt لمنع فهرسة الصفحات. ومع ذلك، لا تعمل التوجيهات الوصفية بشكل جيد مع موارد الوسائط المتعددة، مثل ملفات PDF والصور. وهنا يأتي دوره.

ملف robots txt

هل تحتاج إلى ملف ملف robots txt لموقع WordPress الخاص بك؟

إذا لم يكن لديك، فستستمر محركات البحث في الزحف إلى موقعك على الويب وفهرسته. ومع ذلك، لن تتمكن من إخبار محركات البحث بالصفحات أو المجلدات التي لا ينبغي عليهم الزحف إليها.

لن يكون لهذا تأثير كبير عندما تبدأ مدونة لأول مرة ولا تحتوي على الكثير من المحتوى. ومع ذلك، مع نمو موقع الويب الخاص بك ويصبح لديك الكثير من المحتوى، فمن المحتمل أن ترغب في التحكم بشكل أفضل في كيفية الزحف إلى موقع الويب الخاص بك وفهرسته.

إليكم السبب, تحتوي روبوتات البحث على حصة زحف لكل موقع ويب. هذا يعني أنهم يزحفون إلى عدد معين من الصفحات أثناء جلسة الزحف. إذا لم ينتهوا من الزحف إلى جميع الصفحات على موقعك، فسيعودون ويستأنفوا الزحف في الجلسة التالية. هذا يمكن أن يبطئ معدل فهرسة موقع الويب الخاص بك.

يمكنك إصلاح ذلك عن طريق عدم السماح لروبوتات البحث بمحاولة الزحف إلى صفحات غير ضرورية مثل صفحات مسؤول WordPress وملفات المكونات الإضافية ومجلد السمات.

من خلال عدم السماح للصفحات غير الضرورية، فإنك تحفظ حصة الزحف الخاصة بك. يساعد هذا محركات البحث في الزحف إلى المزيد من الصفحات على موقعك وفهرستها في أسرع وقت ممكن.

سبب وجيه آخر لاستخدام ملف robots txt هو عندما تريد منع محركات البحث من فهرسة منشور أو صفحة على موقع الويب الخاص بك. إنها ليست الطريقة الأكثر أمانًا لإخفاء المحتوى عن عامة الناس، ولكنها ستساعدك على منعهم من الظهور في نتائج البحث.

كيفية إنشاء ملف robots txt في WordPress

هناك طريقتان في WordPress. يمكنك اختيار الطريقة التي تناسبك.

الطريقة الأولى: تحرير Robots txt باستخدام All in One SEO

All in One SEO المعروف أيضًا باسم AIOSEO هو أفضل مكون إضافي لـ WordPress SEO في السوق يستخدمه أكثر من مليوني موقع ويب.

إنه سهل الاستخدام ويأتي مع منشئ ملفات robots txt.

ملاحظة: يتوفر أيضًا إصدار مجاني من AIOSEO وبه هذه الميزة.

بمجرد تثبيت المكون الإضافي وتنشيطه، يمكنك استخدامه لإنشاء  robots txt وتحريره مباشرة من منطقة إدارة WordPress الخاصة بك.

ما عليك سوى الانتقال إلى All in One SEO »أدوات لتعديل  robots txt الخاص بك.

أولاً، ستحتاج إلى تشغيل خيار التعديل، بالنقر على زر التبديل “تمكين Robots txt المخصص” إلى اللون الأزرق.

باستخدام هذا التبديل، يمكنك إنشاء ملف robots txt مخصص في WordPress

سيعرض All in One SEO ملف robots txt الحالي في قسم “معاينة ملف Robots txt” أسفل الشاشة.

سيعرض هذا الإصدار القواعد الافتراضية التي تمت إضافتها بواسطة WordPress.

تخبر هذه القواعد الافتراضية محركات البحث بعدم الزحف إلى ملفات WordPress الأساسية الخاصة بك، وتسمح لبرامج الروبوت بفهرسة كل المحتوى، وتوفر لهم رابطًا إلى خرائط مواقع XML الخاصة بموقعك.

الآن، يمكنك إضافة القواعد المخصصة الخاصة بك لتحسين ملف robots txt لتحسين محركات البحث.

لإضافة قاعدة، أدخل وكيل المستخدم في حقل “وكيل المستخدم”. سيؤدي استخدام * إلى تطبيق القاعدة على جميع وكلاء المستخدم.

ثم حدد ما إذا كنت تريد “السماح” أو “عدم السماح” لمحركات البحث بالزحف.

بعد ذلك، أدخل اسم الملف أو مسار الدليل في الحقل “مسار الدليل”.

سيتم تطبيق القاعدة تلقائيًا على ملف robots txt الخاص بك. لإضافة قاعدة أخرى، انقر فوق الزر “إضافة قاعدة”.

نوصي بإضافة القواعد حتى تقوم بإنشاء تنسيق robots txt المثالي.

بمجرد الانتهاء من ذلك، لا تنس النقر على الزر “حفظ التغييرات” لتخزين تغييراتك.

الطريقة الثانية: قم بتحرير ملف Robots txt يدويًا باستخدام FTP

لهذه الطريقة، ستحتاج إلى استخدام عميل FTP لتحرير ملف robots txt.

ما عليك سوى الاتصال بحساب استضافة WordPress الخاص بك باستخدام عميل FTP.

بمجرد الدخول، ستتمكن من رؤية ملف robots txt في المجلد الجذر لموقع الويب الخاص بك

إذا كنت لا ترى واحدة، فمن المحتمل أنه ليس لديك ملف robots txt.

في هذه الحالة، يمكنك المضي قدمًا وإنشاء واحدة.

Robots txt هو ملف نصي عادي، مما يعني أنه يمكنك تنزيله على جهاز الكمبيوتر الخاص بك وتحريره باستخدام أي محرر نص عادي مثل Notepad أو TextEdit.

بعد حفظ التغييرات، يمكنك تحميلها مرة أخرى إلى المجلد الجذر لموقعك على الويب.

كيف تختبر ملف robots txt الخاص بك؟

بمجرد إنشاء ملف robots txt الخاص بك، فمن الأفضل دائمًا اختباره باستخدام أداة اختبار ملف robots txt.

هناك العديد من أدوات اختبار ملف robots txt، لكننا نوصي باستخدام الأداة الموجودة داخل Google Search Console.

أولاً، ستحتاج إلى ربط موقع الويب الخاص بك بـ Google Search Console.

بعد ذلك، يمكنك استخدام Google Search Console Robots Test Tool.

ببساطة اختر الملفات الخاصة بك من القائمة المنسدلة.

ستقوم الأداة تلقائيًا بجلب ملف robots txt لموقع الويب الخاص بك وتمييز الأخطاء والتحذيرات إذا وجدت أيًا منها.

افكار اخيرة

الهدف من تحسين ملف robots txt هو منع محركات البحث من الزحف إلى الصفحات غير المتاحة للجمهور. على سبيل المثال, الصفحات الموجودة في مجلد مسؤول WordPress الخاص بك.

هناك خرافة شائعة بين خبراء تحسين محركات البحث وهي أن حظر فئة WordPress والعلامات وصفحات الأرشيف سيؤدي إلى تحسين معدل الزحف ويؤدي إلى فهرسة أسرع وتصنيفات أعلى.

هذا ليس صحيحا. كما أنه مخالف لإرشادات مشرفي المواقع من Google.

نوصي باتباع تنسيق robots txt أعلاه لإنشاء ملف robots txt لموقع الويب الخاص بك.

نأمل أن تساعدك هذه المقالة في تعلم كيفية انشاء ملف robots txt في WordPress من أجل تحسين محركات البحث.

 

مقالات ذات صلة

اترك تعليقاً

لن يتم نشر عنوان بريدك الإلكتروني. الحقول الإلزامية مشار إليها بـ *

زر الذهاب إلى الأعلى