كيفية تعديل ملف روبوتس robots.txt مخصص لمدونات بلوجر Blogger
السلام عليكم ورحمه الله تعالى وبركاته اتمنى ان تكونو بخير وصحه.موضوع اليوم حول بلوجر وكيف يمكن ان تضهر مدونتك في نتائج البحث جوجل.
اولا لبد من مساعدة جوجل أو بمعنى أصح روبوطات جوجل كي تتصدر نتائج البحث جوجل لتاتيك بي زوار على الموقعك .
تم يمكن أن نروج في يوتيوب وطريقة أو بي فيسبوك وجروبات أو تضغط قدر من المال في فيسبوك ليجلب لك أناس ولكن لبد من جوجل فإنها تساعدك بشكل كبير جدا اولا في زوار على موقعك وزوار يعني بختصار شديد هم أرباح أن لم يكن لديك زوار على الموقعك فلن تستطيع ربح مال من الانترنت او ادسنس فكل شخص يريد ان يربح مال ولكن فيس بوك لا ينشر كل مواضيع لتي تنشرها سواء في مدونة أو قناة ويمكن أن يتم حضر حسابك من فيس بوك .
اما بنسبة لي طريق صحيح لترويج موقعك على يوتيوب أمر سهل جدا وهو ان تعمل فيديو ورابط يكون في الوصف وعندما يضغط ناس على رابط الذي وضعته في يوتيوب أو في وصف الفيديو سوف تحصل على زوار .
ما حل كي تضهر في جوجل في اسرع وقت ممكن.
اولا توجد عندنا في مدونة أو بلوجر ملف robots.txt مخصص . لذخول اليه تذهب إلى تعديل تم هناك في اعدادات توجد اعدادات البحت تم تنزل الى اسفل وتجده.
اما بنسبة لي طريق صحيح لوضع اكواد التي يمكن أن تنفعك بشكل كبير في أرشيف المدونة سوف نقدم لكم موقع رابط موقع سوف تجدونه أسفل فيديو وعندما تذخل الى الموقع ضع رابط الموقع الخاص بك تم تضغط على انطلاق تم تنسخ الكود ولصقه في ملف robots.txt مخصص .
بعد وضغط كود كم انتضر كي اضهر في جوجل .
سوف تارشف ممكن اسبوع وفي اقصى شهر ولكن اهم شيء هو أن تكتب وتكتر الكتاب فكتر التدوين تحبب روبوطات جوجل في مواضيعك ومقالاتك وتارشف بي سرعة وعلى ضمانتي وهاذا ما أعمل به انا حليا وهكذا ضهرت مدونتي في جوجل بنفس الطريقة.
6 مواقع مهمة من طرف جوجل كي تضهر في نتائج بحت وتتصر مراتب اولا
الدخول الى موقع1 لارشفة موقعك اضغط هنا
الدخول الى موقع2 لارشفة موقعك اضغط هنا
الدخول الى موقع3 لارشفة موقعك اضغط هنا
الدخول الى موقع4 لارشفة موقعك اضغط هنا
نظرة عامة على ملف robots.txt
قم بإنشاء ملف robots.txt
التالي: اختبر ملف robots.txt الخاص بك باستخدام أداة اختبار robots.txt
إذا كنت تستخدم خدمة استضافة ويب ، مثل Wix أو Blogger ، فلن تحتاج على الأرجح إلى إنشاء أو تعديل ملف robots.txt.
بداية
يوجد ملف robots.txt في جذر موقع الويب الخاص بك. بالنسبة لموقع مثل www.example.com ، يوجد ملف robots.txt على www.example.com/robots.txt. Robots.txt هو ملف نصي عادي يفي بمعايير استبعاد الروبوتات. يتكون ملف robots.txt من قاعدة واحدة أو أكثر. تحظر كل قاعدة (أو تسمح) وصول زحف معين إلى مسار ملف معين على موقع الويب هذا.
في ما يلي ملف robots.txt بسيط يحتوي على قاعدتين ، كما هو موضح أدناه:
# المجموعة 1
وكيل المستخدم: Googlebot
Disallow: / nogooglebot /
# المجموعة 2
وكيل المستخدم: *
السماح: /
خريطة الموقع: http://www.example.com/sitemap.xml
تفسير:
لا يزحف وكيل المستخدم المسمى "Googlebot" إلى المجلد http://example.com/nogooglebot/ أو أي أدلة فرعية.
يمكن لجميع وكلاء المستخدم الآخرين الوصول إلى الموقع بأكمله. (يمكن حذف هذا الزاحف بنفس النتيجة لأنه سيتم افتراض الوصول الكامل.)
يقع ملف Sitemap الخاص بك على http://www.example.com/sitemap.xml
سنقدم مثالا أكثر تفصيلا في وقت لاحق.
التعليمات الأساسية لملفات robots.txt
فيما يلي بعض الإرشادات الأساسية لملفات robots.txt. نقترح أن تقرأ البنية الكاملة لملفات robots.txt لأن بنية ملف robots.txt لها سلوك أكثر تعقيدًا يجب الانتباه إليه.
التنسيق والمكان
يمكنك استخدام أي محرر نصوص تقريبًا لإنشاء ملف robots.txt. يجب أن يكون محرر النصوص قادرًا على إنشاء ملفات نصية بتنسيق UTF-8 القياسي ، ولا يجب استخدام معالج النصوص أيضًا ، لأن معالجات الكلمات غالبًا ما تحفظ الملفات بتنسيق خاص ويمكن أن تضيف أحرفًا غير متوقعة ، مثل الاقتباسات المنحنية ، التي يمكن أن يسبب مشاكل للزواحف.
يمكنك استخدام أداة اختبار robots.txt لكتابة أو تحرير ملفات robots.txt لموقع الويب الخاص بك. تتيح لك هذه الأداة اختبار تكوين وسلوك موقعك.
قواعد التنسيق والموقع:
يجب أن يسمى الملف robots.txt.
يمكن أن يحتوي موقعك على ملف robots.txt واحد فقط.
يجب وضع ملف robots.txt في جذر مضيف موقع الويب الذي ينطبق عليه. على سبيل المثال ، للتحكم في الزحف إلى جميع عناوين URL الموجودة تحت http://www.example.com/ ، يجب أن يكون ملف robots.txt موجودًا على http://www.example.com/robots.txt. لا يجب وضعه في دليل فرعي (على http://example.com/pages/robots.txt). إذا لم تكن متأكدًا من كيفية الوصول إلى جذر موقع الويب أو تحتاج إلى أذونات للقيام بذلك ، فيمكنك الاتصال بموفر استضافة الويب الخاص بك. إذا لم تتمكن من الوصول إلى جذر موقع الويب الخاص بك ، يمكنك استخدام طريقة حظر بديلة مثل العلامات الوصفية.
يمكن تطبيق ملف robots.txt على النطاقات الفرعية (مثل http://website.example.com/robots.txt) أو على المنافذ غير القياسية (مثل http://example.com:8181/robots.txt) .
التعليقات هي أي محتوى يضاف بعد #.
الهيكل
يجب أن يكون ملف robots.txt ملفًا نصيًا مشفرًا بتنسيق UTF-8 (والذي يتضمن ASCII). لا يمكن استخدام أدلة التعليمات البرمجية الأخرى.
يتكون ملف robots.txt من مجموعة واحدة أو أكثر.
تتكون كل مجموعة من عدة قواعد أو اتجاهات (تعليمات) ، واحدة لكل سطر.
تقدم المجموعة المعلومات التالية:
الشخص الذي تنطبق عليه المجموعة (وكيل المستخدم)
الدلائل أو الملفات التي يمكن للوكيل الوصول إليها و / أو
الأدلة أو الملفات التي لا يستطيع الوكيل الوصول إليها.
تتم معالجة المجموعات من الأعلى إلى الأسفل ويمكن لوكيل المستخدم مطابقة مجموعة واحدة فقط من القواعد ، وهي أول مجموعة أكثر تحديدًا تتطابق مع وكيل مستخدم محدد.
الافتراض التلقائي هو أن أي وكيل مستخدم يمكنه الزحف إلى صفحة أو دليل لم يتم حظره بواسطة Disallow: rule.
القواعد حساسة لحالة الأحرف. على سبيل المثال ، تنطبق قاعدة Disallow: /file.asp على http://www.example.com/file.asp ، وليس على http://www.example.com/File.asp.
تُستخدم التوجيهات التالية في ملفات robots.txt:
User-agent: [وكيل واحد أو أكثر مطلوب لكل قاعدة] اسم روبوت محرك البحث (زاحف الويب) الذي تنطبق عليه القاعدة. هذا هو السطر الأول من أي قاعدة. يتم إدراج معظم أسماء وكلاء المستخدم في قاعدة بيانات روبوتات الويب أو في قائمة وكلاء مستخدم Google. يمكن استخدام حرف البدل * في بادئة المسار أو اللاحقة أو السلسلة الكاملة. العلامة النجمية (*) ، كما في المثال أدناه ، مطابقة لجميع برامج الزحف باستثناء برامج زحف AdsBot المختلفة التي يجب تحديدها بشكل صريح. (يمكنك مشاهدة قائمة ببرامج الزحف من Google.) أمثلة:
# المثال الأول: حظر Googlebot فقط
وكيل المستخدم: Googlebot
عدم السماح: /
# المثال 2: حظر Googlebot و Adsbot
وكيل المستخدم: Googlebot
وكيل المستخدم: AdsBot-Google
عدم السماح: /
# المثال 3: منع جميع برامج الزحف باستثناء AdsBot
وكيل المستخدم: *
عدم السماح: /
Disallow: [يجب توفير إدخال واحد على الأقل أو أكثر من Disallow أو Allow لكل قاعدة] دليل أو صفحة ذات صلة بالنطاق الأساسي يجب ألا يزحف وكيل المستخدم. إذا تم استخدام صفحة مع هذه القاعدة ، فيجب إضافة اسم الصفحة بالكامل كما هو موضح في المستعرض ، وإذا تم استخدام دليل ، فيجب أن ينتهي بـ /. يمكن استخدام حرف البدل * في بادئة المسار أو اللاحقة أو الأحرف الكاملة
ملف آخر على سبيل المثال
يتكون ملف robots.txt من مجموعة واحدة أو أكثر ، تبدأ كل منها بخط User-agent الذي يحدد هدف المجموعات. يوجد أدناه ملف يضم مجموعتين وتعليقات مضمنة تشرح كل مجموعة:
# حظر googlebot من example.com/directory1 / ... و example.com/directory2 / ...
# ولكن السماح بالوصول إلى دليل 2 / دليل فرعي 1 / ...
# جميع الدلائل الأخرى على الموقع مسموح بها بشكل افتراضي.
وكيل المستخدم: googlebot
Disallow: / directory1 /
Disallow: / الدليل 2 /
السماح: / directory2 / subdirectory1 /
# منع الموقع بأكمله من الزحف الآخر.
وكيل المستخدم: anothercrawler
عدم السماح: /
البنية الكاملة لملف robots.txt
يمكنك العثور على بنية robots.txt الكاملة هنا. يُرجى قراءة الوثائق الكاملة ، حيث تحتوي بنية robots.txt على بعض الأجزاء الصلبة المهمة للتعلم.
قواعد robots.txt مفيدة
في ما يلي بعض قواعد robots.txt المفيدة والشائعة:
القاعدة مثال
منع الزحف إلى موقع الويب بأكمله. لاحظ أنه في بعض الحالات ، لا يزال من الممكن فهرسة عناوين URL من موقع الويب حتى إذا لم يتم الزحف إليها. ملاحظة: لا تتطابق هذه القاعدة مع برامج زحف AdsBot مختلفة ، والتي يجب تعيينها بشكل صريح.
وكيل المستخدم: *
عدم السماح: /
منع الزحف إلى دليل ومحتوياته بإضافة شرطة مائلة للأمام بعد اسم الدليل. لاحظ أنه يجب ألا تستخدم ملف robots.txt لمنع الوصول إلى المحتوى الخاص وننصحك باستخدام المصادقة المناسبة بدلاً من ذلك. يمكن الاستمرار في فهرسة عناوين URL المحظورة بواسطة robots.txt دون الزحف إليها ويمكن لأي شخص عرض ملف robots.txt الذي قد يكشف عن موقع المحتوى الخاص الذي تريد مشاهدته فقط.
وكيل المستخدم: *
Disallow: / التقويم /
Disallow: / غير المرغوب فيه /
السماح بوصول زاحف واحد
وكيل المستخدم: Googlebot-news
السماح: /
وكيل المستخدم: *
عدم السماح: /
السماح لجميع برامج الزحف بالوصول إلا زحف واحد
وكيل المستخدم: برنامج غير ضروري
عدم السماح: /
وكيل المستخدم: *
السماح: /
منع الزحف إلى صفحة ويب واحدة عن طريق إدراج الصفحة بعد الخط المائل:
وكيل المستخدم: *
Disallow: /private_file.html
حظر صورة معينة من صور Google:
وكيل المستخدم: Googlebot-Image
Disallow: /images/dogs.jpg
حظر جميع الصور على موقع الويب الخاص بك من صور Google:
وكيل المستخدم: Googlebot-Image
عدم السماح: /
منع الزحف إلى ملفات من نوع معين (مثل .gif):
وكيل المستخدم: Googlebot
Disallow: /*.gif$
الزحف المحظور للموقع بأكمله ، ولكن مع ظهور إعلانات AdSense على تلك الصفحات ، يحظر الوصول إلى جميع برامج زحف الويب غير Mediapartners-Google. يؤدي ذلك إلى إخفاء الصفحات من نتائج البحث ، ولكن لا يزال بإمكان زاحف الويب Mediapartners-Google تحليل الصفحات لتحديد الإعلانات التي سيتم عرضها لزوار موقعك على الويب.
وكيل المستخدم: *
عدم السماح: /
وكيل المستخدم: Mediapartners-Google
السماح: /
لمطابقة عناوين URL التي تنتهي بسلسلة معينة ، يمكنك استخدام $. على سبيل المثال ، يمنع قالب الشفرة الوصول إلى أي عناوين URL تنتهي بـ xls:
وكيل المستخدم: Googlebot
Disallow: /*.xls$
اتمنى ان تشاهدون فيديو لتفهم أكتر سوف تجدون بعض اضافات المهم جدا في مدونتك.
رابط موقع المدكور في شرح فيديو
ان كنت تريد تحميل ملف جاهز اضغط هنا
ولكن ننصحك بدخول الى الموقع المولد اكواد روبوتكس
Now, create a robotstxt file in your site's root folder, copy the text from above and paste it into a text file.
About Robots.txt Generator
This tool Robots.txt generator facilitates things for you, just choose the settings you want and click on Generate a robot file or create a Robots.txt file to generate it automatically for you so that you can copy it to a file and use it on your site
Robots.txt: All search engines have search spiders, which are (Roborts - Spiders - Wanderers), and it is one of the tasks and priorities to make these spiders that you scan our sites and archive them, but you may want to prevent these spiders from visiting some parts of the site, or some specific pages From the site, and for this reason this file is created and supplied to the site server (Server), and you may often need such a file, to block personal information about you from search engines, or to prevent these spiders from accessing the sites or pages under construction.
Explanation of creating Robots.txt manually:
As for the way to create such a file manually in a simple manner and without entering into the details, you need to use NotePad and then add these two sentences:
user-agent: (spider or bots name)
disallow: (Directory or FileName)
In the first two brackets, you add the name of the spider that belongs to the search engine you use, and in the second brackets you add the name of the file or pages you want to block it. As for blocking all search engines without belonging to one of them, you can use the following two sentences:
use-agent: *
Disallow: /