Concentrating on robots.txt specifically for Wordpress حول robots.txt مع التركيز على وجه التحديد لوورد

I’m going to talk about setting up a robots.txt especially for your self hosted wordpress blog, to help the search engine crawlers to best index your site and help with with search engine optimization. ¢ ألف ألف ، ¬ "¢ ذاهب الى الحديث عن إقامة robots.txt خاصة لذاتك ووردبرس] استضافت بلوق ، لمساعدة محرك البحث الزواحف أفضل مؤشر لموقعك والمساعدة مع محرك البحث الأمثل. Due to the recent content duplication rules in the google index, you want to make sure that you’re submitting one version of your posts/pages, and also that the crawler isn’t trying to index pages it really does need to at all. ونظرا لازدواجية الأخيرة مضمون القواعد في فهرس جوجل ، أردت التأكد من أن youà ¢ ألف ، ¬ "¢ إعادة تقديم نسخة واحدة من رسائلك / صفحات ، وأيضا إلى أن الوكالة الزحافة ¢ ألف ، ¬" ¢ ر يحاول مؤشر صفحة أنها فعلا في حاجة إلى جميع. Pages like trackbacks, admin, includes, and your rss feed. صفحات مثل تركبكس ، الادارية ، ويتضمن ، واس الخاص بك.

It seems from reading many blogs and postings that not everyone agrees about category pages. ويبدو من خلال قراءة العديد من بلوق وإسناد الوظائف التي لا يتفق الجميع عن صفحات الفئة. I’ve heard some say that they want their category pages indexed - and that helps them. ¢ ألف ألف ، ¬ "¢ هاء استمع البعض يقول أن الفئة التي يريدون بها صفحات مفهرسة -- والتي تساعدهم. I think it seems to depend on the site, and how you have been tagging things. وأعتقد أنه يبدو أن تعتمد على الموقع ، وكيف تم وضع علامات على الأشياء. Sometimes on some of my sites I go overboard on tagging, so I end up with a ton of category pages. في بعض الأحيان على بعض المواقع للبلادي أنا على التخلي عن التوسيم ، لذلك ينتهي مع طن من صفحات الفئة. And also, many times I tag things in many different categories. وأيضا ، مرات كثيرة لي علامة في كثير من الامور فئات مختلفة. Having a post have it’s own page, be listed on the front page, and 5 category pages wouldn’t seem to be a very good plan for good seo and an obvious setup for content duplication (in my eyes). وبعد أن وظيفة لها ità ¢ ألف ، ¬ "¢ ق الصفحة الخاصة بها ، يكون المدرجة على الصفحة الأولى ، وفئة 5 صفحات wouldnà ¢ ألف ، ¬" ¢ ر يبدو أن خطة جيدة جدا لحسن سيو واضحة الإعداد لمحتوى الازدواجية (في عيني). So just to be safe, I filter out my category pages too in my robots.txt. حتى لمجرد أن يكون مأمونا ، وأنا خارج بلدي فلتر صفحات الفئة جدا في بلدي robots.txt.

First, I read over or Lorelle on Wordpress (link in sidebar) that now google has sitemap inclusion, and you can add this line to your أولا ، قرأت أكثر من Lorelle أو على وورد (وصلة في الشريط الجانبي) أن غوغل الآن إدراج الموقع ، ويمكنك إضافة هذا الخط الى حسابك

robots.txt file: ملف robots.txt :
User-agent: * وكيل المستخدم : *
Sitemap: http:// www.jtpratt.com /sitemap.xml الموقع : http:// www.jtpratt.com / sitemap.xml

and you no longer have to submit your sitemap (the crawler will know what to do with it). ولكم لم يعد لدينا يقدم الموقع الخاص بك (الزحافة سوف يعرف ماذا يفعل معها). So this is a new entry for me. حتى هذا هو دخول جديدة بالنسبة لي. I also read that you can tell the google image crawler where to (and not to) go in your site, so I added this: وأود أيضا أن القراءة يمكن أن نقول لكم : البريد الإلكتروني صورة لالزحافة فيها (وليس ل) الذهاب في موقعك ، حتى أضفت هذا :

# The Googlebot-Image is the image bot for google # Googlebot الصورة هي صورة للبوت : البريد الإلكتروني
User-agent: Googlebot-Image وكيل المستخدم : Googlebot الصورة
# Allow Everything # السماح كل شيء
Allow: /* السماح : / *

I also saw that can do the same for the adsense crawler, which has nothing to do with indexing, but if you use adsense it would be smart to have this as well: ورأيت أيضا يستطيع أن يفعل نفس الشيء لadsense الزحافة ، والتي لا علاقة لها فهرسة ، ولكن اذا كنت تستخدم adsense سيكون الذكية لهذا أيضا :

# This is the ad bot for google # وهذا هو الإعلان بوت لجوجل
User-agent: Mediapartners-Google* وكيل المستخدم : Mediapartners جوجل *
# Allow Everything # السماح كل شيء
Allow: /* السماح : / *

So these are all new entries for me. لذا فان هذه جميع بنود جديدة بالنسبة لي. Now daily blog tips (link in sidebar) has a quick, down and dirty post on a الآن يوميا بلوق نصائح (وصلة في الشريط الجانبي) وقد سريعة ، بانخفاض القذرة وعلى بعد robots.txt file for wordpress ملف robots.txt لووردبرس] . It’s pretty simple: الايطالي ¢ ألف ، ¬ "¢ ق بسيطة جدا وهي :

User-agent: * وكيل المستخدم : *
Disallow: /wp- نكر : / الفسفور الابيض -
Disallow: /feed/ نكر : / تغذية /
Disallow: /trackback/ نكر : / trackback /

I kinda like that, but it doesn’t seem to cover everything. أنا kinda مثل ذلك ، لكنه doesnà ¢ ألف ، ¬ "¢ ر يبدو لتغطية كل شيء. Fili’s Tech has an article on Filià ¢ ألف ، ¬ "¢ ق للتكنولوجيا على مقال wordpress seo for wordpress ووردبرس] سيو لووردبرس] too, and I like his ideas. جدا ، وأنا أحب أفكاره. So I ended up with something like this: حتى انتهى بي الأمر مع شيء مثل هذا :

# Disallow all directories and files within # إرفض جميع الأدلة والملفات داخل
Disallow: /cgi-bin/ نكر : / المجموعة الاستشارية لاندونيسيا بين بن ل/
Disallow: /wp-admin/ نكر : / الفسفور الابيض - الادارية لل/
Disallow: /wp-includes/ نكر : / الفسفور الابيض - يشمل /

# Disallow all files ending with these extensions # إرفض إنهاء جميع الملفات مع هذه التمديدات
Disallow: /*.php$ نكر : / *. php دولار
Disallow: /*.js$ نكر : / *. شبيبة دولار
Disallow: /*.inc$ نكر : / *. لجنة التفاوض الحكومية الدولية دولار
Disallow: /*.css$ نكر : / *. المغلق دولار

# Disallow parsing individual post feeds, categories and trackbacks.. # إرفض تحليل ما بعد يغذي الفردية ، وفئات تركبكس..
Disallow: /trackback/ نكر : / trackback /
Disallow: /feed/ نكر : / تغذية /
Disallow: /category/ نكر : / فئة /

For right or wrong, I have one section for: لخطأ ام على صواب ، لقد قسم واحد ل:

User-agent: Googlebot وكيل المستخدم : Googlebot

and another section for: وقسم آخر ل:

User-agent: ia_archiver وكيل المستخدم : ia_archiver
User-agent: Scooter وكيل المستخدم : سكوتر

User-agent: Atomz وكيل المستخدم : Atomz
User-agent: FAST-WebCrawler وكيل المستخدم : سريعا WebCrawler
User-agent: ArchitextSpider وكيل المستخدم : ArchitextSpider
User-agent: Googlebot وكيل المستخدم : Googlebot
User-agent: Slurp.so/1.0 وكيل المستخدم : Slurp.so/1.0
User-agent: Slurp/2.0j وكيل المستخدم : Slurp/2.0j
User-agent: Slurp/2.0-KiteHourly وكيل المستخدم : Slurp/2.0-KiteHourly
User-agent: Slurp/2.0-OwlWeekly وكيل المستخدم : Slurp/2.0-OwlWeekly
User-agent: Slurp/3.0-AU وكيل المستخدم : Slurp/3.0-AU

User-agent: UltraSeek وكيل المستخدم : UltraSeek
User-agent: MantraAgent وكيل المستخدم : MantraAgent
User-agent: Lycos_Spider_(T-Rex) وكيل المستخدم : Lycos_Spider_ (تي ريكس)
User-agent: MSNBOT/0.1 وكيل المستخدم : MSNBOT/0.1
User-agent: Gulliver وكيل المستخدم : جاليفر
User-agent: Scrubby/ وكيل المستخدم : وعر /
User-agent: ZyBorg وكيل المستخدم : ZyBorg

If you have any comments, improvements, or suggestions - please comment now! إذا كان لديك أي تعليقات ، والتحسينات ، أو اقتراحات -- يرجى التعليق الآن!

Related: ذات الصلة :

• Best Practices for Setting Up a New Wordpress blog in 60 Minutes or less أفضل الممارسات لتأسيس شركة جديدة بلوق وورد في 60 دقيقة أو أقل

June 8th, 2007 | Posted in يونيو 8th ، 2007 | تاريخ النشر في wordpress seo ووردبرس] سيو , ، wordpress ووردبرس] | | No Comments لا تعليقات