具体集中robots.txt Wordpress的

Iâ⠂ ¬â去„的¢m谈论设定robots.txt特别是您的自已被主持的wordpress博客的，帮助搜索引擎履带牵引装置到最佳的索引您的站点和帮助与与搜索引擎优化。 由于最近美满的复制在谷歌索引统治，您想要确信， youâ⠂ ¬â递交您的岗位或页的一个版本„ ¢re，并且它真正地需要尝试对索引页的履带牵引装置isnâ⠂ ¬â „ ¢t。 页喜欢trackbacks， admin，包括，并且您的rss哺养。

它从读不是大家同意关于类别页的许多博客和投稿似乎。 Iâ⠂ ¬â „ ¢ve听见一些说他们想要他们的类别呼叫标注-，并且帮助他们。 我认为它似乎依靠站点，并且您怎么标记事。 有时在我的一些站点我在标记做得过分，因此我最终获得一吨类别页。 并且，许多次我标记在许多不同的类别的事。 有岗位有itâ⠂ ¬â „ ¢s拥有页，是列出的在首页，并且5类别页wouldnâ⠂ ¬â „ ¢t似乎是好seo和一个明显的设定的一个非常好计划美满的复制的(在我的眼睛)。 那么只是为了有把握，我太过滤我的类别页在我的robots.txt。

首先，我读或在Wordpress (在侧杆的链接的Lorelle)那谷歌现在有sitemap包括，并且您能增加这条线到您

robots.txt文件：
用户代理： *
Sitemap ： http://www.jtpratt.com/sitemap.xml

并且您必须不再递交您的sitemap (履带牵引装置将知道如何处理它)。 因此这是我的一个新的词条。 我也读您能告诉谷歌图象履带牵引装置何处对(和没有)在您的站点进来，因此我增加了此：

# Googlebot图象是谷歌的图象马胃蝇蛆
用户代理： Googlebot图象
#准许一切
准许： /*

我也看见了能做同样adsense履带牵引装置的，与索引无关，但是，如果您使用adsense它是聪明的有此：

#这是谷歌的广告马胃蝇蛆
用户代理： Mediapartners-Google*
#准许一切
准许： /*

因此这些是全部我的新的词条。 现在每日博客技巧(在侧杆的链接)有一快，下来和在一个robots.txt文件的 肮脏的岗位wordpress的。 Itâ⠂ ¬â相当简单„的¢s ：

用户代理： *
禁止： /wp-
禁止： /feed/
禁止： /trackback/

我有点儿喜欢那，但是它doesnâ⠂ ¬â „ ¢t似乎盖一切。 Filiâ⠂ ¬â „ ¢s技术有在wordpress seo的一篇文章 wordpress的，并且我喜欢他的想法。 因此我最终了获得如此物：

#禁止所有目录和文件内
禁止： /cgi-bin/
禁止： /wp-admin/
禁止： /wp-includes/

#禁止结束以这些引伸的所有文件
禁止： /*.php$
禁止： /*.js$
禁止： /*.inc$
禁止： /*.css$

#禁止解析各自的岗位饲料、类别和trackbacks。
禁止： /trackback/
禁止： /feed/
禁止： /category/

对于正确或错误，我有一个部分为：

用户代理： Googlebot

并且另一个部分为：

用户代理： ia_archiver
用户代理： 滑行车

用户代理： Atomz
用户代理： 快速WebCrawler
用户代理： ArchitextSpider
用户代理： Googlebot
用户代理： Slurp.so/1.0
用户代理： Slurp/2.0j
用户代理： Slurp/2.0-KiteHourly
用户代理： Slurp/2.0-OwlWeekly
用户代理： Slurp/3.0澳大利亚

用户代理： UltraSeek
用户代理： MantraAgent
用户代理： Lycos_Spider_ (T-Rex)
用户代理： MSNBOT/0.1
用户代理： Gulliver
用户代理： 矮小
用户代理： ZyBorg

如果您有任何意见，改善或者建议-现在请评论!

相关：

• 设定一新的Wordpress博客的最优方法在60分钟或较少外

2007年6月8日 | 张贴在 wordpress seo， wordpress | 没有评论