当前位置:刘锭博客 > seo杂谈 > 正文
201109/03

在网站建设时robots.txt特殊参数如何设置!

刘锭-苏州seo seo杂谈 Tag:/ 网站建设/ robots.txt/ Googlebot/ Comments 围观:

在网站建设差不多时,SEO时,首先应该为网站设置好robots.txt(注意这个文件的文件名应该全是小写),不然新网站建设时,肯定有很多地方得调整,这时蜘蛛来爬行就不好了,应该屏蔽掉,以免建好之前就收录!尤其是在标题需要改动之前!今天苏州seo谈谈robots.txt如何对谷歌机器人Googlebot的特殊参数设置的!

一、”Allow”扩展名:

Googlebot 可识别称为”Allow”的robots.txt 标准扩展名。其他搜索引擎的漫游器可能无法识别此扩展名,因此请使用您感兴趣的其他搜索引擎进行查找。”Allow”行的作用原理

完全与”Disallow”行一样。只需列出您要允许的目录或页面即可。您也可以同时使用”Disallow”和”Allow”。例如,要拦截子目录中某个页面之外的其他所有页面,可以使用下列条目:

User-Agent:Googlebot

Disallow:/folder1/

Allow:/folder1/myfile.html

这些条目将拦截folder1 目录内除myfile.html 之外的所有页面。如果您要拦截Googlebot 并允许Google 的另一个漫游器(如Googlebot-Mobile),可使用”Allow”规则允许该漫游器的访问。例如:

User-agent:Googlebot

Disallow:/

User-agent:Googlebot-Mobile

Allow:

二、使用$ 匹配网址的结束字符

您可使用$ 字符指定与网址的结束字符进行匹配。例如,要拦截以.asp 结尾的网址,

可使用下列条目:

User-Agent:Googlebot

Disallow:/*.asp$

您可将此模式匹配与Allow 指令配合使用。例如,如果? 表示一个会话ID,您可排除所有包含该ID 的网址,确保Googlebot 不会抓取重复的网页。但是,以? 结尾的网址可

能是您要包含的网页版本。在此情况下,可对robots.txt 文件进行如下设置:

User-agent:*

Allow:/*?$

Disallow:/*?

Disallow:/ *?一行将拦截包含? 的网址(具体而言,它将拦截所有以您的域名开头、后接任意字符串,然后是问号(?),而后又是任意字符串的网址) 。

Allow: /*?$ 一行将允许包含任何以? 结尾的网址(具体而言,它将允许包含所有以您的域名开头、后接任意字符串,然后是问号(?),问号之后没有任何字符的网址) 。

三、允许Googlebot:

如果您要拦截除Googlebot 以外的所有漫游器访问您的网页,可以使用下列语法:

User-agent:Disallow:/

User-agent:Googlebot

Disallow:

Googlebot 跟随指向它自己的行,而不是指向所有漫游器的行。

四、使用* 号匹配字符序列:

您可使用星号(*) 来匹配字符序列。例如,要拦截对所有以private 开头的子目录的访问,可使用下列条目:

User-Agent:Googlebot

Disallow:/private*/

要拦截对所有包含问号(?) 的网址的访问,可使用下列条目:

User-agent:*

Disallow:/*?*

本文地址:
版权所有 @ 转载时必须以链接形式注明作者和原始出处!