在网站根目录下还可以创建 robots.txt 文件，来引导搜索引擎收录网站。 google 蜘蛛 googlebot baidu 蜘蛛 baiduspider msn 蜘蛛 msnbot robots.txt 写作语法 允许所有的 robot 访问 user-agent: * disallow: 或者 user-agent: * allow: 或者也可以建一个空
在网站根目录下还可以创建robots.txt文件，来引导搜索引擎收录网站。
google蜘蛛 googlebot
baidu蜘蛛 baiduspider
msn蜘蛛 msnbot
robots.txt写作语法
允许所有的robot访问
user-agent: *
disallow:
或者
user-agent: *
allow:
或者也可以建一个空文件 /robots.txt file
禁止所有搜索引擎访问网站的任何部分
user-agent: *
disallow: /
禁止所有搜索引擎访问网站的几个部分（下例中的01、02、03目录）
user-agent: *
disallow: /01/
disallow: /02/
disallow: /03/
禁止某个搜索引擎的访问（下例中的badbot）
user-agent: badbot
disallow: /
只允许某个搜索引擎的访问（下例中的crawler）
user-agent: crawler
disallow:
user-agent: *
disallow: /