robots是指百度等搜索引擎蜘蛛在访问┅个网站时它首先要去检查这个网站的根目录下是否有robots.txt文件，搜索引擎蜘蛛会根据robots所指定的抓取范围来抓取你的网站 robots允许抓取的写法： User-agent: * Disallow: allow: robots禁止抓取的写法： User-

　　robots是指百度等搜索引擎蜘蛛在访问一个网站时，它首先要去检查这个网站的根目录下是否有robots.txt文件搜索引擎蜘蛛会根据robots所指定的抓取范围来抓取你的网站。

　　robots允许抓取的写法：

　　robots禁止抓取的写法：

　　"$" 匹配行结束符

　　"*" 匹配0或多个任意字符。

　　robots.txt文件应该放置在网站根目录下应为百度蜘蛛会检查该网站中是否存在这个文件。