强化文明参观保护动物的理念，加强宣传监督管理。
比基尼模特与鲨鱼一起游泳，甚至抱着一起拍照。
声明：本文由入驻搜狐公众平台的作者撰写，除搜狐官方账号外，观点仅代表作者本人，不代表搜狐立场。
　　编者注：不知道有没有其他站长跟我一样，技术部把网站后台搭建好了，然后网站还是很多东西需要修改的，特别是TDK改了一遍又一遍，但是这时候我没有去百度站长申请闭站保护，却是在网站根目录上传了robots文件，里面写着：
　　User-agent: *
　　Disallow:/
　　这表示我的网站禁止所有，那么这种情况有什么危害呢，蜘蛛来了一次两次以后都满头灰，那么以后光顾的也就越来越少了。原本我是打算禁止2~3天，前端跟美工配合我完成网站的修改，第三天编辑录入文章就可以的。但是因为美工那里拖了进度，我就没管先，还是这样写。
　　等网站正式改好之后那是两个星期后的事情了，当天那会我就把robots改了，然后重新提交给百度。而且还加上网站地图
　　robots写法
　　而因为网站架构不错的原因吧，在上线第二天品牌词就排在了首页，但是很明显的一个是，百度搜索网站品牌词的时候，显示出来的只有网站标题，其他那些呢，相信大家也猜到了：该网站的robots.txt文件存在限制指令，系统无法提供该页面的内容描述。
　　百度显示限制指令
　　那么预料到有这种情况怎么办呢，其实我用robots禁止蜘蛛抓取两个星期的话不如直接申请闭站保护来的好，但是那会刚好忙其他事情去了，就没有顾上。那么对于一个草根站长来说遇见这种情况肯定很慌，其实能做的也没多少，那么我是怎么做的呢。上面也说了，先是做了网站地图，然后写在robots上，然后提交到百度站长平台的sitemap地图提交，然后把/robots.txt 主动提交到百度去。跟着就是更新文章，发布外链。新站来说，靠自然更新，保证原创，高质量外链来说，就算天天更新也需要一定时间，但是第二天我就不管了，看下有什么能刺激下百度，然后我去百度找到个方法，这里分享出来给大家看下：
　　百度提示处理方式
　　我是弄的，要做一件事情长时间没有反馈的时候，我选择的是第四部，去百度反馈中心，反馈是因为误操作导致了这种情况发生，写明我的情况，蜘蛛抓取频率的下降，然后说明百度没有抓取我网站内容，但是我是对百度开放的，配上三张截图，都是来源于百度的，这个很重要，证据来源于百度的话可信度会大大的增加。提交反馈之后，原因我还打算加上一个数据主动推送(实时)的，但是百度反馈提醒我两分钟就会有结果，我就耐心等个几分钟吧，结果搜一下品牌词，百度首页第二，然后看下是否有显示描述。直接上图吧：
　　正常显示结果
　　虽然百度没有按照他说了两分钟就给我搞定，但是也不长，十分钟的事情吧，还真的搞定了。而且因为网站架构，内容都不错的情况下，更新了快照，然后上线两天的网站既然有了，两个词排在百度第三、四页，大大出乎我的意料。
　　文章转自：
欢迎举报抄袭、转载、暴力色情及含有欺诈和虚假信息的不良文章。
请先登录再操作
请先登录再操作
微信扫一扫分享至朋友圈
搜狐公众平台官方账号
生活时尚&搭配博主 /生活时尚自媒体 /时尚类书籍作者
搜狐网教育频道官方账号
全球最大华文占星网站-专业研究星座命理及测算服务机构
为您提供专业的商业模式、产品、数据、用户、电子商务、社会化...
主演：黄晓明/陈乔恩/乔任梁/谢君豪/吕佳容/戚迹
主演：陈晓/陈妍希/张馨予/杨明娜/毛晓彤/孙耀琦
主演：陈键锋/李依晓/张迪/郑亦桐/张明明/何彦霓
主演：尚格?云顿/乔?弗拉尼甘/Bianca Bree
主演：艾斯?库珀/ 查宁?塔图姆/ 乔纳?希尔
baby14岁写真曝光
李冰冰向成龙撒娇争宠
李湘遭闺蜜曝光旧爱
美女模特教老板走秀
曝搬砖男神奇葩择偶观
柳岩被迫成赚钱工具
大屁小P虐心恋
匆匆那年大结局
乔杉遭粉丝骚扰
男闺蜜的尴尬初夜
客服热线：86-10-
客服邮箱：robots.txt文件你真的知道怎么用吗？
作者：佚名
字体：[ ] 来源：互联网 时间：04-02 12:55:47
搜索引擎通过一种程序robot（又称spider），自动访问互联网上的网页并获取网页信息。
搜索引擎通过一种程序robot（又称spider），自动访问互联网上的网页并获取网页信息。
您可以在您的网站中创建一个纯文本文件robots.txt，在
搜索引擎通过一种程序robot（又称spider），自动访问互联网上的网页并获取网页信息。
搜索引擎通过一种程序robot（又称spider），自动访问互联网上的网页并获取网页信息。
您可以在您的网站中创建一个纯文本文件robots.txt，在这个文件中声明该网站中不想被robot访问的部分，这样，该网站的部分或全部内容就可以不被搜索引擎收录了，或者指定搜索引擎只收录指定的内容。robots.txt文件应该放在网站根目录下。
当一个搜索机器人（有的叫搜索蜘蛛）访问一个站点时，它会首先检查该站点根目录下是否存在robots.txt，如果存在，搜索机器人就会按照该文件中的内容来确定访问的范围；如果该文件不存在，那么搜索机器人就沿着链接抓取。
robots.txt文件的格式：
&robots.txt&文件包含一条或更多的记录，这些记录通过空行分开（以CR，CR/NL， or NL作为结束符），每一条记录的格式如下所示：
&&field&:&optionalspace&&value&&optionalspace&&。
在该文件中可以使用#进行注解，具体使用方法和UNIX中的惯例一样。该文件中的记录通常以一行或多行User-agent开始，后面加上若干Disallow行，详细情况如下：
User-agent：
该项的值用于描述搜索引擎robot的名字，在 &robots.txt&文件中，如果有多条User-agent记录说明有多个robot会受到该协议的限制，对该文件来说，至少要有一条User- agent记录。如果该项的值设为*，则该协议对任何机器人均有效，在&robots.txt&文件中，&User-agent：*&这样的记录只能有一条。
Disallow：
该项的值用于描述不希望被访问到的一个URL，这个URL可以是一条完整的路径，也可以是部分的，任何以Disallow开头的URL均不会被robot 访问到。例如&Disallow:/help&对/help.html 和/help/index.html都不允许搜索引擎访问，而&Disallow:/help/&则允许robot访问/help.html，而不能访问 /help/index.html。任何一条Disallow记录为空，说明该网站的所有部分都允许被访问，在&/robots.txt&文件中，至少要有一条Disallow记录。如果&/robots.txt&是一个空文件，则对于所有的搜索引擎robot，该网站都是开放的。
robots.txt文件用法举例：
例1. 禁止所有搜索引擎访问网站的任何部分 下载该robots.txt文件 User-agent： * Disallow： /
例2. 允许所有的robot访问 （或者也可以建一个空文件 &/robots.txt& file） User-agent： *Disallow：
例3. 禁止某个搜索引擎的访问 User-agent： BadBotDisallow： /
例4. 允许某个搜索引擎的访问 User-agent： baiduspiderDisallow： User-agent： *Disallow： /
例 5.一个简单例子　　在这个例子中，该网站有三个目录对搜索引擎的访问做了限制，即搜索引擎不会访问这三个目录。　　需要注意的是对每一个目录必须分开声明，而不要写成 &Disallow： /cgi-bin/ /tmp/&。　　User-agent：后的*具有特殊的含义，代表&any robot&，所以在该文件中不能有&Disallow： /tmp/*& or &Disallow：*.gif&这样的记录出现。 User-agent： *Disallow： /cgi-bin/Disallow： /tmp/Disallow： /~joe/
Robot特殊参数：
允许 Googlebot：
如果您要拦截除 Googlebot 以外的所有漫游器访问您的网页，可以使用下列语法：
User-agent:Disallow:/
User-agent:Googlebot
Disallow：
Googlebot 跟随指向它自己的行，而不是指向所有漫游器的行。
&Allow&扩展名：
Googlebot 可识别称为&Allow&的 robots.txt 标准扩展名。其他搜索引擎的漫游器可能无法识别此扩展名，因此请使用您感兴趣的其他搜索引擎进行查找。&Allow&行的作用原理完全与 &Disallow&行一样。只需列出您要允许的目录或页面即可。
您也可以同时使用&Disallow&和&Allow&。例如，要拦截子目录中某个页面之外的其他所有页面，可以使用下列条目：
User-Agent:Googlebot
Disallow:/folder1/
Allow:/folder1/myfile.html
这些条目将拦截 folder1 目录内除 myfile.html 之外的所有页面。
如果您要拦截 Googlebot 并允许 Google 的另一个漫游器（如 Googlebot-Mobile），可使用&Allow&规则允许该漫游器的访问。例如：
User-agent:Googlebot
Disallow:/
User-agent:Googlebot-Mobile
使用 * 号匹配字符序列：
您可使用星号 （*） 来匹配字符序列。例如，要拦截对所有以 private 开头的子目录的访问，可使用下列条目：
User-Agent:Googlebot
Disallow:/private*/
要拦截对所有包含问号 （？） 的网址的访问，可使用下列条目：
User-agent：*
Disallow:/*？*
使用 $ 匹配网址的结束字符
您可使用 $ 字符指定与网址的结束字符进行匹配。例如，要拦截以 .asp 结尾的网址，可使用下列条目：
User-Agent:Googlebot
Disallow:/*.asp$
您可将此模式匹配与 Allow 指令配合使用。例如，如果 ？ 表示一个会话 ID，您可排除所有包含该 ID 的网址，确保 Googlebot 不会抓取重复的网页。但是，以 ？ 结尾的网址可能是您要包含的网页版本。在此情况下，可对 robots.txt 文件进行如下设置：
User-agent：*
Allow:/*？$
Disallow:/*？
Disallow:/ *？一行将拦截包含 ？ 的网址（具体而言，它将拦截所有以您的域名开头、后接任意字符串，然后是问号 （？），而后又是任意字符串的网址）。
Allow： /*？$ 一行将允许包含任何以 ？ 结尾的网址（具体而言，它将允许包含所有以您的域名开头、后接任意字符串，然后是问号 （？），问号之后没有任何字符的网址）。
Sitemap 网站地图：
对网站地图的新的支持方式，就是在robots.txt文件里直接包括sitemap文件的链接。
就像这样：
Sitemap： /sitemap.xml
目前对此表示支持的搜索引擎公司有Google， Yahoo， Ask and MSN。
不过，我建议还是在Google Sitemap 进行提交，里面有很多功能可以分析你的链接状态。
更多精彩点击下一页
大家感兴趣的内容
12345678910
最近更新的内容}