第8节：网站robots协议的用法

什么是第节的用robots协议？

robots协议，指的网站是一个robots.txt的文档，如下图。协议Robots.txt是第节的用存放在网站更目录的一个文件。而且是网站搜索引擎爬虫抓取网站的时候，第一个抓取的协议文件。

robots协议，第节的用又叫做搜索引擎协议，网站主要用于规范爬虫抓取网页。协议robots协议里面记录着规则，第节的用爬虫爬取后会按照规则爬取网站。网站

简单的协议理解，robots协议里面会告诉搜索引擎爬虫，第节的用那些链接是网站允许爬取的，那些链接是协议不允许抓取的。

robots协议作用

robots协议可以指定搜索引擎能收录那些链接，也能指定不能收录那些链接。后面我们讲写法。

robots协议语法

robots协议的语法分为三个。分别是User-agent、Disallow、Allow。下面我们来一起了解下。

User-agent: 指的是那些搜索引擎执行以下协议。如百度：User-agent: baiduspider。而*号可以代表全部，代码为：User-agent: *。

Disallow:指禁止抓取的意思。如语法：Disallow: /a ,就是禁止搜索引擎抓取带有 /a 这个关键词的链接。

Allow：指允许抓取的意思。通常默认就是允许抓取，故很少会用到该命令。

如何写法robots协议

给大家一个非常方便的工具，打击可以在该工具上直接生产。

Robots协议生成工具：http://tool.chinaz.com/robots/

Robots协议怎么用

1、当网站中纯在隐私页面不想被搜索引擎抓取的时候，可以使用robots。

2、当网站页面纯在多个链接的时候，可以用robots禁用一条，允许搜索引擎只收录一条。（通常使用静态url后，应该屏蔽动态url）

3、建议屏蔽搜索路径。