meta元标签ROBOTS属性禁止蜘蛛抓取_follow_index用法

sheep

index：表示Robot可以索引本页
follow：表示Robot可以跟踪本页链接
noindex：表示拒绝Robot索引本页，但可跟踪该页上的链接;
nofollow：表示拒绝Robot跟踪本页链接，但可索引本页

可以抓取本页，而且可以顺着本页继续索引别的链接：

1. <META NAME="ROBOTS" CONTENT="INDEX,FOLLOW">

复制代码

不许抓取本页，但是可以顺着本页抓取索引别的链接：

1. <META NAME="ROBOTS" CONTENT="NOINDEX,FOLLOW">

复制代码

可以抓取本页，但是不许顺着本页抓取索引别的链接：

1. <META NAME="ROBOTS" CONTENT="INDEX,NOFOLLOW">

复制代码

不许抓取本页，也不许顺着本页抓取索引别的链接：

1. <META NAME="ROBOTS" CONTENT="NOINDEX,NOFOLLOW">

复制代码

禁止搜索引擎建立快照。
<meta name="robots" content="noarchive">禁止所有引擎
<meta name="Googlebot" content="noarchive">禁止谷歌引擎

以上是元标签中用法，还有一个a标签中也是我们常见的用法（禁止传递权重）：
<a rel="nofollow" href="http://www.shaomingyang.com/">sheep吉他网</a>