robots文件结尾带/杠不带/杠问题

sheep

关于robots结尾带杠不带杠的问题
首先，两种写法效果是基本一致的，唯一不同的地方是不带杠的话会识别所有包含的目录与文件，如/adm ，就会吧/adm*.html及/adm*/* 的链接全部识别，星号代表任意字符。


/abc    /abc/，最简单的方式就是直接在后面加个星号来理解，星号代表 任意 字符，数字123字母abc符号-*/等，
/abc*   以abc开始且包含abc的任意链接，如/abc*、如/abc*.html、如/abc/*.html等
/abc/* 以abc/开始且包含abc/的任意链接，如/abc/*、如/abc/*.html、如/abc/a/*.html等


下面举例说明：
1、结尾带杠：
Disallow: /a/
代表禁止抓取：
http://www.a.com/a/
http://www.a.com/a/a
http://www.a.com/a/a/
http://www.a.com/a/a.html
http://www.a.com/a/a/a.html
……
http://www.a.com/a 这个链接可以抓取，所以网站要设置好所有连接默认都是结尾带/杠的
2、结尾不带杠：
Disallow: /a
代表禁止抓取：

禁止抓取包含带杠的所有链接
及
a开头的所有文件及目录，如：
http://www.a.com/abc/
http://www.a.com/a/b/
http://www.a.com/abc.html
http://www.a.com/abc/a.html
……
还不懂的话你来找我吧，面对面给你解释
补充：
网上经常见到的一种说法，也是困扰了我很久的错误说法：
“带/是整个目录，不带/是这个目录里的指定文件”这句话的理解是非常不严谨的，不要往目录的方向上想，robots结尾带/不带/就是一个单纯的包不包含字符的识别问题。