robots文件结尾带/杠不带/杠问题

2022-3-25 11:26| 发布者: sheep| 查看: 196| 评论: 0|原作者: sheep

摘要: 关于robots结尾带杠不带杠的问题首先，两种写法效果是基本一致的，唯一不同的地方是不带杠的话会识别所有包含的目录与文件，如/adm ，就会吧/adm*.html及/adm*/* 的链接全部识别，星号代表任意字符。 /abc /abc/ ...

关于robots结尾带杠不带杠的问题
首先，两种写法效果是基本一致的，唯一不同的地方是不带杠的话会识别所有包含的目录与文件，如/adm ，就会吧/adm*.html及/adm*/* 的链接全部识别，星号代表任意字符。

/abc /abc/，最简单的方式就是直接在后面加个星号来理解，星号代表任意字符，数字123字母abc符号-*/等，
/abc* 以abc开始且包含abc的任意链接，如/abc*、如/abc*.html、如/abc/*.html等
/abc/* 以abc/开始且包含abc/的任意链接，如/abc/*、如/abc/*.html、如/abc/a/*.html等

下面举例说明：
1、结尾带杠：
Disallow: /a/
代表禁止抓取：
http://www.a.com/a/
http://www.a.com/a/a
http://www.a.com/a/a/
http://www.a.com/a/a.html
http://www.a.com/a/a/a.html
……
http://www.a.com/a 这个链接可以抓取，所以网站要设置好所有连接默认都是结尾带/杠的
2、结尾不带杠：
Disallow: /a
代表禁止抓取：

禁止抓取包含带杠的所有链接
及
a开头的所有文件及目录，如：
http://www.a.com/abc/
http://www.a.com/a/b/
http://www.a.com/abc.html
http://www.a.com/abc/a.html
……
还不懂的话你来找我吧，面对面给你解释
补充：
网上经常见到的一种说法，也是困扰了我很久的错误说法：
“带/是整个目录，不带/是这个目录里的指定文件”这句话的理解是非常不严谨的，不要往目录的方向上想，robots结尾带/不带/就是一个单纯的包不包含字符的识别问题。

路过

雷人

握手

鲜花

鸡蛋

收藏分享邀请

上一篇：文章发布标准及流程下一篇：网站HTML标签SEO优化标准

京公网安备11011502037529号

GMT+8, 2024-4-20 15:08 , Processed in 1.222829 second(s), 13 queries , MemCache On.

		自动登录	找回密码
密码			立即注册