设为首页收藏本站文章导读 今天是: 2022-05-24    美好的一天,从现在开始
天气与日历 切换到宽版

sheep论坛

 找回密码
 立即注册
搜索
热搜: 活动 交友
查看: 428|回复: 0

[seo知识] robots文件结尾带/杠不带/杠问题

[复制链接]
发表于 2022-2-24 15:46:15 | 显示全部楼层 |阅读模式
关于robots结尾带杠不带杠的问题
首先,两种写法效果是基本一致的,唯一不同的地方是不带杠的话会识别所有包含的目录与文件,如/adm ,就会吧/adm*.html及/adm*/* 的链接全部识别,星号代表任意字符。


/abc    /abc/,最简单的方式就是直接在后面加个星号来理解,星号代表 任意 字符,数字123字母abc符号-*/等,
/abc*   以abc开始且包含abc的任意链接,如/abc*、如/abc*.html、如/abc/*.html
/abc/* 以abc/开始且包含abc/的任意链接,如/abc/*、如/abc/*.html、如/abc/a/*.html


下面举例说明:
1、结尾带杠:
Disallow: /a/
代表禁止抓取:
http://www.a.com/a/
http://www.a.com/a/a
http://www.a.com/a/a/
http://www.a.com/a/a.html
http://www.a.com/a/a/a.html
……
http://www.a.com/a 这个链接可以抓取,所以网站要设置好所有连接默认都是结尾带/杠的
2、结尾不带杠:
Disallow: /a
代表禁止抓取:

禁止抓取包含带杠的所有链接

a开头的所有文件及目录,如:
http://www.a.com/abc/
http://www.a.com/a/b/
http://www.a.com/abc.html
http://www.a.com/abc/a.html
……
还不懂的话你来找我吧,面对面给你解释
补充:
网上经常见到的一种说法,也是困扰了我很久的错误说法:
带/是整个目录,不带/是这个目录里的指定文件”这句话的理解是非常不严谨的,不要往目录的方向上想,robots结尾带/不带/就是一个单纯的包不包含字符的识别问题。
喜欢音乐,眼中有光 | 综合论坛
您需要登录后才可以回帖 登录 | 立即注册

本版积分规则



QQ|Archiver|小黑屋|sheep论坛 ( 京ICP备19037745号-1 )|网站地图

公安备案京公网安备 11011502005086号

GMT+8, 2022-5-24 04:50 , Processed in 0.177058 second(s), 29 queries .

Powered by sheep论坛!

Copyright © 2021-2022, sheep Cloud.

快速回复 返回顶部 返回列表