请选择 进入手机版 | 继续访问电脑版
综合论坛设为首页收藏本站文章手机版>>> 今天是: 2022-09-27    "世界旅游日"  
天气与日历 切换到宽版

sheep综合论坛

 找回密码
 立即注册
搜索
查看: 633|回复: 0

[seo知识] robots文件结尾带/杠不带/杠问题

[复制链接]
  • 打卡等级:LV4

275

主题

298

帖子

687

积分

管理员

Rank: 9Rank: 9Rank: 9

积分
687

突出贡献荣誉管理论坛元老本科学士学位拥有劳力士宇宙计型迪通拿系列m116515ln-0059拥有欧米茄星座系列131.23.41.21.03.001拥有梅赛德斯-奔驰EQS 580 4MATIC拥有宝马M8四门轿跑车 雷霆版

QQ

皮卡丘 Lv:20
发表于 2022-2-24 15:46:15 | 显示全部楼层 |阅读模式 来自 北京市
关于robots结尾带杠不带杠的问题
首先,两种写法效果是基本一致的,唯一不同的地方是不带杠的话会识别所有包含的目录与文件,如/adm ,就会吧/adm*.html及/adm*/* 的链接全部识别,星号代表任意字符。


/abc    /abc/,最简单的方式就是直接在后面加个星号来理解,星号代表 任意 字符,数字123字母abc符号-*/等,
/abc*   以abc开始且包含abc的任意链接,如/abc*、如/abc*.html、如/abc/*.html
/abc/* 以abc/开始且包含abc/的任意链接,如/abc/*、如/abc/*.html、如/abc/a/*.html


下面举例说明:
1、结尾带杠:
Disallow: /a/
代表禁止抓取:
http://www.a.com/a/
http://www.a.com/a/a
http://www.a.com/a/a/
http://www.a.com/a/a.html
http://www.a.com/a/a/a.html
……
http://www.a.com/a 这个链接可以抓取,所以网站要设置好所有连接默认都是结尾带/杠的
2、结尾不带杠:
Disallow: /a
代表禁止抓取:

禁止抓取包含带杠的所有链接

a开头的所有文件及目录,如:
http://www.a.com/abc/
http://www.a.com/a/b/
http://www.a.com/abc.html
http://www.a.com/abc/a.html
……
还不懂的话你来找我吧,面对面给你解释
补充:
网上经常见到的一种说法,也是困扰了我很久的错误说法:
带/是整个目录,不带/是这个目录里的指定文件”这句话的理解是非常不严谨的,不要往目录的方向上想,robots结尾带/不带/就是一个单纯的包不包含字符的识别问题。
每一个人要有做一代豪杰的雄心壮志 | 综合论坛
回复 论坛版权

使用道具 举报

懒得打字嘛,点击右侧快捷回复 【乱回复纯数字纯字母将禁言】
您需要登录后才可以回帖 登录 | 立即注册

本版积分规则

QQ|Archiver|手机版|小黑屋|社区规范|sheep综合论坛 ( 京ICP备19037745号-1 )|网站地图

公安备案京公网安备 11011502005086号

GMT+8, 2022-9-27 06:22 , Processed in 0.473437 second(s), 40 queries .

Powered by Discuz! X3.4

Copyright © 2001-2021, Tencent Cloud.

快速回复 返回顶部 返回列表