robots.txt 协议安全配置

          robots.txt是搜索引擎中访问网站的时候要查看的第一个文件。

           robots.txt文件告诉蜘蛛程序在服务器上什么文件是可以被查看的,比如后台的程序/admin就不要蜘蛛去抓取了,虽然对搜索引擎和对网站隐私有好处,但也带来不好的地方,详细的配置robots.txt文件会导致泄露网站的路径,所以安全的配置robots.txt文件是必要的。

配置如下:

# robots.txt 
User-agent: *
Disallow: /a*/
Disallow: /i*/
Disallow: /u*/
 
把Disallow: /admin/ 改成Disallow: /a*/ 用* 去代替后面的路径,从而保护了网站的结构,避免泄露。
CTRL+D快速收藏,欢迎常来喔

未经允许不得转载:作者: 微6G, 转载或复制请以 超链接形式 并注明出处 微6G资源网
原文地址: 《robots.txt 协议安全配置》 发布于2020年9月8日
本站唯一域名地址:《www.v6g.cn》 除此外均为非法镜像!

本文链接:robots.txt 协议安全配置 - https://www.v6g.cn/262.html

本文标签:

相关推荐
发表评论
您需要登录后才可以回复 登录 | QQ登录
0 评论
还没有评论,快来抢沙发吧!