八零在线优社区

 找回密码
 帐号注册

QQ登录

只需一步,快速开始

搜索
热搜: PhotoShop
查看: 235|回复: 2

让网站robots.txt不泄露后台安全设置技巧

  [复制链接]
发表于 2017-3-15 19:25:29 | 显示全部楼层 |阅读模式
搞过网站的朋友都知道robots.txt文件是用来限制搜索引擎不乱抓取,只抓取我们希望被收录的内容的。比如我们网站的后台就不希望被搜索抓取,那么robots文件需要这样写:
  User-agent: *
  Disallow: /admin/
  但是这样我们很容易发现了一个问题,如果有人要破解攻击的话,很容易就知道了后台,一下子就清楚了网站的结构。
  我们并不想这样!
  有没有办法让robots.txt既能限制搜索引擎,又不泄露后台地址和隐私目录呢?有!
  一、使用通配符(*):
  User-agent: *
  Disallow: /a*/
  这样的写法,禁止所有的搜索引擎抓取根目录下a开头的目录。当您的后台是admok165的话,还有谁会看到呢?二、只写目录前几个字母,不写全:
  User-agent: *
  Disallow: /ad
  这种的写法,是禁止所有的搜索引擎抓取根目录下ad开头的目录。
  最后说明一下,以上这两种方法,需要网站目录没有相同字母开头的,例如ad目录,如果有两个一样的,那需在robots.txt文件里再加上一个字母区别开来。

回复

使用道具 举报

您需要登录后才可以回帖 登录 | 帐号注册

本版积分规则

QQ|小黑屋|手机版|八零在线优社区 ( 赣ICP备15001736号-2 )

GMT+8, 2018-6-23 23:40

Powered by Discuz! X3.4

© 2001-2017 Comsenz Inc.

快速回复 返回顶部 返回列表