当站长一年以上的几乎很少有不知道robots.txt这个功能的，但是，有利也有弊。
大家知道txt类型文件可以通过HTTP协议直接访问，这也给“黑客”创造了条件，记得05-06年的时候，那时候数据库安全设置都不高，管理员账号密码都用默认的，用明小子的那个...名字我也忘了，一年多没用那东西，一扫，十分钟100多个默认管理员账号密码的网站呈现在眼前了，这个时候做什么呢？MD5解密，密码一览无余，剩下的就是登陆后台了，拿到管理员帐号登陆，用上传组件上传给ASP马，网站拿下了。。。。
呦·~跑题了，转回话题，继续说robots.txt
这个文件可以让搜索引擎不收录这个页面，很多站长为了安全就把后台地址加了进去，这样反而暴露了网站的后台，你想想没有后台登陆页面他们即使拿到了管理员账号密码又能怎么样呢？
小型网站安全维护简单总结（个人经验）：
相对于ACCESS数据库:修改数据库默认路径，建议放到HTTP无法访问的路径（虚拟主机都有专用的数据库文件夹），后台用物理路径，不用相对路径。
把.MDB扩展名改为服务器组件（IIS,APACHE）可以解析的扩展名，比如ASP,ASPX等等，即使他们知道了数据库路径也拿不到数据库，因为下载不了，打开就是一堆乱码。
把网站系统存在的漏洞组件更名或者删除，比如新云系统的FLASH模块有一处漏洞，不过在发现这个漏洞之前我就已经删除了，因为那个模块用不到。
网站后台帐号密码尽量不要用与网站相关信息有关的内容（防社会工程学破解）。
经常检测网站IIS访问权限，比如虚拟主机是否有跨站漏洞，如果有及时通知IDC运营商解决。
相对于MYSQL数据库：修改帐号密码，设置MYSQL帐户权限，检测SA权限是否存在安全隐患，更名或者删除网站存在漏洞的组件（比如上传组件）。
微博帐号登录