新疆网站优化中robots协议的重要性。现在几乎所有的搜索引擎蜘蛛程序都能够识别robots协议，尽管最近的3B大战中百度跟360双方都出现过不遵守robots协议的情况，但这毕竟只是特例，一般情况下robots协议还是必须要遵守的。今天就说一下robots协议在网站优化过程中的重要性。首先我们要对自己优化的网站做一个robots协议，一方面是禁止蜘蛛抓取网站的个人隐私，或者网站敏感目录等，其实大家在没有经历网站被黑之前一般人不会感觉到robots协议的重要，其实很多时候黑客攻击一个网站都是从搜索引擎入手的，比如你的网站管理路径是/admin/而且你没有在robots协议中注明禁止蜘蛛抓取的话，那么蜘蛛很有可能就会通过爬行抓取到你的网站管理后台地址，这样搜索引擎就会收录你网站管理地址中对应的链接。如果你的网站存在漏洞，那么黑客就会借助搜索引擎搜索你的后台路径中可能存在漏洞的页面，这也很容易暴露你网站后台管理权限。其次，我们做网站优化时写一个robots协议文件，在协议中注明网站地图索引文件的绝对路径可以直接通知蜘蛛按照我们编排的索引去抓取网站内容，可能实现更好的网站内容收录。最后，我们