robots的作用有以下几方面：
1：有些页面不需要被搜录，不需要用户看见。比如某些内容是VIP内容，比如我们为了方便编辑，在后台设置产品页的模板，这些内容我们可以在后台禁止显示，可是蜘蛛还是会抓取，那么就搜录了垃圾页，影响整体权重。
2：精简内容，提高蜘蛛的爬行效率。小的企业站本来流量不高，排名不好，蜘蛛来的少，要是过多的去爬去一些没有意义的内容，可能分散了一些优质内容的爬去机率。禁止一些页面可以培养蜘蛛的爬行习惯
3：节约网站资源，减少不必要的流量。
乌鲁木齐金泉信息科技有限公司业务涵盖了标准化SEO网站营销系统、SEM展厅覆盖营销系统、SEO手机网站营销系统、微分推系统、微赢通系统、优展管家系统、邮件营销系统、智能抓取系统、小秘书、在线客服等中小企业综合信息化服务的全服务链。
