robots协议是什么?它有什么用?-【聚搜网络公司】
聚搜网络,济南专注

济南网站建设 济南网站制作 济南做网站

服务公司,公司使命助力中小企业网络营销!
济南网站建设联系电话:132-5677-2360
当前位置:济南网站建设 > 网站建设知识 > robots协议是什么?它有什么用?

robots协议是什么?它有什么用?

加入时间:2018-11-09 17:20 文章来源:济南网站建设

  Robots是站点与spider沟通的重要渠道,站点通过robots文件声明该网站中不想被搜索引擎收录的部分或者指定搜索引擎只收录特定的部分。

Robots协议

  Robots是站点与spider沟通的关口,蜘蛛在访问网站之前,首先要找到robots.txt协议,通过阅读robots决定抓取哪些内容,不抓取哪些内容。当然,这个协议需要搜索引擎各方遵守才行,否则写得再好的robots.txt也是白瞎。

  Robots协议是蜘蛛访问网站的开关,决定蜘蛛可以抓取哪些内容,不可以抓取哪些内容。从网站管理者的角度,我们通过robots的书写,可以决定让蜘蛛抓取哪些文件,而不抓取哪些文件,从而更有利于网站的优化。

  对于站长而言,出于对SEO的要求,通过需要通过书写robots协议来限制蜘蛛抓取某些不参与排名或不利于排名的文件。在某些情况下,如果不限制蜘蛛抓取特定的文件,有可能导致网站保密信息的泄漏。曾经有一个高校网站因为没有设置好robots协议,导致学生信息被蜘蛛抓取而公布到网上。如果是商业性网站,会员信息被公开被网站后果是非常严重的。因为我们站长在管理网站的过程中,要注意robots协议的书写。

  济南网站优化公司提示请注意,仅当您的网站包含不希望被搜索引擎收录的内容时,才需要使用robots.txt文件。



Copyright © 2002-2018 山东聚搜信息技术159彩票 @所有
联系我们:132-5677-2360 手机:17362180678(同微信)
咨询QQ:2251528561 客服QQ:2513886254
济南网站制作、济南网站建设、济南做网站
地址:济南市高新区舜泰广场11号北楼903室 备案号:
XML  网站地图

联系电话
大象彩票APP 江苏快3官网 江苏快3官网 江苏快3官网 河北快3 彩都会彩票网 17彩票充值中心 106彩票充值中心 盈多多彩票充值中心 166彩票充值中心