淘宝封百度爬虫是什么意思

Question

如题所述

Answer 1

百度是搜索引擎,爬虫就是沿着网站的链接不断搜索,并下载到本地的机器人程序.
搜索引擎在一定程度上会给网站造成负担.
所以现在有很多网站都有反爬虫设置,把自己想要被搜索出的东西直接提供给爬虫,而不让爬虫去抢占带宽.淘宝网已经开始屏蔽百度的蜘蛛爬虫，淘宝网在网站根目录下的robots.txt文件中设置相关命令，禁止百度蜘蛛获取网页信息。

Answer 2

不能说封，本身网站是可以不让爬虫采集数据的，当初百度也拿这个说360，这也是基本的网络礼仪，所以，淘宝有权选择，是不是让你百度采集。