[经验分享] 百度蜘蛛爬取的IP段含义分享,蜘蛛的各个IP段代表什么含义

[复制链接]
查看1033 | 回复20 | 2019-9-4 21:46:17 | 显示全部楼层 |阅读模式
百度蜘蛛爬取的IP段含义分享,蜘蛛的各个IP段代表什么含义
---------------------------------------------------------------------------------------------------------------
作为一个站长,相信经常会看到不同IP段的蜘蛛爬取网页内容
但不知道这些IP段其实都有它独自含义的,下面就是八福资源网整理收集的各个IP段的含义
包含但不限于!目前算是比较全的了,仅供参考。如果还有其它的欢迎留言补充。
----------------------------------------------------------------------------------------------------------------

61.135.*.*                          估计是从百度自身网站找来的蜘蛛,比如来路为百度分享,百度空间等,
                                         具体的我也不太清楚,我的网站上也有来,但是不太清楚提举的情况

121.14.89.*  新站考察         这个ip段作为度过新站考察期

123.125.66.* 预备抓取         百度蜘蛛IP造访,准备抓取
123.125.68.* 沙盒               这个蜘蛛经常来,别的来的少,表示网站可能要进入沙盒了,或被者降权
123.125.71.* 低权重汇总      抓取内页收录的,权重较低,爬过此段的内页文章不会很快放出来,待定

203.208.60.* 网站异常          这个ip段出现在新站及站点有不正常现象后

210.72.225.* 巡逻                这个ip段不间断巡逻各站

220.181.7.*  预备抓取          代表百度蜘蛛IP造访,准备抓取你东西
220.181.68.* 沙盒                每天这个IP段只增不减很有可能进沙盒或K站
220.181.108.95 隔日快照      抓取首页专用IP
220.181.108.92 权重抓取      抓取首页
220.181.108.91 综合权重      主要抓取首页和内页或其他
220.181.108.75 内页权重      重点抓取更新文章的内页
220.181.108.86 权重首页      专用抓取首页IP 权重段,一般返回代码是304 0 0 代表未更新
220.181.108.** 权重首页      220.181段属于权重IP段此段爬过的文章或首页基本24小时放出来


抓取返回的状态响应码去分析:

  1、成功抓取 返回代码是 200 0 0;

  2、网站没更新 返回代码是304 0 0;

  3、蜘蛛来过 返回的是200 0 64


八福资源网收集整理,转载请注明出处






回复

使用道具 举报

Con夜染繁华 | 2019-9-6 00:25:05 | 显示全部楼层
真很不错...
回复

使用道具 举报

Existence | 2019-9-6 00:54:23 | 显示全部楼层
大好人啊啊,谢谢了
回复

使用道具 举报

Autumn | 2019-9-8 02:26:49 | 显示全部楼层
nice,谢谢
回复

使用道具 举报

Forever. | 2019-9-9 10:50:20 | 显示全部楼层
楼主好人呐。。。。。。。。
回复

使用道具 举报

淡时光 | 2019-9-12 13:48:04 | 显示全部楼层
小手一抖,积分到手!
回复

使用道具 举报

凉城 | 2019-9-15 08:29:50 | 显示全部楼层
大好人啊啊,谢谢了
回复

使用道具 举报

逢场做戏 | 2019-9-24 17:20:44 | 显示全部楼层
不错不错,谢谢分享
回复

使用道具 举报

空山清雨 | 2019-9-25 10:31:54 | 显示全部楼层
这是好东西,收藏了
回复

使用道具 举报

Aiopr皇者 | 2019-9-30 06:34:50 | 显示全部楼层
我抢、我抢、我抢沙发~
回复

使用道具 举报

您需要登录后才可以回帖 登录 | 立即注册

本版积分规则