网址链条»站长动态»文章内容
0
分享到
TOP

如何判断爬取网站的百度蜘蛛真假?

站长动态 网址链条 2022-10-29 15:50:39 408人浏览 0人回复

众所周知,现在很多采集软件都可以模拟百度的蜘蛛进行数据采集,很多才入门的站长往往无法察觉,从而造成了网站的硬件资源的占用,同时又让网站的原创内容被别人剽窃了,如果爬虫过大时甚至会影响到网站其他用户的访问。那么如果我们知道这样的百度蜘蛛是假,我们可以有针对性对IP进行封禁,这样即可起到很好的效果,那么我们如何来判断百度蜘蛛的真假呢?

这里我们就需要用到系统的“nslookup”命令,进入命令界面输入命令


当我们要查询IP(220.181.108.91)是否是百度蜘蛛时就直接在后面输入ip地址后回车:


我们可以看到这里返回了一串字符:“baiduspider-220-181-108-91.crawl.baidu.com”,通过baiduspider这里我们可以判断这个IP地址属于百度的真实蜘蛛。


同理我们查询IP(122.192.15.24)是否是百度蜘蛛:


我们可以看到这里返回了一串字符串:“UnKnown 找不到 122.192.15.24: Non-existent domain”,未能找到相应的记录,可以判断这样的IP地址不是百度蜘蛛IP地址。

评论列表 共有 0 条评论

暂无评论