众所周知,现在很多采集软件都可以模拟百度的蜘蛛进行数据采集,很多才入门的站长往往无法察觉,从而造成了网站的硬件资源的占用,同时又让网站的原创内容被别人剽窃了,如果爬虫过大时甚至会影响到网站其他用户的访问。那么如果我们知道这样的百度蜘蛛是假,我们可以有针对性对IP进行封禁,这样即可起到很好的效果,那么我们如何来判断百度蜘蛛的真假呢?
这里我们就需要用到系统的“nslookup”命令,进入命令界面输入命令
当我们要查询IP(220.181.108.91)是否是百度蜘蛛时就直接在后面输入ip地址后回车:
我们可以看到这里返回了一串字符:“baiduspider-220-181-108-91.crawl.baidu.com”,通过baiduspider这里我们可以判断这个IP地址属于百度的真实蜘蛛。
同理我们查询IP(122.192.15.24)是否是百度蜘蛛:
我们可以看到这里返回了一串字符串:“UnKnown 找不到 122.192.15.24: Non-existent domain”,未能找到相应的记录,可以判断这样的IP地址不是百度蜘蛛IP地址。
发表评论 取消回复