首页

速读谷

菜单

没错,此时宁为脑海中蹦出的湍流算法就是专门针对处理恶意网络爬虫的一种智能算法。

互联网时代的网络上充斥着各种网络爬虫。

所谓网络爬虫其实就是一种按照一定规则,自动批量抓取网络信息的程序跟脚本。最广泛的应用大概就属搜索引擎,通过网络爬虫技术,这些搜索引擎会以一定的频率,通过这些网络爬虫将搜集到的信息录入到数据库中,以保证用户从引擎入口检索时,能更多更准确的从互联网庞杂的信息中找到仔细想要的东西。

这种类型的网络爬虫一般称为通用网络爬虫。

另一类则是聚焦爬虫。

这是一种针对特定网站或者特定信息不停抓取的技术。

一般来说能够遵守robots协议来使用这项技术都是没问题的。

但事实上,网络上遍布的许多网络爬虫,干的都不是人事。

跟所有人息息相关网络爬虫案例就是黄牛抢票。

比如全球被各种网络爬虫光顾最多的就是12306。

每到节假日,尤其是五一、十一、春运这样的出行高峰,热门地区的火车票总会特别难抢,甚至是秒空。而且这个时候12306软件都很难打开,基本也都是拜这种网络爬虫所赐。

根据统计,华夏12306点击量最高峰曾达到59亿次/小时,平均每秒就有160多万次点击。显然不是正常用户能刷出来的数字。

上一页目录下一页

相关小说全部