时间:2020-07-25 12:14作者:小静人气:87
运行原理
运行流程
从资源调度器中获取一个下载任务
网页下载器根据下载任务信息从互联网上下载网页内容
从下载网页内容中提取出所有符合要求的链接
将提取出的链接放入链接池供调度器调度
内容解析器解析下载网页内容,根据配置从中提取出数据信息
信息输出器输出内容解析器解析出来的数据
在正常情况下,风铃虫会一直循环进行上述步骤,一直到任务完全完成。
#任务完成条件
在一般情况下,只要风铃虫满足以下 任意一种情况就会停止实例的运行,并在停止运行后将状态改变的消息通过爬虫状态监听器 发送出去。
风铃虫停止接口被调用
风铃虫开启拦截检测功能后,连续检测到拦截标志出现,且连续出现的次数达到阀域值
风铃虫连续一段时间未接受到信息的任务调度命令,且持续时间达到阀域值
wind-bell风铃虫轻量级爬虫工具下载地址:https://www.a5xiazai.com/qita/145537.html
网友评论