安卓源码Asp源码Php源码.Net源码Jsp源码其它源码JS特效程序插件程序模板书籍教程
高级搜索
关键字:Discuz!  Axure  团购系统
最新更新发布资源提建议收藏本站
网站源码下载
当前位置:A5下载 > 源码下载 > Jsp源码 > 其它源码 > WebMagic(Java爬虫框架) v0.7.2

WebMagic(Java爬虫框架) v0.7.2

详细介绍 - [ WebMagic(Java爬虫框架) v0.7.2 ]

webmagic采用完全模块化的设计,功能覆盖整个爬虫的生命周期(链接提取、页面下载、内容抽取、持久化),支持多线程抓取,分布式抓取,并支持自动重试、自定义UA/cookie等功能。

webmagic的主要特色

1、完全模块化的设计,强大的可扩展性。
2、核心简单但是涵盖爬虫的全部流程,灵活而强大,也是学习爬虫入门的好材料。
3、提供丰富的抽取页面API。
4、无配置,但是可通过POJO+注解形式实现一个爬虫。
5、支持多线程。
6、支持分布式。
7、支持爬取js动态渲染的页面。
8、无框架依赖,可以灵活的嵌入到项目中去。

WebMagic(Java爬虫框架)页面展示
WebMagic(Java爬虫框架)
相关阅读

同类推荐:站长常用源码

下载地址 - [ WebMagic(Java爬虫框架) v0.7.2 ]
评论暂时关闭
您喜欢这个源码么?
(0)
0%
(0)
0%
[ 下载地址 ][ 评论吐槽 ]
本类热门源码
  • 源码推荐
  • 软件推荐
关于我们联系我们发布资源广告服务合作伙伴网站地图版权声明与我们对话