WebMagic（Java爬虫框架）
v0.7.2- 软件大小：729 KB
- 软件语言：简体中文
- 更新时间：2020-08-13
- 软件类型：国产软件 / 其它源码
- 运行环境：JAVA
- 软件授权：自由软件
- 官方主页：https://www.oschina.net/
- 软件等级 :
- 软件厂商：fang
- 介绍说明
- 下载地址
- 精品推荐
- 相关软件
- 网友评论
webmagic采用完全模块化的设计，功能覆盖整个爬虫的生命周期(链接提取、页面下载、内容抽取、持久化)，支持多线程抓取，分布式抓取，并支持自动重试、自定义UA/cookie等功能。
webmagic的主要特色
1、完全模块化的设计，强大的可扩展性。
2、核心简单但是涵盖爬虫的全部流程，灵活而强大，也是学习爬虫入门的好材料。
3、提供丰富的抽取页面API。
4、无配置，但是可通过POJO+注解形式实现一个爬虫。
5、支持多线程。
6、支持分布式。
7、支持爬取js动态渲染的页面。
8、无框架依赖，可以灵活的嵌入到项目中去。
WebMagic（Java爬虫框架）页面展示
相关阅读
同类推荐：站长常用源码
下载地址
- PC版
本地下载
相关软件
本类排名
本类推荐
装机必备
换一批
- 聊天
- 微信
- 新浪微博
- 钉钉
- 企业微信
- 视频
- 优酷视频
- 暴风影音
- 影音先锋
- 爱奇艺
- 剪辑
- 剪映
- 快影
- 秒剪
- premier
- 音乐
- 酷我音乐
- 酷狗音乐
- qq音乐
- 虾米音乐
- 浏览器
- qq浏览器
- uc浏览器
- ie浏览器
- 谷歌浏览器
- 办公
- 企业微信
- wps
- 腾讯会议
- 迅捷pdf编辑器
- 输入法
- 五笔输入法
- 拼音输入法
- win10输入法
- 搜狗输入法
- 压缩
- 360压缩
- 迅捷压缩
- WinZips
- BandiZip
- 翻译
- 福昕翻译大师
- 百度翻译
- 有道翻译
- 迅捷翻译
- 杀毒
- 新毒霸
- 360杀毒
- 火绒软件
- 卡巴斯基
- p图
- 美图秀秀
- coreldraw
- 光影魔术手
- pscc
- 编程
- Python
- Eclipse
- vscode
- Vim
- 网盘
- 百度网盘
- 腾讯微云
- 阿里云盘
- 蓝奏云
- 证券
- 益盟操盘手
- 东方财富
- 同花顺
- 大智慧
- 浏览器
- qq浏览器
- uc浏览器
- ie浏览器
- 谷歌浏览器
网友评论