A5下载 - 努力做内容最丰富最安全的下载站!

A5站长下载站

当前位置:A5下载 > 网络软件 > 搜索工具 > web基础蜘蛛网页文章采集器 v3.2
web基础蜘蛛网页文章采集器

web基础蜘蛛网页文章采集器

v3.2
  • 软件大小:5.03 MB
  • 软件语言:简体中文
  • 更新时间:2012-03-08
  • 软件类型:国产软件 / 搜索工具
  • 运行环境:Win2003,WinXP,Win2000,Win9X
  • 软件授权:免费软件
  • 官方主页:http://
  • 软件等级 :
  • 软件厂商:yangyan
立即高速安全下载
  • 介绍说明
  • 下载地址
  • 精品推荐
  • 相关软件
  • 网友评论

web基础蜘蛛网页文章采集器,英文名称Fast_Spider,属于蜘蛛爬虫类程序,用于从指定网站采集海量精华文章,将直接丢弃其中的垃圾网页信息,仅保存具备阅读价值和浏览价值的精华文章,自动执行HTM-TXT转换。本软件为绿色软件解压即可使用。

web基础蜘蛛网页文章采集器特点如下:
(1)本软件采用北大天网MD5指纹排重算法,对于相似相同的网页信息,不再重复保存。
(2)采集信息含义:[[HT]]表示网页标题,[[HA]]表示文章标题,[[HC]]表示10个权重关键字,[[UR]]表示网页中的图片链接,[[TXT]]之后为正文。
(3)蜘蛛性能:本软件开启300个线程来保证采集效率。通过采集100万精华文章来执行压力测试,以普通网民的联网计算机为参考标准,单台计算机可以在一天内遍历200万网页、采集20万精华文章,100万精华文章仅需5天就可采集完毕。
(4) 正式版与免费版的区别在于:正式版允许将采集的精华文章数据自动保存为ACCESS数据库。

web基础蜘蛛网页文章采集器操作步骤
(1)使用前,必须确保你的计算机可以连通网络,且防火墙不要拦截本软件。
(2)运行SETUP.EXE和setup2.exe,以安装操作系统system32支持库。
(3)运行spider.exe,输入网址入口,先点"人工添加"按钮,再点"启动"按钮,将开始执行采集。

web基础蜘蛛网页文章采集器使用注意
(1)抓取深度:填写0表示不限制抓取深度;填写3表示抓到第3层。
(2)通用蜘蛛模式与分类蜘蛛模式的区别:假定网址入口为“http://youxi.baidu.com/”,若选择通用蜘蛛模式,将遍历“baidu.com”里面的每一个网页;若选择分类蜘蛛模式,则只遍历“youxi.baidu.com”里面的每一个网页。
(3) 按钮“从MDB导入”:网址入口从TASK.MDB中批量导入。
(4)本软件采集的原则是不越站,例如给的入口是“http://youxi.baidu.com/”,就只在百度站点内部抓取。
(5)本软件采集过程中,偶尔会弹出一个或数个“错误对话框”,请不予理会,倘若关闭“错误对话框”,采集软件就会挂掉。
(6)使用者如何选择采集题材:例如你若想采集 “股票类”文章,只需把那些“股票类”站点作为网址入口即可。
web基础蜘蛛网页文章采集器v3.2 

下载地址

  • Pc版

本地下载

相关软件

查看所有评论+

网友评论

网友
您的评论需要经过审核才能显示

本类排名

本类推荐

装机必备

换一批

相关资讯

公众号