乐驰分布式采集系统

帮助用户以最低成本、最少人力、最高效率完成大数据应用开发的一款系统

咨询 客服,了解详情

产品描述

以高性能分布式采集、存储为核心,建立分工明确的功能模块进行高度协作,融合打码、分词、代理、排重等实用性服务,帮助用户以最低成本、最少人力、最高效率完成大数据应用开发,从而满足当下广大中小企业对“实时、高难、海量”级大数据业务场景的根本需求。


产品优势

1、分布式云采集

采用效率更高的分布式采集框架、可将数据分配到不同节点服务器,每一个节点上可运行多个任务,单个任务又可多线程并行处理。最大支持200集群节点,单日数据采集量可达亿级别。

image.png

2、高效存储发布

HBase集群服务器,弹性扩容,在系统中增加存储节点即可增加存储容量和处理性能。获取的数据可自动发布到用户的网站和数据库中。

image.png

3、强大的统计和监控系统

信息实时监控,多维度,多角度查看任务实时状态,历史数据查看分析,有序地捕获终端日志与统计。

image.png

4、可视化Web管理

新增、编辑、删除、分发、执行、周期配置、多任务的批处理等,系统的所有管理都可以在网页上完成。从易用性考虑,方便管理人员使用,而不仅是终端命令按钮化。

image.png

5、完善的拓展服务

乐驰配备了数据挖掘业务链中所需的拓展服务,如验证码识别和IP代理,能够有效突破反爬虫限制,以及排重、分词等一系列拓展服务,帮助用户从数据采集到数据分析,拥有一站式的解决方案。

image.png