v2.6

文档

Laxcus大数据管理系统

第一章 基础概述

第二章 数据组织

第三章 数据存储

第四章 数据计算

第五章 数据构建

第六章 网络通讯

第七章 网络通讯

第八章 安全

第九章 容错

第十章 运行

总结

后记

参考文献

  • 内容

     分布任务组件运行过程中,会产生大量的中间数据。在默认条件下,这些中间数据会被系统保存到硬盘上,并在工作结束后被系统释放。我们此前已经多次提过,由于磁盘的读写效率很低,虽然系统对此做了很多优化处理,但是仍然无法满足用户快速处理需求。所以,为了加快分布处理速度,必须把数据缓存到内存里。与之配套的,我们在系统命令提供这样一个方法,由用户决定把中间数据保存到内存还是硬盘。这项功能要求用户在生成命令时显式指定,当分布任务组件运行时,系统将在内存资源许可的情况下,把中间数据缓存到内存。理想状态下,如果一个分布处理流程都能够以内存作为存取目标,那么数据处理将完全跳过硬盘这道瓶颈,使这次分布计算成为纯粹的流式处理,处理效率将获得数十倍的提升。这种的数据快速处理方案,是很多时间敏感型的数据业务迫切需要的。

    特别说明的是,用户只需要在运行分布任务时,显示指定驱动命令为内存模式,后续分布任务组件的所有数据存取工作,都将由系统按照用户的要求完成,开发者不需要为此编写任何代码或者做任何设置。

回到顶部

联系方式

  • 服务电话 15210289253
  • 联系邮箱 laxcus@163.com
  • 版权所有 Laxcus大数据实验室    京ICP备17069115号

更多资讯请关注官方公众号