v2.6

文档

Laxcus大数据管理系统

第一章 基础概述

第二章 数据组织

第三章 数据存储

第四章 数据计算

第五章 数据构建

第六章 网络通讯

第七章 网络通讯

第八章 安全

第九章 容错

第十章 运行

总结

后记

参考文献

  • 内容

     由于硬盘本身物理性能与内存、CPU之间存在的巨大差异,在数据处理过程中,实际上无论给硬盘做怎么样的优化设计,都只能减少而不能避免这种差异所造成的影响。要想完全突破硬盘性能滞后所造成的数据处理效率低下的问题,唯一的解决办法就是跳过硬盘这道瓶颈,直接使用内存实现数据存取,使数据象“水流”一样,通过网络,在集群各节点之间的内存、CPU之间流动,使它们接近匹配的速率,进行数据的传递、转换、处理,这就是流式处理的由来。

    在Laxcus 1.x版本中,流式处理是一项内测功能。在版本发布后,我们收到越来越多用户的快速处理要求,所以我们仔细考量后,在原来流式处理基础上,经过重新修定,在2.0版本正式公布出来。为了兼顾到原来的数据处理方案,流式处理要求用户在使用前显示指定,系统会根据当时每台计算机的资源使用情况,有选择地进行分配。这样,当用户要求使用流式处理的时候,数据处理过程将忽略掉硬盘,完全在集群的网络、内存、CPU之间进行。

    流式处理主要针对一些快速的数据检索和计算业务(数据存储操作仍然要写入硬盘,不在此列),典型如在线分析 、实时计算这类业务。根据我们对多种流式处理的实地测试显示,相较于基于硬盘的数据处理,基于内存的流式处理可带来数十倍的效率提升。这种巨大的提升,将使用户的一些数据处理业务发生根本性的改变。

回到顶部

联系方式

  • 服务电话 15210289253
  • 联系邮箱 laxcus@163.com
  • 版权所有 Laxcus大数据实验室    京ICP备17069115号

更多资讯请关注官方公众号