v2.6

文档

Laxcus大数据管理系统

第一章 基础概述

第二章 数据组织

第三章 数据存储

第四章 数据计算

第五章 数据构建

第六章 网络通讯

第七章 网络通讯

第八章 安全

第九章 容错

第十章 运行

总结

后记

参考文献

  • 内容

    大数据系统运行依赖于计算机集群。部署计算机集群,需要大量的计算机,以及连接它们网络通信设备,这对所有运营大数据的企业和机构来说,都是一笔庞大的开支。而大数据分布处理和“以多胜强”的特点,更强调使用分布算法和软件设计所带来的效能,对硬件设备本身并没有太多的要求。所以,低价、性能稳定的硬件设备成为首选。

    具备这样特点的硬件设备,目前有很多选择,典型如PC架构的X86系统,还有移动架构的ARM系列,Laxcus都实现了支持。

    实际上,但是无论上述哪款系列的计算机,在稳定性和可靠性上都不能和专业服务器相比,发生故障和宕机的可能性比服务器要大得多。针对这个情况,Laxcus采用了一个简单的办法:冗余和去中心化,来解决这个问题。实现这项功能的要求是Laxcus具备实时的节点感知能力,当集群内任何一个节点发生故障,都能很快被Laxcus捕获到。在确认故障节点失效后,Laxcus将执行“隔离”方案,将故障节点从集群中排除,然后从集群中寻找一个新的备用节点,或者通知其它同类型的节点,来分担故障节点的工作。排除故障的处理过程,都会同步通知给集群的维护管理人员。在执行数据处理工作时,Laxcus要确保每个节点是正常且有效的,才执行数据处理工作。

    这项措施简单且有效,在多次故障和修复过程中,都验证了这个结论。

回到顶部

联系方式

  • 服务电话 15210289253
  • 联系邮箱 laxcus@163.com
  • 版权所有 Laxcus大数据实验室    京ICP备17069115号

更多资讯请关注官方公众号