v2.6

文档

Laxcus大数据管理系统

第一章 基础概述

第二章 数据组织

第三章 数据存储

第四章 数据计算

第五章 数据构建

第六章 网络通讯

第七章 网络通讯

第八章 安全

第九章 容错

第十章 运行

总结

后记

参考文献

  • 内容

摘要

    Laxcus是多集群多用户多任务通用数据管理系统,支持百万级计算机节点,提供EB级可计算数据的存储和计算能力,综合云管理、大数据、数据库、中间件、容器五个领域的技术和功能,集运行、开发、调试、部署、维护为一体的平台。Laxcus为全体系全功能设计开发,采用Java、C++语言编写,运行在普通硬件设备上,操作系统涵盖Linux/Windows,硬件平台包括X86、ARM、POWER PC、NVIDIA。产品100%自主知识产权,遵循LGPL协议开放源代码。

关键字: 集群、节点、FIXP协议、存储模型、数据块、数据分区、分布描述语言、分布任务组件、安全、DSM、NSM、Invoke/Produce、Diffuse/Converge、Scan/Sift、Marshal/Educe、RPC、SQL、可调CAP策略、跨用户资源共享、事务、存储过程。

介绍

    过去七年,我们设计开发了Laxcus大数据管理系统。在设计这套产品前,市场上虽然已经有多种数据产品,却没有一家能够提供一套功能完整、适合各行业使用的通用大数据软件,这是我们设计这套系统的初衷。更重要的原因是,随着大数据应用的快速发展,存储计算规模越来越大,以及需求多样性的增加,导致数据处理过程更加复杂和缓慢。如何解决这个问题,在保证效能的前提下,改变大数据应用现状?针对软硬件性能特点,采用架构/功能一体化设计,增加内聚,减少调用层次和处理流程,改进人机界面,提高分布效能,无疑是一个很好的解决思路。但是这个方案也因为体系化设计的缘故,需要涉及多个技术领域,在当时的技术条件下,设计这种级别的复杂系统,当中有许多不确定因素,面临着巨大的研发风险。这些风险归纳起来,主要包括以下几个方面:

  • 1.对硬件成本和运营成本的考量。
  • 2.分布环境下,系统稳定性和可靠性的问题。
  • 3.数据业务和处理规模可扩展性、可承载能力、适用性的问题。
  • 4.软硬件冗错和处理的问题。
  • 5.系统安全的问题。
  • 6.人机接口的设计,包括简化开发、管理、操作流程的问题。
  • 7.软硬件结合和多平台兼容的问题。
  • 8.各个子系统整合和设计指标平衡的问题。

    在此后七年时间里,经过我们持续研发和版本升级,上述问题已经全部解决,目前Laxcus大数据管理系统的主要特征是:

  • 1. 系统总体设计成松耦合架构,在此框架下实现所有业务可定制、可扩展。
  • 2. 网络通信采用二进制协议提高数据传输和处理效率。
  • 3. 以多集群并行和弱中心管理为基础,实现超大规模、可伸缩的数据存储和计算。
  • 4. 引入自适应机制,使集群具备自组织能力,包括数据处理和软硬件故障管理。
  • 5. 底层数据采用混合存储方案,实现即时存取,支持OLTP和OLAP业务。
  • 6. 数据处理融入SQL思想,兼容数据库,满足高并发和高可靠性两种需求。
  • 7. 全新的分布算法,保证数据处理简捷高效。
  • 8. 组件化编程,结合容器管理,来减少开发和维护难度。
  • 9. 体系化安全策略,将安全管理纳入系统每一个环节。
  • 10. 使用语句指令操纵集群,覆盖全部数据处理和管理工作。
  • 11. 支持全球已知字符集,满足不同国家和地区用户语言习惯。

以下将以Laxcus大数据管理系统2.6版本为模板,介绍主要的技术、设计、实现。

回到顶部

联系方式

  • 服务电话 15210289253
  • 联系邮箱 laxcus@163.com
  • 版权所有 Laxcus大数据实验室    京ICP备17069115号

更多资讯请关注官方公众号