v2.6

文档

Laxcus大数据管理系统

第一章 基础概述

第二章 数据组织

第三章 数据存储

第四章 数据计算

第五章 数据构建

第六章 网络通讯

第七章 网络通讯

第八章 安全

第九章 容错

第十章 运行

总结

后记

参考文献

  • 内容

    Laxcus所有用户级数据业务都是通过分布任务组件实现。分布任务组件是我们借鉴中间件技术,融合网络通信、分布计算技术发展而来,以接口的形式提供给开发者。

    相较1.x版本的分布任务组件,目前2.x版本的分布任务组件已经发生很大变化。它建立在松耦合架构基础上,重新整合中间件、网络通信、分布计算三个子系统技术,设计的一套全新的管理构架、操作规范、API接口。

    2.x版本分布任务组件的改变主要体现在数据处理能力方面。经过升级后的API开发接口,原来诸多限制被取消,分布任务组件可以随集群的不断扩充,同步提供无限制的数据处理能力。这足以满足我们当前以及未来相当长一段时间内,执行各种大规模数据处理业务的需要。同时我们也把许多原来由集群管理员负责的工作省略掉,交给系统来检测和处理,自动化管理能力大幅提高。

    与1.x版本相同的是,分布任务组件仍然是数据计算组件和数据构建组件两种,部署位置仍然分为内部组件和外部组件。内部组件在集群内部运行,执行主要的分布处理工作;外部组件属于客户端组件,只在Front节点运行,负责反馈内部处理结果。

    从开发者角度看,2.x版本的分布任务组件是简单的,他们可以不必再去考虑与分布环境有关的诸多操作,只需要将工作精力集中到业务模块开发上,调用几个有限的API接口,就可以开发出符合要求的分布任务组件。其过程类似一个本地的数据库应用开发,所有具有Java语言开发能力的人都可以掌握。

    在这一章里,我们将介绍与分布任务组件有关的基本知识,以及如何通过调用分布任务组件的API接口来实现分布式编程,和执行分布式计算的。

    我们在第二章提到过“命名”的概念,它是对实体资源的抽象化表述。阶段命名是命名中的一种。它是在命名的基础上,结合进分布处理的“步骤”,加上用户签名引申而来,用于描述运行中的分布任务组件,当时所处的位置和状态。如图7.1所示,“step”用来说明当前分布组件的操作步骤,“root”是根命名,每个根命名需要保证全局唯一。判断根命名唯一性的工作可以联系系统管理员,或者直接让管理员提供。“sub”是子命名,用于判断迭代化的数据处理,需要在所属命名队列中唯一。“issuer”是SHA1算法格式的用户签名,是每个用户登录时的数字指纹,具有唯一性。它用于分布环境下的安全判断和校验。

    阶段命名是分布任务组件在Laxcus集群里部署、运行的唯一身份标识,数据计算和数据构建都要用到它。

回到顶部

联系方式

  • 服务电话 15210289253
  • 联系邮箱 laxcus@163.com
  • 版权所有 Laxcus大数据实验室    京ICP备17069115号

更多资讯请关注官方公众号