v2.6

文档

Laxcus大数据管理系统

第一章 基础概述

第二章 数据组织

第三章 数据存储

第四章 数据计算

第五章 数据构建

第六章 网络通讯

第七章 网络通讯

第八章 安全

第九章 容错

第十章 运行

总结

后记

参考文献

  • 内容

     打包工作完成后,接下来就要执行分布任务组件的发布工作。为了不影响集群正常运行,在将分布任务组件正式提交到集群之前,我们提供了一个测试工具,供开发者检查自己的分布任务组件。由于只是测试工具,不具备运营环境所拥有的各种资源,所以这个测试工具,只对分布任务组件的格式、配置、运行参数进行检查。当这些都确认正确后,就可以提交给集群了。另外,用户也可以自己搭建一个模拟环境,通过正常的发布流程来检查分布任务组件。

    Laxcus大数据管理系统支持“热发布”,分布任务组件在进入集群的几分钟内,经过一系列的识别和校验,就可以生效。它首先会被投递到Archive节点,Archive节点将根据“tasks.xml”文件中提供的配置参数,对分布任务组件进行一系列的检查,在确认无误后,分发给关联节点。如果在检查过程中发现错误,Archive节点将拒绝分发,并把分布任务组件和发布过程中出现的错误反馈给Watch节点,再由管理员去联系用户。为避免热发布过程中发生分布任务组件版本冲突,用户在发布前和发布过程中,应该停止一切分布计算工作,直到发布过程完全结束。

    分布任务组件投递到Archive节点的工作,有两种操作方式:一种是用户将分布任务组件交给集群管理员,让他通过Watch节点代为发布;另一种是用户通过Web发布接口,跳过集群管理员,让Web程序直接投递到Archive节点下面。Web发布接口管理权由集群管理员掌握,用户跳过集群管理员发布分布任务组件对系统具有一定风险性。至于集群管理员是否愿意开放Web接口,并承担因此带来的安全风险,就是集群管理员自己决定了。

回到顶部

联系方式

  • 服务电话 15210289253
  • 联系邮箱 laxcus@163.com
  • 版权所有 Laxcus大数据实验室    京ICP备17069115号

更多资讯请关注官方公众号