v2.6

文档

Laxcus大数据管理系统

第一章 基础概述

第二章 数据组织

第三章 数据存储

第四章 数据计算

第五章 数据构建

第六章 网络通讯

第七章 网络通讯

第八章 安全

第九章 容错

第十章 运行

总结

后记

参考文献

  • 内容

    由于To阶段工作相对复杂,出于简化开发者工作和精确处理目标的考量,我们把To阶段的任务分布两个部分:“生成(GENERATE)”和“计算(EVALUATE)”。“生成”完成类似From的操作,它以远程通信的方式,从其他节点获得数据和进行数据分割。“计算”处理分割后的数据。直到完成最后一次迭代前,它们每次输出的数据结果都是数据位图。

    相应的,To抽象方法为三组:基类ToTask提供两个方法:”effuse“和”flushTo“。“effuse”输出数据位图或者实体数据,”flushTo“是把数据位图或者实体数据写入到磁盘。ToGenerateTask继承ToTask,提供一个“divide”,这个方法从其他节点获得数据和分割数据。ToEvaluateTask继承ToTask,有两个“evaluate”方法,系统将根据数据位图,从其他节点获得分割数据后,交给evaluate方法执行数据计算工作。

回到顶部

联系方式

  • 服务电话 15210289253
  • 联系邮箱 laxcus@163.com
  • 版权所有 Laxcus大数据实验室    京ICP备17069115号

更多资讯请关注官方公众号