v2.6

文档

Laxcus大数据管理系统

第一章 基础概述

第二章 数据组织

第三章 数据存储

第四章 数据计算

第五章 数据构建

第六章 网络通讯

第七章 网络通讯

第八章 安全

第九章 容错

第十章 运行

总结

后记

参考文献

  • 内容

     每一个Cache状态的主数据块,在Data主节点上生成后,会通过网络定向通知其它几个关联节点,产生一个相同编号的Cache数据块。此后这个主数据块每一次的写操作,都会通过网络向它们传递它最新的记录。这种以复本形式存在的Cache状态数据块,被称为“快照”。

    每一个主数据块,从Cache状态转入Chunk状态后,主节点将立即启动,通过网络分发这个数据块的数据复本。这些被传播到不同节点的数据块,被称为“备份”。

    备份数据块传递完成后,主Data节点会通知关联的Data节点,将Cache状态的“快照”删除。此后的运行过程中,如果发生写操作,Chunk状态的主数据块仍会执行与快照一样的处理。

    快照和备份的分配,将根据集群的网段原则进行选择。这是一个类似LINUX TRACEROUTE命令的处理过程,通过向不同Data节点发送ICMP包,探测当前节点与目标节点的跳点数,判断网段之间的距离,按照由远及近的顺序进行分配。

    系统规定同质数据块的默认存量是3,即有1个主块,2个属于快照或者备份的从块。主块允许执行读/写处理,从块只能执行读处理,和接受主块的覆写操作。这个存量参数也可以由用户定义,但如果实际运行环境的节点数量不足时,将根据实际情况自行调整。

    快照和备份使同质数据块之间保持了原始级的数据一致性,同时还实现了分解读处理压力、负载平衡、冗灾恢复的目的。如果当某个数据块读操作压力过大时,Data节点会做出判断,把这个数据块进行扩散,以缓解当前节点的压力。

回到顶部

联系方式

  • 服务电话 15210289253
  • 联系邮箱 laxcus@163.com
  • 版权所有 Laxcus大数据实验室    京ICP备17069115号

更多资讯请关注官方公众号