v2.6

文档

Laxcus大数据管理系统

第一章 基础概述

第二章 数据组织

第三章 数据存储

第四章 数据计算

第五章 数据构建

第六章 网络通讯

第七章 网络通讯

第八章 安全

第九章 容错

第十章 运行

总结

后记

参考文献

  • 内容

     数据块从Cache状态转入到Chunk状态过程中,除了生成数据块签名,还会根据数据块的存储模型,针对行集合或者列集合,生成它们的CRC32校验码,并且保存在记录的开始位置。

    设置行/列集合校验码的原因是,因为整块的数据不会被经常调用,而行/列集合的数据却总是在网络上大量、频繁传递,这就使得行/列集合的数据校验更有实际意义。

    然而相较于少量的数据块签名计算,被传输的行/列集合因为粒度细、数据量大、校验次数频繁,计算持续时间也会更长,这将消耗大量计算资源,影响网络计算的处理效率。所以,通常任务请求方在收到计算结果后,会根据数据的来源来选择是否检测。如果是内网数据,由于网络安全度高,这个校验可以被忽略。

回到顶部

联系方式

  • 服务电话 15210289253
  • 联系邮箱 laxcus@163.com
  • 版权所有 Laxcus大数据实验室    京ICP备17069115号

更多资讯请关注官方公众号