v2.6

文档

Laxcus大数据管理系统

第一章 基础概述

第二章 数据组织

第三章 数据存储

第四章 数据计算

第五章 数据构建

第六章 网络通讯

第七章 网络通讯

第八章 安全

第九章 容错

第十章 运行

总结

后记

参考文献

  • 内容

     为了快速的数据定位和数据计算,元数据做为数据操作者和被操作对象之间的中间媒质,来配合完成数据处理工作。元数据本质上是实体资源的抽象表示,用于描述节点在某一个时间的形态。在Laxcus系统里,元数据又分为节点元数据和数据元数据。前者由网络地址和运行参数组成,后者将数据块的内容格式化成定长的数值,并且按照要求的规则排列和组合。

    所有元数据都在节点运行过程中产生,随着节点运行发生变化和进行更新。元数据产生的数据量非常小,通常只有几百到几千个字节之间。这个特点使它非常适合在网络间快速传递和在内存中驻留。不同类型的节点对元数据各有不同,它们会根据的自己需要,通过管理节点或者直接通信的方式,去收集汇总这些信息,然后在本地进行筛选、分组、排列,存储在内存中,为数据处理提供必需的计算依据。运行环境中的元数据都是实时的,误差被控制在秒级,由一个资源管理模块去负责收集、管理、分配这些信息。这个模块在Laxcus集群架构里起着承上启下的作用,它有一个专门的名称:Laxcus实时映像系统(Laxcus Realtime Map System)。

回到顶部

联系方式

  • 服务电话 15210289253
  • 联系邮箱 laxcus@163.com
  • 版权所有 Laxcus大数据实验室    京ICP备17069115号

更多资讯请关注官方公众号