v2.6

文档

Laxcus大数据管理系统

第一章 基础概述

第二章 数据组织

第三章 数据存储

第四章 数据计算

第五章 数据构建

第六章 网络通讯

第七章 网络通讯

第八章 安全

第九章 容错

第十章 运行

总结

后记

参考文献

  • 内容

     Data节点在运行过程中,同一个时间可能有多个命令在执行,并且这些命令从磁盘上提取的数据量往往也是未知的,极有可能发生超载现象。面对这种情况,完全杜绝超载现象已不可能,能够做到的就是及时发现超载现象并且加以限制。

    在一台计算机的硬件层面,发生超载的源头有两个:CPU、磁盘。CPU超载原因是持续进行着大量的数据计算工作,磁盘超载是读写频率过高所致。CPU超载是持续进行着大量的数据计算工作,而久久得不到缓解。磁盘超载是读写频率过高所致。减少它们超载的办法是限制数据计算量和磁盘IO量。Invoke/Produce通过自适应机制实时追踪检查超载现象。一旦确认后,它将启动“锁”操作,限制计算任务的工作,降低对硬件设备的调用频率。必要时也会通知任务发起方,减少对本节点的调用频率。

    对数据超载的检查还会追踪到每个数据块。如果Invoke/Produce发现某个数据块在一个时段的调用频率超过阀值,会检查本机的内存,在容量许可的情况下,将它加载到内存里运行。或者去网络上检查数据块的分布状况,把它分发给空闲的Data节点,用分散数据块调用的办法,来达到降低负载的目的。

回到顶部

联系方式

  • 服务电话 15210289253
  • 联系邮箱 laxcus@163.com
  • 版权所有 Laxcus大数据实验室    京ICP备17069115号

更多资讯请关注官方公众号