v2.6

文档

Laxcus大数据管理系统

第一章 基础概述

第二章 数据组织

第三章 数据存储

第四章 数据计算

第五章 数据构建

第六章 网络通讯

第七章 网络通讯

第八章 安全

第九章 容错

第十章 运行

总结

后记

参考文献

  • 内容

     数据存储在磁盘上。数据受到磁盘本身的物理特性限制,其读写速率要远远低于内存和CPU,拖慢了整个计算过程。尤其当面对热点数据块的读写,或者需要读取大量数据做数据计算时,这个影响尤其明显。为了提高计算效率,一个简单的办法就是把数据调入内存,跨过硬盘这道瓶颈,让数据在内存和CPU之间来运行,从而减少磁盘对数据的影响。

    我们提供了两个加载数据块的方案:1.当内存空间比较充裕时,由系统判断,把热点数据块调入内存。2.由用户发出命令,指定某些数据,把它们加载到内存里。加载数据的过程中,运行系统会检查计算机的可用内存容量,在接近规定限制值前停止,不会发生内存溢出的现象。

    如果这个加载过程是由系统引发的,这个一个临时性加载,热点数据块会受到持续监视。当低于调用阀值,或者内存开始紧张时,或者使用频率更高的热点数据块出现时,会把它从内存中移除。

    用户也可以卸载数据块,这个操作同样是通过命令进行。

    数据在内存的时候,不影响它的写操作。如果是添加、删除、更新这样的情况发生了,会同步修改它在内存和磁盘上的记录,这个过程仍然是串行的。

    实际上,内存数据更适合执行大规模数据检索。尤其在今天很多的CPU都已经是64位,寻址范围突破4G限制的情况下。只要有足够数量的内存,使集群成为一个临时的数据仓库,让数据跨过磁盘,完全在网络、内存、CPU之间运行,这是目前提高数据计算效率最有效的办法。

回到顶部

联系方式

  • 服务电话 15210289253
  • 联系邮箱 laxcus@163.com
  • 版权所有 Laxcus大数据实验室    京ICP备17069115号

更多资讯请关注官方公众号