v2.6

文档

Laxcus大数据管理系统

第一章 基础概述

第二章 数据组织

第三章 数据存储

第四章 数据计算

第五章 数据构建

第六章 网络通讯

第七章 网络通讯

第八章 安全

第九章 容错

第十章 运行

总结

后记

参考文献

  • 内容

     分布计算业务普遍具有数据量大、耗时长、计算复杂的特点,在运行过程中会涉及到大批计算机节点和不同的处理环节。如果在执行这些工作前,有针对性地为它们产生某些数据,使它们能够减少磁盘读写频率,或者省略掉运行过程中的一些处理环节,这会对改善数据处理效率有很大帮助。

    在磁盘存取层面,这样的预处理工作包括:把可能被重复使用的中间数据提前生成。针对删除、更新操作造成的磁盘数据碎片现象,做定期碎片整理工作。为了改善集群数据分布不均、单点数据量过大的问题,按需求调整集群数据分布等。

    这些预处理工作被投入运行环境之后,数据处理效率有了明显提高。为了加快数据的生成速度,它们都被放到内存中执行。例如优化一个标准的64M数据块,在Pentium4 2.0 G芯片上,生成时间大约在1.2秒左右。另外,这些数据处理工作都是数据、计算双密集的,对内存、CPU有很高的占用比率。考虑到这个原因,它们应该避免开业务繁忙的时段,放在系统空闲的时间执行,比如夜间的某个时段。这个时间的业务处理量会明显减少,有助于平衡系统资源使用效率,减少预处理工作对系统正常业务造成的不利影响。

回到顶部

联系方式

  • 服务电话 15210289253
  • 联系邮箱 laxcus@163.com
  • 版权所有 Laxcus大数据实验室    京ICP备17069115号

更多资讯请关注官方公众号