王来
- 作品数：1 被引量：8H指数：1
- 供职机构：哈尔滨工业大学计算机科学与技术学院更多>>
- 发文基金：国家自然科学基金国家重点基础研究发展计划更多>>
- 相关领域：自动化与计算机技术更多>>
- 基于HDFS的分布式存储策略分析被引量：8
- 2016年
- 本文重点围绕HDFS机架感知和副本存放策略方面对HDFS分布式存储进行剖析。副本存放策略和机架感知主要通过Datanode节点形成的树状网络拓扑图来让Namenode节点获取,从而确定副本存放的位置,这种方式保证了对于数据的极高的容错性的同时也兼顾了数据本地化,即提高了数据在集群网络中的传输效率。基于此,提出一个设想,希望通过对副本存放策略的深入挖掘,根据Datanode数据节点的实时状态信息,实现对于数据块副本的定向存储,再由数据驱动任务分配,来为每一个Datanode数据节点分配更适合的任务,从而达到负载均衡提高资源利用率的作用。
- 王来翟健宏
- 关键词：HDFS分布式存储数据驱动
