王琦
- 作品数：1 被引量：11H指数：1
- 供职机构：国家互联网应急中心更多>>
- 发文基金：国家自然科学基金国家高技术研究发展计划更多>>
- 相关领域：自动化与计算机技术更多>>
- 一种基于动态划分的MapReduce负载均衡方法被引量：11
- 2013年
- MapReduce作为一种分布式计算框架,在大规模数据处理中已经被广泛应用.负载均衡是影响分布式计算性能的关键因素.当前的MapReduce实现在给集群分发任务时,多采用Hash的随机划分方式,无法根据数据的分布情况来调整集群的负载,容易出现负载不均衡的问题.为解决这一问题,对当前的MapReduce框架进行拓展,根据对Map端中间结果的采样来动态确定Reduce任务数目以及划分函数,保证Reduce任务的负载均衡.具体地,对Map的结果进行采样,并将其发送给Job Tracker.Job Tracker根据采样数据的分布情况动态确定划分函数,以保证每个Reduce任务处理的记录数目均衡.更重要的是,在Hadoop框架内实现了负载均衡方法,测试结果证明方法具有良好的有效性、兼容性和可用性.
- 周家帅王琦高军
- 关键词：MAPREDUCE负载均衡采样
