吕璐
- 作品数：1 被引量：4H指数：1
- 供职机构：华中科技大学电子信息与通信学院更多>>
- 发文基金：国家自然科学基金国家科技支撑计划更多>>
- 相关领域：自动化与计算机技术更多>>
- 基于SDN的MapReduce带宽优化设计被引量：4
- 2016年
- 在实际Hadoop系统中,如何使作业完成时间最短成为了一个NP完全问题,导致这个问题的主要原因是MapReduce计算过程中大量的数据从Map节点向Reduce节点进行迁移,容易造成网络拥塞,使得数据迁移时间过长。软件定义网络(SDN)实现了路由控制和数据转发的分离,同时使交换机能够对网络中的数据进行灵活处理,使控制器能够知晓全局网络拓扑结构,其集中式管理模式为Hadoop进行性能优化带来了可能性。利用SDN对网络的灵活控制,让Map中间值在Open Flow交换机上进行数据合并,减少数据流量和数据迁移时间,提高Hadoop工作效率。
- 杨军吕璐徐冠王曼戴彬
- 关键词：MAPREDUCE
