杨海龙
- 作品数：2 被引量：1H指数：1
- 供职机构：河北工程大学信息与电气工程学院更多>>
- 发文基金：河北省自然科学基金河北省重点基础研究项目更多>>
- 相关领域：自动化与计算机技术更多>>
- 基于Dijkstra算法分布式JobTracker节点模型通信方式的优化
- 2016年
- 针对MapReduce框架下JobTracker单点失效而引发的系统运行崩溃问题,通过建立分布式JobTracker节点模型来改善JobTracker的可靠性,并基于Dijkstra算法的单源最短路径思想对新建立模型中主从节点间的通信方式进行优化与改进,使任务节点优先与其最近的不同机架和不同数据中心的3个控制节点进行通信.实验结果表明,分布式JobTracker节点模型能在一定程度上缓解由单JobTracker节点失效引起的作业失败问题,并且改进后的通信方式能够缓解单JobTracker节点存在的瓶颈,均衡JobTracker节点的负载.
- 黄伟建杨海龙
- 关键词：MAPREDUCE通信方式DIJKSTRA
- Hadoop下改进布隆过滤器算法的网页去重被引量：1
- 2017年
- 针对服务器中存储的大量重复和相似数据造成的空间浪费问题,改进的布隆过滤器(Bloom Filter)算法通过增加位数组并根据位数组的重复命中次数所计算的权重来动态优化重复数据的副本数,然后在Hadoop分布式集群下对改进的算法进行并行实现,以进一步提高作业处理效率。实验结果表明,与传统网页去重算法相比,改进的Bloom Filter算法的并行实现不仅提高了作业的处理效率,而且通过基于位数组下动态重复次数对副本数的优化,在一定程度上节省了服务器的存储空间。
- 黄伟建杨海龙
- 关键词：HADOOP布隆过滤器MAPREDUCE
