项明
- 作品数：4 被引量：33H指数：2
- 供职机构：辽宁师范大学计算机与信息技术学院更多>>
- 发文基金：国家自然科学基金更多>>
- 相关领域：自动化与计算机技术更多>>
- Hadoop集群性能参数自动调优信息库系统构建被引量：2
- 2014年
- 为了使Hadoop集群系统能够应对多变的任务及系统本身节点差异对集群性能带来的影响,采用TaskConfigure服务器构建Hadoop集群参数信息库系统实现对集群参数的自动调优配置.通过对集群节点及任务的分类,提出集群按类分配配置参数及采用节点资源利用效率生成集群系统参数的优化配置值.实验结果表明,参数信息库系统的自动调优保证了集群工作性能的充分发挥,有效地缩短了集群执行任务的工作时间,使集群具有良好的稳定性和扩展性.
- 郑晓薇项明张大为刘青昆
- 关键词：HADOOP集群
- Hadoop集群系统性能优化的研究
- 云计算在商业和科学研究上的价值已渐渐被社会认可。它可以在搜索引擎、互联网应用技术、大规模数据计算等方面发挥出巨大的能量。Hadoop技术作为云计算技术的开源实现，对云计算技术的发展起到了十分重要的作用。现在大多数的企业和...
- 项明
- 关键词：数据存储资源整合
- 文献传递
- 基于节点能力的Hadoop集群任务自适应调度方法被引量：31
- 2014年
- 针对当前Hadoop集群固有的任务级调度分配方法在运行中存在的负载分布不均的现象,着重对集群节点的执行能力进行了分析与研究.提出了一种基于节点能力的任务自适应调度分配方法.该方法根据节点历史和当前的负载状态,以节点性能、任务特征、节点失效率等作为节点任务量调度分配的依据,并使各节点能自适应地对运行的任务量进行调整.实验结果表明集群的总任务完成时间明显地缩减,各节点的负载更加均衡,节点资源的利用更为合理.
- 郑晓薇项明张大为刘青昆
- 关键词：HADOOP集群自适应
- 基于空间最短距离平均的密度自适应无监督聚类方法
- 本发明公开一种基于空间最短距离平均的密度自适应无监督聚类方法，步骤如下：计算空间中任意两点间最短距离平均，生成距离矩阵；根据距离密度和矩阵用递归扩散的方法寻找高密聚类区；根据最短距离平均倍数系数步长调整距离密度范围；根据...
- 张大为项明
- 文献传递
