杨振宇
- 作品数：3 被引量：8H指数：2
- 供职机构：中国科学技术大学计算机科学与技术学院更多>>
- 发文基金：国家自然科学基金更多>>
- 相关领域：自动化与计算机技术电子电信更多>>
- 基于非线性拟合方程的多变量决策树算法被引量：5
- 2006年
- 根据数据属性间存在的线性相关和非线性相关影响决策树性能的特点,提出了一种用拟合回归建立决策树的算法,并利用这种相关性来提高分类能力.该算法选择了一个较优的属性子集,对此子集中的属性进行加权组合,用于构造决策树的节点,采用二次多项式来拟合两个属性间可能存在的相关性,从而构造出分类能力更强的决策树.研究中用UCI标准数据集对各种算法进行测试及比较,实验结果及分析表明此决策树算法具有良好性能.
- 吴强李金龙杨振宇王煦法
- 关键词：决策树多变量决策树
- 纠删码存储下的离线批处理作业性能优化被引量：2
- 2022年
- 随着互联网数据的爆发式增长,越来越多的分布式存储系统开始引入纠删码存储机制,以在提供数据可靠性的同时降低存储开销。但纠删码机制的引入改变了数据放置模式,从而影响分布式系统上层业务的数据访问和运行效率。在异构Hadoop集群环境中,一类典型的离线批处理作业——MapReduce应用在条带式纠删码存储模式下需要从多个节点访问数据,该“一对多”的数据访问模式由于节点性能差异造成应用执行效率下降。对此,该文提出了一种基于异构环境的数据放置和任务分配策略。通过对异构集群中各节点的硬件参数和历史负载进行分析,将同一纠删码条带的数据块尽可能分布在性能相近的节点上;在系统进行任务分配时,针对各节点当前负载和运算能力确定节点的任务并发度,以平衡各节点计算资源的占用情况,从而避免因数据访问或计算过程中的资源竞争产生极端缓慢任务以致降低整个MapReduce应用的运行效率。实验结果表明,相比当前Hadoop默认的随机数据放置和任务分配策略,该文提出的异构感知数据放置策略和动态任务分配策略能够在不同类型的MapReduce应用中有效削弱任务的长尾效应,使得作业整体运行时间节约10.5%~42%,验证了该方案的有效性。
- 杨振宇吕敏李永坤
- 关键词：分布式存储系统任务调度
- 混合存储模式下MapReduce作业调度被引量：1
- 2023年
- 在异构Hadoop集群场景中,为了缓和由于纠删码和副本存储模式混合使用,以及服务器节点本身实时算力差异造成的MapReduce作业处理效率低下的问题,本文实现了一种根据数据存储情况和节点实时负载来在多并发场景下动态调节MapReduce作业任务分配情况的调度策略.该策略通过修改当前Hadoop框架中的数据存储选址策略并对节点任务并发量进行动态控制,在多作业并发时实现更加均衡的作业间资源分配.实验结果表明,相较于Hadoop默认的两种作业调度策略,本文提出的调度模式能够将作业完成时间缩短约17%,并有效避免部分作业面临的饥饿现象.
- 杨振宇牛天洋吕敏
- 关键词：MAPREDUCE作业调度纠删码异构集群云计算负载均衡
