庄园
- 作品数：4 被引量：5H指数：1
- 供职机构：吉林大学计算机科学与技术学院更多>>
- 发文基金：深部探测技术与实验研究专项国家教育部博士点基金吉林省科技发展计划基金更多>>
- 相关领域：自动化与计算机技术更多>>
- 支持大规模流数据在线处理的自适应检查点机制被引量：1
- 2017年
- 提出了一种支持流数据处理、在线动态调节周期的检查点机制。首先,面向突发性流场景,建立恢复时间计算模型,机制为节点故障提供最大恢复时间保障。其次,针对数据流实时变化的特点,提出检查点实时性代价量化模型。最后,设计流量高峰避让协议,基于检查点实时性代价判断,动态选取最佳检查点时机。对比实验结果表明:与传统检查点方法相比,该机制在灵活性和实时性方面具有明显优势,能够满足流数据处理高可靠性和实时性容错的要求。
- 魏晓辉刘智亮庄园李洪亮李翔
- 关键词：计算机系统结构流数据处理检查点
- 支持大规模流数据处理的弹性在线MapReduce模型及拓扑协议
- 2016年
- 针对现阶段大规模流数据在线处理的广泛需求,本文提出了弹性在线MapReduce流数据处理模型及相关的动态拓扑结构协议。该模型兼容现有MapReduce模型,采用内存计算模式,并具有动态的作业拓扑结构,支持大规模流数据处理作业在运行过程中的弹性调整,从而满足流数据的时效性、动态性和突发性等特殊要求。在弹性在线MapReduce模型的基础上建立了流数据处理作业动态拓扑结构管理机制,设计了作业在线初始化协议和在线调整协议。为进一步提高系统灵活性和整合资源,提出了作业间的操作共享概念,设计了作业共享协议。通过协议分析,本文提出的在线初始化协议、在线动态调整协议及作业共享协议的最大复杂度均为O(n);在数据流量发生突发性变化时,系统具有良好的可伸缩性。
- 魏晓辉李翔李洪亮李聪庄园于洪梅
- 关键词：计算机系统结构流数据处理MAPREDUCE拓扑结构
- 支持大规模流数据处理的在线MapReduce数据传输机制被引量：4
- 2015年
- 针对流数据规模参差不齐、流量动态变化且突发性较强的特点,提出一种可伸缩的动态MapReduce计算模型,支持大规模动/静态数据在线处理.基于Event推送方式,利用Netty底层异步通信方式等技术,建立在线MapReduce数据传输机制,进一步实现其原型程序,解决了大规模分布式计算程序的快速在线传输和数据分发等问题,支持流数据动态分发机制,为动态MapReduce模型提供支撑.与HadoopOnline系统的传统Socket管道传送方式相比,该方法能有效提高作业之间数据的传送效率,从而提高大规模流数据处理的实时性.
- 魏晓辉李聪李洪亮李翔刘圆圆李丽娜庄园
- 关键词：大数据流数据处理MAPREDUCE模型数据传输机制
- 动态在线Map/Reduce流数据处理模型及作业拓扑管理协议
- 2015年
- 针对海量流数据的在线处理需求,提出一种不同于传统Map/Reduce流数据处理的系统模型Flexible workflow.该模型对workflow处理单元进行在线Map/Reduce并行化,实现了SPATE系统;同时为该系统定义一组关于作业的建立、管理和维护的通信规程,即拓扑管理协议.SPATE系统解决了在线Map/Reduce流数据处理过程中要求实时性及可扩展性的问题.实验验证了拓扑管理协议的有效性,拓扑管理协议能有效管理Flexible workflow流数据处理模型.
- 魏晓辉李翔李洪亮李聪庄园
- 关键词：流数据处理FLEXIBLEMAP/REDUCE拓扑管理
