公共文化服务平台

修位蓉: 作品数：12 被引量：43H指数：5; 供职机构：新疆大学信息科学与工程学院更多>>; 发文基金：国家自然科学基金新疆维吾尔自治区高校科研计划新疆维吾尔自治区自然科学基金更多>>; 相关领域：自动化与计算机技术文化科学更多>>

合作作者

浅谈多媒体在大学教育中的运用: 2009年; 计算机多媒体的出现大大改变了传统的以"教师——黑板——教科书——学生"的教学模式,充分调动了学生的积极性。尤其是在大力提倡素质教育的时代,多媒体教学这种先进的教学手段应该应用到各个不同的教学层次。高校开展多媒体教学能更好的刺激学生的学习兴趣,从而收到良好的教学效果。; 修位蓉; 关键词：大学教育多媒体

并行计算框架Spark的自适应缓存管理策略被引量：17: 2017年; 并行计算框架Spark缺乏有效缓存选择机制,不能自动识别并缓存高重用度数据;缓存替换算法采用LRU,度量方法不够细致,影响任务的执行效率.本文提出一种Spark框架自适应缓存管理策略(Self-Adaptive Cache Management,SACM),包括缓存自动选择算法(Selection)、并行缓存清理算法(Parallel Cache Cleanup,PCC)和权重缓存替换算法(Lowest Weight Replacement,LWR).其中,缓存自动选择算法通过分析任务的DAG(Directed Acyclic Graph)结构,识别重用的RDD并自动缓存.并行缓存清理算法异步清理无价值的RDD,提高集群内存利用率.权重替换算法通过权重值判定替换目标,避免重新计算复杂RDD产生的任务延时,保障资源瓶颈下的计算效率.实验表明:我们的策略提高了Spark的任务执行效率,并使内存资源得到有效利用.; 卞琛于炯英昌甜修位蓉; 关键词：并行计算缓存管理策略 SPARK

基于回归检测的滑动块重复数据删除算法被引量：9: 2017年; 随着大数据时代的来临,重复数据在存储系统中占有很高比例,如何在保障数据可用性的前提下提高存储系统利用率问题一直是研究人员关注的热点.重复数据删除技术是一种存储系统优化技术,通过比较数据指纹确定冗余并删除,达到保障数据唯一性的目的.在重复数据分块检测过程中,无匹配指纹的块即认定为新数据存储,然而通过研究发现,未匹配块中仍然包含大量的重复数据,若能检测到未匹配块内的重复数据,则能够在一定程度上进一步提高重复数据检测率.本文提出一种基于回归检测的滑动块重复数据删除算法,对传统滑动块技术产生的未匹配数据块进行回归检测,通过对比未匹配块的结构变化进而确定数据操作类型,再根据不同的操作类型执行不同的检测算法,达到去除未匹配块内重复数据的目的.实验表明:本算法在时间开销方面比较合理,并能够有效提高重复数据检测率.; 卞琛于炯修位蓉; 关键词：重复数据

基于分配适应度的Spark渐进填充分区映射算法被引量：5: 2017年; 分析Spark的作业执行机制,建立了执行效率模型和Shuffle过程模型,给出了分配适应度(AFD,allocation fitness degree)的定义,提出了算法的优化目标。根据模型的相关定义求解,设计了渐进填充分区映射算法(PFPM,progressive filling partitioning and mapping algorithm),通过扩展式分区和渐进填充映射,建立适应Reducer计算能力的数据分配方案,有效缩减Shuffle过程的同步延时,提高集群计算效率。实验表明该算法提高了Shuffle过程数据分配的合理性,优化了并行计算框架Spark的作业执行效率。; 卞琛于炯修位蓉廖彬英昌甜钱育蓉; 关键词：并行计算 SPARK

Spark框架并行度推断算法被引量：5: 2019年; 分布式计算集群Spark宽依赖并行度取决于用户设定参数,对于不同的作业类型或数据集,硬编码的并行度参数设定难以发挥集群的最大计算能效。针对这一问题,首先对Spark作业执行方式进行深入分析,建立作业调度模型,提出宽依赖计算代价、资源空置率和溢写概率的定义;然后分析任务并行度对作业执行时间的影响,证明并行度取值具有合理区间,提出并行度推断算法的优化目标。最后根据模型定义进行目标求解,设计批处理内存计算框架的并行度推断算法(parallelismdeduction algorithm, PDA),通过构建的数据总量、执行区预留比、操作闭包集合、资源表等多个基础数据,计算符合资源需求表且具有最大资源利用率和最小开销的任务并行度;PDA算法在作业的各个Stage中迭代执行,根据计算环境优化调度方案提高性能。实验表明,PDA算法提高了Spark框架的作业执行效率,针对不同类型作业均具有良好的普适性。; 卞琛卞琛于炯修位蓉廖彬英昌甜; 关键词：SPARK

高职院校实施创新教育的几点思考: 2009年; 创新教育的提出,是现代社会的要求,是弘扬人的创新本性的需要,是深化教育改革、推进素质教育的必然要求。在国家大力提倡创新教育的大环境下,高职教育面临着新的机遇与挑战,创新教育也必将成为高职教学的主体模式。; 卞琛修位蓉; 关键词：创新教育

内存计算框架局部数据优先拉取策略被引量：4: 2017年; 内存计算框架的低延迟特性大幅提高了集群的计算效率,但Shuffle过程的性能瓶颈仍不可规避.宽依赖的同步操作导致大多数工作节点等待慢节点的计算结果,同步过程不仅浪费计算资源,更增加了作业延时,这一现象在异构集群环境下尤为突出.针对内存计算框架Shuffle操作的同步问题,建立了资源需求模型、执行效率模型和任务分配及调度模型.给出了分配效能熵(allocation efficiency entropy,AEE)和节点贡献度(worker contribution degree,WCD)的定义,提出了算法的优化目标.根据模型的相关定义求解,设计了局部数据优先拉取算法(partial data shuffled first algorithm,PDSF),通过高效节点优先调度,提高流水线与宽依赖任务的时间重合度,减少宽依赖Shuffle过程的同步延时,优化集群资源利用率;通过适度倾斜的任务分配,在保障慢节点计算连续性的前提下,提高分配任务量与节点计算能力的适应度,优化作业执行效率;通过分析算法的相关优化原则,证明了算法的帕累托最优性.实验表明:PDSF算法提高了内存计算框架的作业执行效率,并使集群资源得到有效利用.; 卞琛于炯修位蓉钱育蓉英昌甜廖彬; 关键词：作业调度异构环境

基于迭代填充的内存计算框架分区映射算法被引量：3: 2017年; 针对内存计算框架Spark在作业Shuffle阶段一次分区产生的数据倾斜问题,提出一种内存计算框架的迭代填充分区映射算法(IFPM)。首先,分析Spark作业的执行机制,建立作业效率模型和分区映射模型,给出作业执行时间和分配倾斜度的定义,证明这些定义与作业执行效率的因果逻辑关系;然后,根据模型和定义求解,设计扩展式数据分区算法(EPA)和迭代式分区映射算法(IMA),在Map端建立一对多分区函数,并通过分区函数将部分数据填入扩展区内,在数据分布局部感知后再执行扩展区迭代式的多轮数据分配,根据Reduce端已分配数据量建立适应性的扩展区映射规则,对原生区的数据倾斜进行逐步修正,以此保障数据分配的均衡性。实验结果表明,在不同源数据分布条件下,算法均提高了作业Shuffle过程分区映射合理性,缩减了宽依赖Stage的同步时间,提高了作业执行效率。; 卞琛于炯修位蓉英昌甜钱育蓉

基于MPLS VPN技术的网络监控系统分析与设计被引量：7: 2015年; 文章以基于MPLS VPN技术的平安城市网络视频监控系统的一期建设项目工程为背景,通过详细的调研,从当前项目系统运行的现状和存在的问题出发,深入分析和研究了该系统的安全性,并提出安全改进的总体解决方案。文章首先针对平安城市网络监控系统现状,提出了安全域的划分原则和方法,并将系统划分为核心网络域、业务计算域、公共服务域和终端接入域4个安全域;接着从安全域的角度对如何在技术上改进系统的安全性提出相应的优化对策,并根据安全域的划分得出详细的安全优化实施技术方案,即采取双PE冗余备份策略加固核心网络性能,制定网络边界防火墙部署方案、流量控制检测部署方案和IDS/IPS入侵检测系统实施方案;最后对该系统安全性能优化解决方案进行了总结并提出持续改进的设想,从安全性能维护角度为该项目的后期建设提供参考。; 卞琛于兴艳修位蓉英昌甜; 关键词：多协议标签交换虚拟专用网网络监控系统

珍宝巴士MIS系统在乌市网络环境的适配技术研究与应用: 自香港珍宝巴士集团与乌市公交集团重组后，原有的单机使用的MIS系统已远远不能满足现有的需要，要想实现香港总部、广州数据中心和乌市实时通信，公司重组后网络扩大以及升级MIS系统，面临的问题有：系统升级企业需更新硬件的成本问...; 修位蓉; 关键词：适配技术虚拟专用网虚拟局域网; 文献传递

修位蓉

合作作者

文献类型

领域

主题

机构

作者

传媒

年份

用户反馈

修位蓉

合作作者

文献类型

领域

主题

机构

作者

传媒

年份

用户登录

用户反馈