公共文化服务平台

共 9 条记录，以下是 1-9

全选清除导出

排序方式：

支持大规模流数据处理的在线MapReduce数据传输机制被引量：4: 2015年; 针对流数据规模参差不齐、流量动态变化且突发性较强的特点,提出一种可伸缩的动态MapReduce计算模型,支持大规模动/静态数据在线处理.基于Event推送方式,利用Netty底层异步通信方式等技术,建立在线MapReduce数据传输机制,进一步实现其原型程序,解决了大规模分布式计算程序的快速在线传输和数据分发等问题,支持流数据动态分发机制,为动态MapReduce模型提供支撑.与HadoopOnline系统的传统Socket管道传送方式相比,该方法能有效提高作业之间数据的传送效率,从而提高大规模流数据处理的实时性.; 魏晓辉李聪李洪亮李翔刘圆圆李丽娜庄园; 关键词：大数据流数据处理 MAPREDUCE模型数据传输机制

分布式网络爬虫框架Crawlzilla被引量：1: 2017年; 互联网技术的飞速发展带了网络信息的爆炸式增长,互联网已经成为了企业,机构和个人发布信息的主要平台。据CNNIC(中国互联网络信息中心)发布的2015年中国网民搜索行为研究报告中指出,截止到2015年12月,我国搜索引擎用户达到了5.66亿,使用率为82.3%,手机搜索用户达4.78亿,使用率为77.1%。互联网的发展速度日益加快,随之而来的是爆炸式的信息体量的增长。传统的搜索引擎已经不能够满足一些企业和单位内部的个性化检索的需求。本文将对通用爬虫框架Crawlzilla做简要的分析,并说明其在企业内部制定个性检索服务的可行性。; 徐海啸董飒董飒于洪梅李翔; 关键词：爬虫搜索引擎

基于网络特征的分层剪枝方法被引量：2: 2022年; 针对传统分层剪枝方法在剪枝过程后期时,网络模型的准确率会随网络结构失衡陡然下降的问题,提出一种基于网络特征的分层剪枝方法.该方法首先根据网络深度、网络宽度、层间重要性指标计算每轮迭代的剪枝系数;然后结合基础剪枝率得到每层参数的动态剪枝率;最后对预训练的网络进行剪枝、微调,并重复上述过程至迭代结束.实验结果表明,基于网络特征的分层剪枝方法在VGG-16模型上表现良好,在压缩率提高约一倍的情况下,准确率仍比单剪枝率的分层剪枝方法高3.6%,且整体表现优于全局剪枝方法.当压缩率达到98.85%以上时,在Resnet-20模型上的准确率比单剪枝率的分层方法高20%,接近于全局剪枝方法,表明充分利用网络特征可提高分层剪枝方法的性能.; 洪亮高尚李翔; 关键词：网络特征

支持大规模流数据在线处理的自适应检查点机制被引量：1: 2017年; 提出了一种支持流数据处理、在线动态调节周期的检查点机制。首先,面向突发性流场景,建立恢复时间计算模型,机制为节点故障提供最大恢复时间保障。其次,针对数据流实时变化的特点,提出检查点实时性代价量化模型。最后,设计流量高峰避让协议,基于检查点实时性代价判断,动态选取最佳检查点时机。对比实验结果表明:与传统检查点方法相比,该机制在灵活性和实时性方面具有明显优势,能够满足流数据处理高可靠性和实时性容错的要求。; 魏晓辉刘智亮庄园李洪亮李翔; 关键词：计算机系统结构流数据处理检查点

基于虚拟仿真教学平台的云计算技术实验教学被引量：25: 2016年; 基于物联网虚拟仿真实验教学中心的虚拟仿真教学平台,开展了云计算技术实验课程的建设工作,完成了从传统实验教学平台向虚拟仿真实验教学平台的迁移。目前开设了包括虚拟化技术、集群技术和Hadoop平台3方面共12门虚拟仿真实验课程,并对实验教学效果进行了分析。结果表明:学生实验实际用时有所减少、实验效率有很大提高;学生的实验地点不再集中在软件实验室,而且学习效果显著提升。; 李洪亮李想崔浩龙蒋一川胡成全魏晓辉李翔王迎祥; 关键词：虚拟仿真实验实验教学

支持大规模流数据处理的弹性在线MapReduce模型及拓扑协议: 2016年; 针对现阶段大规模流数据在线处理的广泛需求,本文提出了弹性在线MapReduce流数据处理模型及相关的动态拓扑结构协议。该模型兼容现有MapReduce模型,采用内存计算模式,并具有动态的作业拓扑结构,支持大规模流数据处理作业在运行过程中的弹性调整,从而满足流数据的时效性、动态性和突发性等特殊要求。在弹性在线MapReduce模型的基础上建立了流数据处理作业动态拓扑结构管理机制,设计了作业在线初始化协议和在线调整协议。为进一步提高系统灵活性和整合资源,提出了作业间的操作共享概念,设计了作业共享协议。通过协议分析,本文提出的在线初始化协议、在线动态调整协议及作业共享协议的最大复杂度均为O(n);在数据流量发生突发性变化时,系统具有良好的可伸缩性。; 魏晓辉李翔李洪亮李聪庄园于洪梅; 关键词：计算机系统结构流数据处理 MAPREDUCE 拓扑结构

基于ARM的智能监控系统的设计与实现被引量：14: 2011年; 针对现有的监控系统和报警系统缺乏组合和集成的问题,提出了一种基于ARM(Advanced RISC Ma-chines)的视频监控系统。该系统选用嵌入式WinCE操作系统、ARM的S3C2440处理器和130万像素的CMOS(Complenmentary Metal-Oxide-Semiconductor)摄像头组成视频采集装置,将背景减法、帧差法相结合并加入自适应更新背景的方法进行运动目标的检测。最后通过SMTP(Simple Mail Trasport Protocol)和MIME(Mutipurpose Internet Mail Extension)协议传输,统一采用通过手机邮箱与手机相连的方式实现报警信息的发送。有人闯入监视场所时会自行报警,把采集视频通过网络及时传送到用户手持端。实验结果表明,该智能监控系统效率高,接口丰富,具有较高的安全可靠性。; 刘阳阳申铉京王一棋李翔张维杰; 关键词：嵌入式智能监控

分布式高分数据分发平台的设计与实现: 2017年; 随着科技的发展,人们对未知世界探索的欲望也越来越强烈,自从1957年10月4日人类向太空发射的第一颗人造卫星开始,截止到2015年12月31日,全球共有在轨卫星1381颗,与2011年在轨卫星数量(986颗)相比,5年期间数量增长了39%,而其中对地观测卫星占14%。这给全球的卫星事业的发展带来了巨大的机遇和挑战,我国也建立自己的卫星系统。我国在2006年到2020年国家中长期科学和技术发展规划纲要中把建立高分辨率对地观测系统(简称高分专项)作为16个重大科技发展专项之一。随着高分数据的民用应用的发展,高分数据已经逐渐走进了人们的生活,从农业保险、灾情预测到指挥城市都发挥着重要的作用。基于以上背景,设计并实现了一个分布式高分数据分发平台。; 徐海啸董飒李翔于洪梅吴旗; 关键词：WEB技术 SPRINGMVC 数据分发

动态在线Map/Reduce流数据处理模型及作业拓扑管理协议: 2015年; 针对海量流数据的在线处理需求,提出一种不同于传统Map/Reduce流数据处理的系统模型Flexible workflow.该模型对workflow处理单元进行在线Map/Reduce并行化,实现了SPATE系统;同时为该系统定义一组关于作业的建立、管理和维护的通信规程,即拓扑管理协议.SPATE系统解决了在线Map/Reduce流数据处理过程中要求实时性及可扩展性的问题.实验验证了拓扑管理协议的有效性,拓扑管理协议能有效管理Flexible workflow流数据处理模型.; 魏晓辉李翔李洪亮李聪庄园; 关键词：流数据处理 FLEXIBLE MAP/REDUCE 拓扑管理

全选清除导出

共1页<1>

李翔

合作作者

文献类型

领域

主题

机构

作者

传媒

年份

用户反馈

李翔

合作作者

文献类型

领域

主题

机构

作者

传媒

年份

用户登录

用户反馈