浙江省自然科学基金(Y1091189)
- 作品数：3 被引量：9H指数：2
- 相关作者：钱江波陈华辉董一鸿王志杰卢鑫更多>>
- 相关机构：宁波大学宁波市公安局更多>>
- 发文基金：浙江省自然科学基金国家自然科学基金宁波市自然科学基金更多>>
- 相关领域：自动化与计算机技术电子电信更多>>
- 可重构数据流SPJ查询处理器的研究被引量：2
- 2012年
- 数据流的实时处理需要很高的处理速度,一种解决方法是使用协处理器。然而协处理器硬布线是不变的,查询不断变化使其一定时间内综合性能达不到最优。为提高数据流处理速度和资源利用率,采用了可重构的数据流SPJ查询处理器,在具备选择、投影和连接三种查询模块及相应指令集的基础上,根据输入查询的查询树调用相应的模块自适应对FPGA编程,改变自身的硬布线,实现数据流的处理。通过大量实验验证了处理器不仅正确,而且具备高速度和灵活性。
- 周茂春陈叶芳钱江波王志杰董一鸿陈华辉
- 关键词：数据流可重构FPGA
- 不确定数据流自适应并行连接算法及应用
- 2012年
- 不确定数据流对处理过程有独特的需求,如存储空间有限、响应时间很短、需要连续处理、数据无限等,这对数据流的处理算法,特别是耗时、耗内存较多的连接操作提出了挑战。针对大规模不确定数据流并行连接所存在的速度较慢和内存消耗大的问题,提出了多核处理器上不确定数据流并行连接和内存溢出时自适应处理的一系列算法,能够高速在线处理并发不确定数据流。在此基础上,针对道路各个卡口监控到的不确定数据流,提出一种实时发现套牌车的方法。实验采用真实数据、均匀数据、高斯数据进行评估,证明算法具有良好的性能,其处理速度比内存数据库Timesten速度提高2~8倍,能够满足实时交通套牌车监控的需求。
- 钱江波王志杰陈华辉王海斌
- 关键词：不确定数据流内存溢出并行计算
- MapReduce框架下的不确定数据Top-k查询计算被引量：7
- 2013年
- Top-k查询是不确定性数据管理中普遍采用的一种技术.基于参数化排名函数的Top-k查询语义是近年来提出的各种查询语义的统一.文中针对海量不确定数据,提出一种基于MapReduce框架的Top-k计算的有效方法.通过分析基于参数化排名函数的不确定数据Top-k查询语义,设计一种获得未计算元组的排名函数值上界的算法,避免计算所有元组的排名函数值,解决Top-k计算中的剪枝问题.在MapReduce计算模型中提出两种不同的策略来实现该算法.文中针对单机环境和Hadoop分布式计算平台进行两组不同的对比实验.实验表明在处理海量不确定数据时,该算法在计算时间上有较高的性能提升.
- 卢鑫陈华辉董一鸿钱江波
- 关键词：不确定数据MAPREDUCE
