葛微
- 作品数：4 被引量：58H指数：2
- 供职机构：南京大学更多>>
- 发文基金：国家自然科学基金更多>>
- 相关领域：自动化与计算机技术更多>>
- HiBase:一种基于分层式索引的高效HBase查询技术与系统被引量：55
- 2016年
- 大数据时代,众多应用领域的数据量爆炸式增长,迫切需要研究和寻找有效的大数据存储管理方法,提供实时或准实时的大数据查询分析能力.Hadoop HBase系统为大数据的存储管理提供了一种具有高可扩展性的技术方法和系统平台.然而HBase只有主键索引,不支持非主键索引,这导致HBase的数据查询效率较低,难以满足数据实时或准实时查询需求.为此,在HBase基础上提供面向非主键的快速查询能力,是目前Hadoop环境下急需研究和解决的一个重要问题.该文研究提出了一种基于分层式HBase非主键索引的查询模型和方法,该模型和方法首先建立基于HBase的持久性索引.然后,为了利用内存提升查询性能,该文进一步提出了一种索引热点数据缓存技术和一种高效的热度累积缓存替换策略,以降低对HBase索引表的磁盘访问开销.热度累积缓存替换策略克服了最近最少使用（LRU）算法的局限性,考虑数据访问的累积热度和时间局部特性,从而更准确地捕获数据访问的特征.为了使索引热点数据缓存内存层具有良好的可扩展性,HiBase设计了基于一致性哈希的分布式内存缓存,支持高效的基于非主键的单点查询和范围查询.最终,该文设计实现了完整的分层式索引和查询系统HiBase.在千万至十亿条记录规模数据集上的测试结果表明,HiBase冷查询响应时间比标准HBase快65倍（大结果集）到3000多倍（小结果集）;而引入基于查询热度累积算法的内存索引缓存方法后,热查询性能可在HiBase冷查询基础上再提升5~15倍,使得总体查询性能比标准HBase快300多倍（大结果集）到1.7万倍（小结果集）,比开源的Hindex系统快5~20倍.
- 葛微罗圣美周文辉赵頔唐云周娟曲文武袁春风黄宜华
- 关键词：HBASE查询处理缓存替换策略
- 大数据索引和查询优化技术与系统研究
- 随着大数据时代的来临以及大数据概念的普及，人们已经普遍认识到大规模数据信息资源的巨大价值，大数据时代会像互联网时代一样，给人类社会带来巨大的改变和发展机遇。然而，机遇总是伴随着挑战，在大数据分析应用所涉及的存储管理和计算...
- 葛微
- 关键词：查询优化数据索引数据分片
- 文献传递
- HBase非主键索引构建与查询方法及其系统
- 本发明公开了一种HBase非主键索引构建与查询方法及其系统。所述方法包括：在分布式内存和Hbase数据表上建立全局非主键索引；识别针对非主键属性的查询，依据所述全局非主键索引定位到相应的索引节点，并向含有结果集的所述索引...
- 董振江曲文武黄宜华葛微
- 文献传递
- HBase非主键索引构建与查询方法及其系统
- 本发明公开了一种HBase非主键索引构建与查询方法及其系统。所述方法包括：在分布式内存和Hbase数据表上建立全局非主键索引；识别针对非主键属性的查询，依据所述全局非主键索引定位到相应的索引节点，并向含有结果集的所述索引...
- 董振江曲文武黄宜华葛微
