王有为
- 作品数：2 被引量：16H指数：1
- 供职机构：中国科学院计算技术研究所更多>>
- 发文基金：中国科学院战略性先导科技专项国家高技术研究发展计划国家科技重大专项更多>>
- 相关领域：自动化与计算机技术更多>>
- 一种基于共享存储池的分布式事务处理方法
- 本发明涉及一种基于共享存储池的分布式事务处理方法，包括：基于哈希将分布式文件系统目录全路径映射到元数据服务器；从需参与分布式事务的元数据服务器集合中指定一个协调器和多个参与器；元数据服务器评估其需要完成的分布式事务操作，...
- 马灿王伟平孟丹周江王有为
- 文献传递
- 基于统计方法的Hive数据仓库查询优化实现被引量：16
- 2015年
- Map/Reduce是海量离线数据分析中广泛应用的并行编程模型。Hive数据仓库基于Map/Reduce实现了查询处理引擎,然而Map/Reduce框架在处理偏斜数据时会出现工作负载分布不均的问题。均衡计算模型（computation balanced model,CBM）,其核心思想是通过数据分布特征指导查询计划优化。相应研究贡献包括2部分,首先针对应用极广的GroupBy查询和Join查询建立了运行估价模型,确定了不同场景下查询计划的优化选择分支;其次基于Hive ETL机制设计了一种统计信息收集方法,解决了统计海量数据分布特征的问题。实验数据表明,通过CBM优化的GroupBy查询耗时节省了8%～45%,Join查询耗时节省了12%～46%;集群CPU负载均衡指标优化了60%～80%,I/O负载均衡指标优化了60%～90%。实验结果证实了基于CBM模型优化的查询计划生成器能显著均衡化Hive查询运行时的集群负载,并优化了查询处理效率。
- 王有为王伟平孟丹
- 关键词：分布式数据仓库负载均衡查询优化
