周家帅
- 作品数：10 被引量：11H指数：1
- 供职机构：北京大学更多>>
- 发文基金：国家自然科学基金国家高技术研究发展计划更多>>
- 相关领域：自动化与计算机技术更多>>
- 基于MapReduce的大图上距离连接查询方法
- 本发明公开了一种基于MapReduce的大图上距离连接查询方法，其步骤包括：1）提取初始化的查询参数:原图、已访问结点、拓展范围和查询结果；2）在hadoop上对原图进行双向拓展，拓展从源结点集合和目标结点集合开始，每次...
- 周家帅高军王衎王腾蛟杨冬青唐世渭
- 文献传递
- 一种基于动态划分的MapReduce负载均衡方法被引量：11
- 2013年
- MapReduce作为一种分布式计算框架,在大规模数据处理中已经被广泛应用.负载均衡是影响分布式计算性能的关键因素.当前的MapReduce实现在给集群分发任务时,多采用Hash的随机划分方式,无法根据数据的分布情况来调整集群的负载,容易出现负载不均衡的问题.为解决这一问题,对当前的MapReduce框架进行拓展,根据对Map端中间结果的采样来动态确定Reduce任务数目以及划分函数,保证Reduce任务的负载均衡.具体地,对Map的结果进行采样,并将其发送给Job Tracker.Job Tracker根据采样数据的分布情况动态确定划分函数,以保证每个Reduce任务处理的记录数目均衡.更重要的是,在Hadoop框架内实现了负载均衡方法,测试结果证明方法具有良好的有效性、兼容性和可用性.
- 周家帅王琦高军
- 关键词：MAPREDUCE负载均衡采样
- 基于Datalog的分布式环境下大图数据查询方法
- 本发明涉及一种基于Datalog的分布式环境下大图数据查询方法，其步骤包括：1）对用户输入的基于Datalog规则集合的大图查询指令进行语法分析，产生对应的语法树；2）根据语法树，构建以Datalog规则为单位的执行计划...
- 高军周家帅王腾蛟杨冬青唐世渭
- 基于MapReduce的大图上距离连接查询方法
- 本发明公开了一种基于MapReduce的大图上距离连接查询方法，其步骤包括：1）提取初始化的查询参数:原图、已访问结点、拓展范围和查询结果；2）在hadoop上对原图进行双向拓展，拓展从源结点集合和目标结点集合开始，每次...
- 周家帅高军王衎王腾蛟杨冬青唐世渭
- 并行计算框架中的Reduce端自适应负载均衡方法
- 本发明涉及一种并行计算框架中的Reduce端自适应负载均衡方法，通过采用动态哈希函数划分方法来预测任务所输入数据的分布，并且根据所预测数据的分布特点产生一个静态哈希函数，使得在该静态哈希函数的作用下，所有数据的分发尽可能...
- 王林青高军周家帅李红燕王腾蛟
- 文献传递
- 关系数据库环境下图中最短路径的查询方法
- 本发明提供一种在关系数据库环境下图中最短路径的查询方法，其步骤包括：将图存储于关系数据库中，按照该图中边的权重将该图对应的表划分成若干子表；根据查询请求中的源结点与目标结点建立已访问结点表，并初始化需要拓展的子表；采用宽...
- 周家帅高军蒋晓王腾蛟杨冬青唐世渭
- 文献传递
- 基于Datalog的分布式环境下大图数据查询方法
- 本发明涉及一种基于Datalog的分布式环境下大图数据查询方法，其步骤包括：1）对用户输入的基于Datalog规则集合的大图查询指令进行语法分析，产生对应的语法树；2）根据语法树，构建以Datalog规则为单位的执行计划...
- 高军周家帅王腾蛟杨冬青唐世渭
- 文献传递
- 并行计算框架中的Reduce端自适应负载均衡方法
- 本发明涉及一种并行计算框架中的Reduce端自适应负载均衡方法，通过采用动态哈希函数划分方法来预测任务所输入数据的分布，并且根据所预测数据的分布特点产生一个静态哈希函数，使得在该静态哈希函数的作用下，所有数据的分发尽可能...
- 王林青高军周家帅李红燕王腾蛟
- 文献传递
- 描述性图查询设计及其在MapReduce框架中的实现
- 随着社交网络分析、生物信息网络分析、交通导航等新兴应用的快速增长，不同领域出现了规模庞大、内部结构复杂、查询需求多样的大图数据。传统的单机计算模式难以满足大图数据管理需求，利用分布式框架来对大图进行管理成为不可避免的趋势...
- 周家帅
- 关键词：分布式计算查询翻译MAPREDUCE框架
- 关系数据库环境下图中最短路径的查询方法
- 本发明提供一种在关系数据库环境下图中最短路径的查询方法，其步骤包括：将图存储于关系数据库中，按照该图中边的权重将该图对应的表划分成若干子表；根据查询请求中的源结点与目标结点建立已访问结点表，并初始化需要拓展的子表；采用宽...
- 周家帅高军蒋晓王腾蛟杨冬青唐世渭
- 文献传递
