邢晶
- 作品数:34 被引量:24H指数:3
- 供职机构:中国科学院计算技术研究所更多>>
- 发文基金:国家自然科学基金国家重点基础研究发展计划国家高技术研究发展计划更多>>
- 相关领域:自动化与计算机技术电子电信文化科学天文地球更多>>
- 机群文件系统元数据访问行为分析与优化研究
- 机群系统已成为目前构建高性能计算机的主流系统,而提高机群系统中负责提供IO服务的机群文件系统性能是构建高性能计算机的关键.本文以提高机群文件系统的元数据处理性能为出发点,通过采用统计和踪迹剖析两种方式来分析元数据访问行为...
- 邢晶马捷
- 关键词:机群文件系统元数据
- 文献传递
- 一种支持海量数据备份的可扩展分布式重复数据删除系统被引量:5
- 2013年
- 现代信息化社会中,数据的爆炸式增长使得存储和管理数据的成本越来越高,数据备份和恢复的时间越来越长,数据中心的能耗越来越严重.重复数据删除技术在缓解数据的高速增长和节约成本方面有很好的应用前景.然而面对日益增长的海量数据,重复数据删除技术需要在数据路由和指纹查询方面提供高可扩展的支持.对于数据路由,提出了基于分布式布隆过滤器(Bloom Filter)的有状态数据路由技术:拆分Bloom Filter并将其分布于多节点并发管理,可以在提高数据路由的扩展性同时降低其通信开销.对于去重节点内的指纹查询,提出了基于取样机制的指纹查询优化方法:通过可扩展Hash结构组织海量取样指纹信息,并根据取样指纹的时间局部性原理对指纹缓存进行管理.为了对研究工作进行评价,设计并实现了分布式重复数据删除系统3D-deduper(distributed data deduplication system),并进行了数据路由和去重性能相关的测试.实验结果表明,基于分布式布隆过滤器的数据路由技术能够使得分布式重复数据删除系统维持与单节点重复数据删除系统相当的去重率,波动低于5%.在取样查询方面,数据去重率在取样率为1?32时仍能达到非取样重复数据删除系统数据去重率的95%以上.在去重性能方面,单节点去重带宽最高可达到200MBps.在节点扩展时,去重带宽仍能保持近似线性的扩展性.
- 刘厚贵邢晶霍志刚安学军
- 关键词:重复数据删除
- 一种DNA活字印刷机、基于DNA的数据存储设备和方法
- 本发明实施例提供了一种DNA活字印刷机、基于DNA的数据存储设备和方法,所述DNA活字印刷机包括:PCR反应区,用于通过PCR反应将获取的多种DNA活字序列按序连接为表示二进制信息的DNA序列,其中,每种DNA活字序列是...
- 邢晶陈非卜东波马灌楠段勃王晨阳高艳珍魏征谭光明
- 文献传递
- 基于副本数据日志的纠删码更新方法及系统
- 本发明涉及一种基于副本数据日志的纠删码更新方法,包括:接收更新数据,并将其保存至数据端的副本数据日志;当该副本数据日志满时,以该更新数据和该数据块获得校验差值,以该校验差值更新对应的数据块,并将该校验差值转发至存储校验块...
- 魏征邢晶高艳珍孙凝晖
- 文献传递
- 分布式文件系统中的元数据快照存储和访问方法
- 本发明提供一种文件系统快照存储方法,文件系统包括具有快照标记的目录树,与该目录树相对应的快照统计文件,以及与该目录树的各个快照时间戳相对应的快照文件;所述快照存储方法包括:1)创建新快照后,使得所述快照统计文件记录下按照...
- 刘雅琪邢晶霍志刚孙凝晖
- 文献传递
- 一种支持海量存储系统的高性能通信协议
- 本文提出了一种支持海量存储系统的高性能通信协议.链路负载均衡机制,针对链路负载情况和权重进行评价并选择:链路容错机制,结合退避算法和P坚持算法实现基于超时机制的链路监测和恹复机制,与简单超时机制相比,至少提升10%性能:...
- 魏征邢晶霍志刚
- 关键词:海量存储系统通信协议容错机制
- 文献传递
- 一种面向分布式去重系统的数据路由方法
- 本发明提供一种面向分布式去重系统的数据路由方法,包括:服务器将构成数据的所有数据块的指纹进行分类,并且将不同类别的指纹分别发送到存储相应类别指纹的数据摘要的不同摘要存储节点。以及,在所述摘要存储节点中查询接收到的指纹,得...
- 刘厚贵邢晶霍志刚安学军
- 文献传递
- 面向海量数据存储的ERASURE-CODE分布式文件系统I/O优化方法
- 随着海量数据的快速膨胀,机群文件系统的存储方式正在逐步从复本向ERASURE CODE过渡.ERASURE CODE存储能够以更低的存储空开销提供更高的可靠性.然而,由于ERASURE CODE存储需要通过编码生成编码数...
- 严林邢晶霍志刚马捷
- 关键词:机群文件系统数据放置
- 文献传递网络资源链接
- 双层元数据处理系统及方法
- 本发明涉及计算机存储系统体系结构领域,公开了一种双层元数据处理系统及方法。在本发明中,通过在元数据服务器中设置元数据处理服务器模块和元数据对象存储服务器模块,将对元数据进行的读取和修改操作请求进行了合理的分流,使得不同类...
- 邢晶唐荣锋熊劲
- 文献传递
- 双层元数据处理系统及方法
- 本发明涉及计算机存储系统体系结构领域,公开了一种双层元数据处理系统及方法。在本发明中,通过在元数据服务器中设置元数据处理服务器模块和元数据对象存储服务器模块,将对元数据进行的读取和修改操作请求进行了合理的分流,使得不同类...
- 邢晶唐荣锋熊劲
- 文献传递