张宇蒙
- 作品数:2 被引量:4H指数:1
- 供职机构:北京大学深圳研究生院更多>>
- 发文基金:国家自然科学基金国家重点基础研究发展计划广东省自然科学基金更多>>
- 相关领域:自动化与计算机技术更多>>
- 大数据环境下的可靠存储技术思考被引量:3
- 2015年
- 针对分布式容错技术的研究,提出了两点关键要求:降低冗余开销、提高节点修复效率。分析目前主流的容错策略:复制、纠删码、再生码、基于局部可修复码,并认为这些容错策略存在不同程度的缺陷,因此设计出容错能力、计算效率及存储利用率更高的容错策略,仍是未来很长一段时间内值得深入研究的问题。
- 李挥张宇蒙陈俊
- 关键词:大数据可靠性分布式存储容错技术
- 基于二元再生码的大数据存储系统研究被引量:1
- 2013年
- 随着信息数据量越来越大,大数据存储的可靠性变得尤为重要,因而需要在存储系统中引入冗余.基于复制的传统策略虽然简单,但其存储效率和系统可靠性均不高.纠删码提供了一种不同于复制策略的有效存储方式,然而,当系统中有文件丢失时,纠删码(如Reed-Solomon,RS)需要较高的通信负载来进行文件修复,而且编解码效率不高.针对RS码的不足,在分布式系统中引入一种新颖的再生码,称为二元再生码(binary regenerating codes,BRGC).在Hadoop分布式存储系统中部署和实施了二元再生码和RS码.实验结果表明,BRGC在编解码效率和修复带宽上均优于RS码.
- 黄显霞李挥张宇蒙张宇蒙周泰侯韩旭张华宇
- 关键词:大数据纠删码RS码HADOOP