邵冰清
- 作品数：5 被引量：2H指数：1
- 供职机构：中国科学院计算技术研究所更多>>
- 发文基金：中国科学院战略性先导科技专项国家重点基础研究发展计划国家高技术研究发展计划更多>>
- 相关领域：自动化与计算机技术更多>>
- 蓝鲸元数据服务器集群的细粒度负载迁移
- 2014年
- 大数据应用对信息系统的底层存储提出了极大挑战,其首选方案为元数据服务器(metadata server,MDS)集群架构.MDS集群系统为了实现负载均衡,采用的基本机制为元数据服务的负载迁移.当前主流方案存在迁移时间长,迁移中写相关元数据访问需要阻塞的问题.提出细粒度的元数据服务负载迁移方案,由迁出端恢复迁移机制和细粒度控制迁移机制2部分组成.在迁移过程中,以文件为粒度在迁入端重建迁出端的元数据相关状态结构,并根据被访问状态的类型选择在迁出端或迁入端进行立即响应,而非阻塞操作直到迁移完成.在蓝鲸MDS集群系统上实现了此方案,测试和分析表明,在10 000规模的迁移场景中,迁移时间控制在800ms以下,元数据或状态写入延迟最高为215ms.与系统原方案中90s的固有延时相比,此方案有效解决了MDS集群中负载迁移时间过长的问题,并且极大地降低了迁移过程对正常元数据访问的影响.
- 刘健张军伟张浩邵冰清杨洪章刘振军
- 关键词：元数据服务器负载均衡细粒度
- 一种基于目录授权的客户端本地开闭文件的方法及系统
- 本发明公开了一种基于目录授权的客户端本地开闭文件的方法及系统，涉及机群文件系统中小文件访问性能的优化技术，特别涉及一种基于目录授权的客户端本地开闭文件的方法。该方法包括授权步骤，服务器根据目录扩展读授权机制授予客户端目录...
- 邵冰清张军伟杨洪章刘振军
- 文献传递
- 蓝鲸机群文件系统的元数据一致性协议
- 2015年
- 蓝鲸机群文件系统BWFS采用元数据服务器集群以扩展元数据服务能力,多个服务器之间的分布式元数据一致性维护成为必须要解决的问题.然而传统一致性维护协议通常需要多次的网络交互和磁盘同步,阻碍了BWFS元数据性能扩展.BWFS在本地日志系统的基础上设计实现了一种新型的分布式元数据一致性协议.协议针对BWFS中每个分布式元数据操作只涉及到两台服务器,通过在所涉及的两台服务器之间互相保存冗余操作日志,实现了异步的分布式元数据一致性,避免了磁盘同步开销.测试表明,保证一致性的情况下分布式元数据操作的平均响应时间相比无一致性保证仅延长了约5%-15%;在宕机的情况下,单个服务器恢复10000个分布式元数据操作的时间仅1s.
- 邵冰清张军伟郑彩平张浩刘振军
- 关键词：机群文件系统一致性
- 支持EB级存储的元数据服务器集群系统被引量：2
- 2015年
- 随着全球数据总量的快速增长,PB级存储系统已无法满足未来应用对其数据容量的需求,通用、高扩展且易于部署的EB级存储系统的研发势在必行,其核心技术为元数据服务器集群技术.本文介绍了在p NFS和蓝鲸块设备文件系统EXFS基础上研发的支持EB级存储的蓝鲸元数据服务器集群技术.首先分析了支持EB级与PB级存储的元数据服务器集群系统的区别;然后介绍了蓝鲸元数据服务器集群原型系统的整体架构及其全局命名空间的分布策略;之后介绍了基于分布式日志的一致性元数据原子操作协议,和细粒度、低延时的元数据负载迁移两项关键技术;最后进行了测试.结果显示,集群系统中每台元数据服务器均可为EB级存储系统提供超过10000 OPS的元数据操作支持.
- 刘健张军伟邵冰清董欢庆刘振军许鲁
- 关键词：一致性
- 一种基于目录授权的客户端本地开闭文件的方法及系统
- 本发明公开了一种基于目录授权的客户端本地开闭文件的方法及系统，涉及机群文件系统中小文件访问性能的优化技术，特别涉及一种基于目录授权的客户端本地开闭文件的方法。该方法包括授权步骤，服务器根据目录扩展读授权机制授予客户端目录...
- 邵冰清张军伟杨洪章刘振军
