王鲁俊
- 作品数：6 被引量：5H指数：1
- 供职机构：北京航空航天大学更多>>
- 发文基金：国家自然科学基金国家高技术研究发展计划国家科技重大专项更多>>
- 相关领域：自动化与计算机技术更多>>
- 一种分布式存储系统中处理面向海量目录和文件的方法
- 本发明提出了一种分布式存储系统中处理面向海量目录和文件的方法。在集群中，将所有的用于存放元数据的MetaServer用一致性哈希方案组织。对于每一个MetaServer，其上运行的元数据服务会将元数据组织成不同的文件。每...
- 王鲁俊龙翔王雷
- 文献传递
- 一种低延迟的面向小文件的分布式存储系统
- 本发明设计了一种低延迟的面向小文件的分布式存储系。系统中所有的DataServer在逻辑上组织成环，系统采用一致性哈希方案，按照特定哈希算法对DataServer的ID进行哈希，并根据哈希值将各个DataServer分布...
- 王鲁俊龙翔王雷
- 文献传递
- 一种利用失效日志计算存储集群可用性的方法
- 本发明提出了一个实用的分布式存储系统可用性评估方法，流程如图。该方法能够利用系统运维产生的失效日志记录和必要的系统信息评估该存储系统的可用性。由于短时间内连续发生的失效往往对可用性造成很大的影响，本发明提出的模型考虑到了...
- 王雷王鲁俊龙翔
- 一种适应于Mapreduce计算模型的小文件存储系统
- 本发明设计了Hadoop上HDFS的在线将小文件合并到大文件的方式，如图1，减少了MaprReduce中启动的map的数量。本发明主要提供了一种新的上传小文件的接口，同时提供了对应的输入格式类，通过使用本发明提供的上传接...
- 王雷王鲁俊龙翔
- 文献传递
- 一种利用失效日志计算存储集群可用性的方法
- 本发明提出了一个实用的分布式存储系统可用性评估方法，流程如图1。该方法能够利用系统运维产生的失效日志记录和必要的系统信息评估该存储系统的可用性。由于短时间内连续发生的失效往往对可用性造成很大的影响，本发明提出的模型考虑到...
- 王雷王鲁俊龙翔
- 文献传递
- SFFS:低延迟的面向小文件的分布式文件系统被引量：5
- 2014年
- 社交网站和电子商务等网络服务发展迅速,这类服务需要存储大量图片、音乐、微博文本等小文件。传统的分布式存储系统,如HDFS(Hadoop distributed file system),是面向大文件而设计的,在存储小文件时会产生元数据开销过大,访问延迟较高等问题,不能适应存储海量小文件的应用环境。分析了TFS(Taobao file system)的系统架构和读写流程,发现TFS在每次读/写过程中至少要建立3次网络连接,增大了读写延迟。针对海量小文件存储带来的挑战和TFS存在的问题,提出了一种新的低延迟、高可用的面向海量小文件的分布式存储方案,并实现了分布式文件系统SFFS(small-file file system)。性能测试表明,SFFS和TFS相比,写延迟降低了76.6%,读延迟降低了约10%。通过对系统结构的分析,相比于TFS,SFFS在中心节点的负载更轻,失效恢复更快,在可用性方面更有优势。
- 王鲁俊龙翔吴兴博王雷
- 关键词：分布式存储
