找到一个适合的分布式文件系统之各种分布式文件系统优缺点对比

 

一、各种分布式文件系统对比

1.1 表格对比

技术

优点

缺点

总结

1、   HDFS

1、大数据批量读写,吞吐量高;

2、一次写入,多次读取,顺序读写;

1、交互式应用,低延迟很难满足;

2、不支持多用户并发写相同文件。

如果是很多小文件,nameNode压力大

2、    googleFs

1、成本低,运行在廉价的普通硬件上

1、不开源

不开源,使用困难

3、   Tfs

1、    开源

1、小于1M的文件

2、TFS内部是没有任何数据的内存缓冲的

 适合单个文件比较小的系统

4、   Lustre

1、  开源

2、  支持POSIX

3、  文件被分割成若干的Chunk,每个chunk是一般为1MB-4MB

 

 

5、 Ceph

 

1、支持POSIX

2、开源

 

 

1、  在Linux主流内核中找到ceph

2、不成熟,处于测试推广阶段

6、  MogileFs

1、开源

 

 比FastDFS 差

7、   FastDFS

1、  开源

2、  适合以文件为载体的在线服务

3、  FastDFS没有对文件做分块存储

4、  不需要二次开发即可直接使用

5、  比mogileFS更易维护和使用

6、  直接使用socket通信方式,相对于MogileFS的HTTP方式,效率更高。

1、文件访问方式使用专有API,不支持POSIX

 

8、swiftfs

 

 

1、基于HDFS

9、NFS

1、用户和程序可以象访问本地文件一样访问远端系统上的文件

 

 

 

 

开源的分布式文件/对象系统比较有名的包括Lustre(HPC)GlusterFS(NAS NFS)、HDFS(hadoop)、ceph(虚机块存储)、swift(restful对象存储),各有不同的领域。

 

1.2 相关链接

1.2.1     Hadoop

http://tech.it168.com/a2012/1029/1414/000001414776.shtml

hadoop文档 :http://hadoop.apache.org/

https://hadoop.apache.org/docs/r1.0.4/cn/hdfs_shell.html

1.2.2     Googlefs 不开源

1.2.3     Tfs

开源首页:http://tfs.taobao.org/

1.2.4     Lustre

http://lustre.org/

http://lustre.org/getting-started-with-lustre/

1.2.5     ceph:

社区网站地址:
http://ceph.org.cn/
中文文档:
http://docs.ceph.org.cn/start/intro/

源码:https://github.com/ceph/ceph

https://www.oschina.net/translate/ceph

http://dockone.io/article/307

1.2.6     MogileFs

1.2.7     fastdfs

http://elf8848.iteye.com/blog/1739596

MogileFs 和FastDFS 对比:http://blog.csdn.net/wishfly/article/details/6940504

http://www.sunnyu.com/?p=105

http://bbs.chinaunix.net/thread-2001101-1-1.html

1.2.8     swiftfs

https://github.com/ovh/svfs

https://wiki.openstack.org/wiki/Swift

https://support.rackspace.com/how-to/swift-filesystem-for-hadoop/

1.2.9     综合

 现在主流的开源分布式文件系统架构有哪些?

https://www.zhihu.com/question/19832447

 如何选择分布式文件系统?

https://segmentfault.com/q/1010000000449947

 各种分布式文件系统

http://os.51cto.com/art/201007/212689_all.htm

索引树:http://bbs.chinaunix.net/tree/index_304_1/

当下流行的分布式文件系统大阅兵

http://os.51cto.com/art/201007/212689_all.htm

 

公众号:关注【哥妞】,了解技术,学会泡妞~
[个人博客]