Hadoop并非完美:8个代替 HDFS 的绝佳方案
来源:学问馆 本文已影响8.32K人
来源:学问馆 本文已影响8.32K人
HDFS(Hadoop Distributed File System)是Hadoop项目的核心子项目,是分布式计算中数据存储管理的基础,坦白说HDFS是一个不错的分布式文件系统,它有很多的优点,但也存在有一些缺点,包括:不适合低延迟数据访问、无法高效存储大量小文件、不支持多用户写入及任意修改文件。
Apache软件基金会成立的时候,HDFS就一直在想办法提高它的性能和可用性,坦白说,这也许对试点项目、非常规项目、要求不严格的大环境中比较适用,但是对于某些Hadoop用户来说,他们对于性能、可用性、企业级特性有较高的要求,且注重直接附加存储(DAS)架构,特别是老版本的Hadoop没有高性能的主节点,那么接下来8个产品就是代替HDFS的绝佳方案。
andra(DataStax)
并非一个完全的文件系统,而是一个开源、NoSQL 键值(key-value)商店。这给依靠快速数据访问的Web 应用多了一个HDFS选择。简单来说它把Hadoop融合在Cassandra里面,支持Web应用通过Hadoop快速访问数据, 而Hadoop可以快速访问流入Cassandra的数据。
Ceph 是一个开源、多管齐下的操作系统,因为其高性能并行文件系统的特性,有人甚至认为它是基于Hadoop环境下的HDFS的接班人,因为自2010年就有研究者在寻找这个特性。
ersafe:分散存储网络
本周一Cleversafe宣布将融合Hadoop的并行编程技术和自己的分散存贮网络。其原理是通过把整个元数据分布在集群中(不是依靠单个主节点、不是依靠复制),Cleversafe表示这比HDFS更快、更稳定、更具扩展性。
(IBM)
IBM一直在向高性能要求的用户销售其并行文件系统,包括世界上最快的超级电脑,2010年它推出了基于Hadoop的, 并宣布GPFS不共享集群版本比Hadoop快多了,因为
它在内核级别中运行,而不是在操作系统中运行例如HDFS。
on(EMC)
EMC提供Hadoop发行版已经一年了,但2012年1月转型为HDFS企业级别的新方案Isilon 的 OneFS文件系统。因为Isilon可以读取 NFS, CIFS以及 HDFS 协议, 一个单独的 Isilon NAS系统可以摄入、处理、分析数据。
re
HPC存储提供商Xyratex 增在2011年的一份报道中写到, 基于Lustre的集群会比基于HDFS的集群更快更便宜。
7. MapR文件系统
MapR 文件系统在业内已经具有一定知名度了,不仅MapR宣布它自己的文件系统比HDFS快2-5倍(实际上有20倍),它还具有镜像、快照、高性能这些企业用户喜欢的特点。
ppHadoop开放方案
NetApp重新改版了物理Hadoop结构:把HDFS放在磁盘阵列中,通过这样来达到更快、更稳定、更安全的Hadoop工作。
四级考试写作范文WhichModeofTravelDoYouLike
hadoop是什么-hadoop优点
school sports day的教学反思
moonlight shadow歌词
三年级下册《What does she have at school》教学案例
七年级英语下册What time do you go to school?评课稿
关于暑假计划英语作文:Plan for the Coming Summer Holiday
Unit10 You’re supposed to shake handsB评课稿大纲
父亲节英语作文:(Happy Father‘s Day,Dad)
必备英语面试口语:Why did you choose your major?
教材三年级起点第三册Module8 Sports Day Unit1 What are you going to do
室内设计3DMX和photoshop知道的高人进
中考英语作文-How to Keep safe in school
使用Photoshop做HDR合成图片
photoshop视频转gif图片的方法
MacBook Pro with Retina display 不适合做网页设计吗?
初中英语全英文《How do you make a banana milk shake 》优秀教学案例
非常完美观后感
演讲六个绝佳方法
顶尖PS高手教你用Photoshop通道抠图的简单方法
上帝的延迟并非拒绝
关于六年级的英语作文:happy Holiday
the shape of you 歌词
相对于直接操作数据库分析,hadoop和SPSS等分析软件的作用
面试英语问答口语:Honors and Rewards
How to be a good student英文演讲稿
中考英语范文:No Breakfast, No Good
Dido:thank you 中英文歌词
ps photoshop cs6 简体中文版 安装方法操作步聚
不完美的Phab2 Pro与3D传感技术的未来
英语作文WhichModeofTrave
英语作文;我的儿童节表演 My Performance on Children’s Day
8个方法完美护发的方法
葡萄牙语的历史:Revolucionários apossam-se de Porto Alegre
Why don’t you get her a scarf的评课稿
Richard St.John在Ted英语演讲:成功的八个秘诀(中英双语)
《What are you doing for vacation》课文学习教案
关于中考英语的作文:Should Euthanasia Be Legalized?
中考英语作文欣赏: Should Euthanasia Be Legalized?
Richard St.John在Ted英语演讲:
现代散文她并不完美