hadoop与谷歌的mapreduce、gfs等技术的关系。

简单来说,Hadoop是继承了Google的MapReduce和GFS思想开发的框架,后来作为开源项目交给了Apache。

MapReduce诞生于谷歌实验室。MapReduce、GFS和BigTable也被称为Google三驾马车,而Hadoop是Google三驾马车的开源实现。

2003年,谷歌发表了一篇技术学术论文《谷歌文件系统(GFS)》。GFS是google为存储海量搜索数据而设计的特殊文件系统。

2004年,Nutch创始人Doug Cutting基于Google的GFS paper实现了一个名为NDFS的分布式文件存储系统。

2004年,谷歌发表了另一篇技术学术论文MapReduce。MapReduce是一个编程模型,用于大规模数据集(1TB以上)的并行分析。

2005年,Doug Cutting在基于MapReduce的Nutch搜索引擎中实现了这一功能。

2006年,雅虎聘请了道格·卡丁(Doug Cutting),他将NDFS和MapReduce的升级命名为Hadoop,雅虎成立了一个独立的团队,为高夫·卡丁研究和开发Hadoop。