大数据比云计算更成功。
云计算是一种基于互联网增加、使用和交付相关服务的模式,通常涉及通过互联网提供可动态扩展且往往是虚拟化的资源。云是网络和互联网的隐喻。在过去,云经常被用来表示电信网络,后来它也被用来表示互联网和底层基础设施的抽象。狭义的云计算是指IT基础设施的交付和使用方式,指通过网络以按需、易扩展的方式获取所需资源;广义的云计算是指服务的交付和使用方式,是指通过网络以按需、可扩展的方式获取所需的服务。该服务可以与IT和软件、互联网或其他服务相关。意味着计算能力也可以通过互联网作为商品流通。
大数据,或称海量数据,是指涉及如此巨量的数据,无法通过目前主流的软件工具,在合理的时间内进行捕捉、管理、处理和整理,以帮助企业做出更加积极的商业决策的信息。大数据的4V特征:量、速、变、准。
从技术上讲,大数据和云计算的关系就像硬币的正反面一样密不可分。大数据不能由单台计算机处理,必须采用分布式计算架构。其特点在于对海量数据的挖掘,但必须依靠云计算的分布式处理、分布式数据库、云存储和虚拟化技术。
大数据管理,分布式文件系统,如Hadoop、Mapreduce数据分段和访问执行;与此同时,在SQL的支持下,在以Hive+HADOOP为代表的SQL接口的支持下,在大数据技术上用云计算构建下一代数据仓库成为热门话题。从系统需求的角度来看,大数据的架构对系统提出了新的挑战:
1,集成度更高。标准机箱可以最大限度地完成特定任务。
2.配置更合理,速度更快。存储、控制器、I/O通道、内存、CPU、网络的均衡设计,是数据仓库访问的最佳设计,比传统同类平台高出一个数量级以上。
3.整体能耗更低。同样的计算任务,能耗最低。
4.系统更加稳定可靠。它可以消除各种单点故障环节,统一一个元器件的质量和标准。
5.管理和维护成本低。数据仓库的日常管理完全集成。
6.系统扩展和升级的计划和可预见的路线图。
云计算和大数据之间的关系
简单来说:云计算是硬件资源的虚拟化,而大数据是海量数据的高效处理。虽然这个解释不完全恰当,但是可以帮助不太了解这两个名字的人很快理解其中的区别。当然,如果解释的更形象一点,云计算就相当于我们的电脑和操作系统,将大量的硬件资源虚拟化,然后分配使用。
可以说,大数据相当于海量数据的“数据库”。纵观大数据领域的发展,我们也可以看到,目前大数据的发展一直在向类似于传统数据库的体验方向发展。总之,传统数据库为大数据的发展提供了足够的空间。
大数据的整体架构包括三层:数据存储、数据处理和数据分析。数据首先要通过存储层进行存储,然后根据数据需求和目标建立相应的数据模型和数据分析指标体系,对数据进行分析,产生价值。
中间及时性是由中间数据处理层提供的强大的并行计算和分布式计算能力来完成的。三者相互配合,让大数据产生终极价值。
不管云计算目前的发展如何,未来的趋势是:云计算作为计算资源的底层,支持上层的大数据处理,大数据的发展趋势是实时交互的查询效率和分析能力,借用Google的一篇技术论文里的话来说真的很刺激:“点点鼠标就能操作PB级的数据”。