大数据分析工具详细介绍&；数据分析算法
1、Hadoop
Hadoop是一个可以分发大量数据的软件框架。但是Hadoop是以一种可靠、高效和可扩展的方式处理的。Hadoop之所以可靠，是因为它假设计算元素和存储会出现故障，所以它维护工作数据的多个副本，以确保可以为出现故障的节点重新分配处理。Hadoop是高效的，因为它以并行方式工作，从而加快了处理速度。Hadoop也是可扩展的，可以处理PB级的数据。另外，Hadoop依赖于社区服务器，所以成本相对较低，任何人都可以使用。
Hadoop是一个分布式计算平台，用户可以轻松构建和使用。用户可以在Hadoop上轻松开发和运行处理海量数据的应用。它主要有以下优点:
1.可靠性高。Hadoop一点一点存储和处理数据的能力是值得信赖的。
2.高可扩展性。Hadoop在可用的计算机集群之间分发数据和完成计算任务，可以很容易地扩展到数千个节点。
3.效率高。Hadoop可以在节点之间动态移动数据，保证各个节点的动态平衡，所以处理速度非常快。
4.高容错性。Hadoop可以自动保存数据的多个副本，并自动重新分配失败的任务。
Hadoop有一个用Java语言写的框架，所以运行在Linux生产平台上是很理想的。Hadoop上的应用也可以用其他语言编写，比如C++。
2、HPCC
HPCC的缩写，高性能计算和通信。65438-0993年，美国联邦科学、工程与技术协调委员会向国会提交了《重大挑战项目:高性能计算与通信》报告，该报告也被称为HPCC计划报告，即美国总统的科学战略项目。其目的是通过加强研究和开发来解决一些重要的科学和技术挑战。HPCC是美国实施信息高速公路的一个计划。这项计划的实施将耗资数百亿美元。其主要目标是开发可扩展的计算系统和相关软件，以支持以太网的传输性能，发展千兆位网络技术，扩大研究和教育机构及网络连接能力。
该项目主要由五部分组成:
1，高性能计算机系统(HPCS)，包括未来几代计算机系统的研究、系统设计工具、先进典型系统和原系统评估等。
2.高级软件技术和算法(ASTA)，包括对巨大挑战的软件支持、新算法设计、软件分支和工具、计算和高性能计算研究中心等。
3.国家研究和教育网格(NREN)，包括扩展坞和654.38+0亿比特传输的研发；
4.基础研究和人力资源(BRHR)包括基础研究、培训、教育和课程材料，旨在通过奖励调查人员(开始和长期调查)来增加可扩展高性能计算领域的创新意识，通过改善教育和高性能计算培训和交流来增加熟练和受过培训的人员的合资企业，并提供必要的基础设施来支持这些调查和研究活动；
5.信息基础设施技术与应用(IITA)旨在确保美国在先进信息技术发展方面的领先地位。
3、风暴
Storm是一个免费的开源软件，一个分布式和容错的实时计算系统。Storm可以非常可靠地处理巨大的数据流，可以用来处理Hadoop的批量数据。Storm很简单，支持多种编程语言，使用起来非常有趣。暴风来自Twitter，其他知名应用公司有Groupon、淘宝、支付宝、阿里巴巴、音乐元素、Admaster等等。
Storm有很多应用领域:实时分析、在线机器学习、不间断计算、分布式RPC(远程过程调用协议，通过网络向远程计算机程序请求服务)、ETL(提取-转换-加载的简称)等等。Storm的处理速度是惊人的:经过测试，每个节点每秒可以处理654.38+0万个数据元组。Storm具有可扩展性、容错性，并且易于设置和操作。
4、阿帕奇演习
为了帮助企业用户找到更有效的方法来加速Hadoop数据查询，Apache Software Foundation最近推出了一个名为“Drill”的开源项目。Apache Drill实现了Google的Dremel。
据Hadoop制造商MapR Technologies的产品经理Tomer Shiran介绍，“Drill”已经作为Apache孵化器项目运营，并将继续向全球的软件工程师推广。
这个项目将创建一个开源版本的Google Dremel Hadoop工具(Google用它来加速Hadoop数据分析工具的互联网应用)。而“钻取”将帮助Hadoop用户更快地查询海量数据集。
“Drill”项目实际上是受谷歌Dremel项目的启发:该项目帮助谷歌分析和处理海量数据集，包括分析和抓取Web文档，跟踪安装在Android Market上的应用程序数据，分析垃圾邮件，分析在谷歌分布式构建系统上的测试结果，等等。
通过开发“Drill”Apache开源项目，组织将有望建立Drill所属的API接口和灵活强大的架构，从而帮助支持广泛的数据源、数据格式和查询语言。
5、RapidMiner
RapidMiner是世界领先的数据挖掘解决方案，在很大程度上采用了先进的技术。它的数据挖掘任务涉及的范围很广，包括各种数据艺术，可以简化数据挖掘过程的设计和评估。
功能和特点
提供免费的数据挖掘技术和库。
100%使用Java代码(可以在操作系统中运行)
数据挖掘的过程简单、强大且直观
内部XML确保用标准化的格式来表示exchange数据挖掘过程。
大规模流程可以用简单的脚本语言实现自动化。
多级数据视图，确保数据有效透明。
图形用户界面的交互式原型
命令行(批处理模式)自动大规模应用
应用程序编程接口
简单的插件和升级机制
强大的可视化引擎，众多前沿高维数据的可视化建模
由400多个数据挖掘操作员支持
耶鲁大学已成功应用于许多不同的应用领域，包括文本挖掘、多媒体挖掘、功能设计、数据流挖掘、集成开发方法和分布式数据挖掘。
6、Pentaho BI
Pentaho BI平台不同于传统BI产品。它是一个以流程为中心、面向解决方案的框架。其目的是整合一系列企业BI产品、开源软件、API等组件，方便商业智能应用的开发。它的出现使得Jfree、Quartz等一系列面向商业智能的独立产品能够被整合起来，形成一个复杂完整的商业智能解决方案。
Pentaho BI平台是Pentaho Open BI suite的核心架构和基础，它以流程为中心，因为它的中央控制器是一个工作流引擎。工作流引擎使用过程定义来定义在BI平台上执行的商业智能过程。可以轻松定制流程，并添加新流程。BI平台包含用于分析这些流程性能的组件和报告。目前，Pentaho的主要组件包括报告生成、分析、数据挖掘和工作流管理。这些组件通过J2EE、WebService、SOAP、HTTP、Java、JavaScript、Portals等技术集成到Pentaho平台中。Pentaho的发行主要是以Pentaho SDK的形式。
Pentaho SDK***由五部分组成:Pentaho平台、Pentaho样本数据库、可以独立运行的Pentaho平台、Pentaho解决方案样本和一个预先配置的Pentaho网络服务器。其中，Pentaho平台是Pentaho平台最重要的部分，包含了Pentaho平台的主要源代码；Pentaho数据库为Pentaho平台正常运行提供的数据服务，包括配置信息、解决方案相关信息等。，对Pentaho平台不是必须的，可以通过配置替换成其他数据库服务；可独立运行的Pentaho平台是Pentaho平台独立运行模式的一个例子，演示了如何让Pentaho平台在没有应用服务器支持的情况下独立运行。
Pentaho解决方案示例是一个Eclipse项目，演示如何为Pentaho平台开发相关的商业智能解决方案。
Pentaho BI平台建立在服务器、引擎和组件的基础上。这些提供了J2EE服务器、安全性、门户、工作流、规则引擎、图表、协作、内容管理、数据集成、分析和系统建模功能。这些组件中的大部分都是基于标准的，可以被其他产品替代。
7、SAS企业矿工
支持整个数据挖掘过程的完整工具集
简单易用的图形界面，适合不同类型的用户快速建模。
强大的模型管理和评估功能
快速便捷的模型发布机制，促进业务闭环的形成。
数据分析算法
大数据分析主要依靠机器学习和大规模计算。机器学习包括监督学习、无监督学习和强化学习，监督学习包括分类学习、回归学习、排序学习和匹配学习(见图1)。分类是最常见的机器学习应用问题，如垃圾邮件过滤、人脸检测、用户画像、文本情感分析、网页分类等。，本质上都是分类问题。分类学习也是机器学习中研究最透彻、应用最广泛的一个分支。
最近，Fernández-Delgado等人在JMLR(机器学习研究杂志)发表了一篇有趣的论文。他们让179种不同的分类学习方法(分类学习算法)在UCI 121数据集上进行比赛(UCI是机器学习的常用数据集，每个数据集的规模都不大)。结果显示，兰登森林和SVM排名第一和第二，但两者相差不大。在84.3%的数据上，随机森林压倒了其他90%的方法。也就是说，在大多数情况下，只要使用随机森林或者SVM就能把事情搞定。
KNN
k最近邻算法。给定一些训练数据，输入一个新的测试数据点，计算这个测试数据点包含的最近点的分类。哪个分类类型占多数，这个考点的分类是一样的，所以有时候不同的分类点可以用不同的权重复制到这里。最近点更重要，远点自然更小。详细介绍链接
朴素贝叶斯
朴素贝叶斯算法。朴素贝叶斯算法是贝叶斯算法中比较简单的分类算法，它利用了一个重要的贝叶斯定理。简单一句话，就是条件概率的相互转化和推导。详细介绍链接
朴素贝叶斯分类是一种非常简单的分类算法。之所以称之为朴素贝叶斯分类，是因为这种方法的思想确实很幼稚。朴素贝叶斯分类的思想基础是这样的:对于给定的一个待分类的物品，在这个物品出现的条件下，求解每个类别的概率，哪个最大，你就会认为这个待分类的物品属于哪个类别。总的来说是这样的道理。当你在街上看到一个黑人，我问你这哥们是哪里人。十有八九，你猜非洲。为什么？因为黑人中非洲人的比例最高，当然人可能是美国人也可能是亚洲人，但是在没有其他可用信息的情况下，我们会选择条件概率最大的类别，这就是朴素贝叶斯的思想基础。
SVM
支持向量机算法。支持向量机(SVM)算法是一种分类线性和非线性数据的方法。当对非线性数据进行分类时，可以将核函数转化为线性，然后进行处理。其中一个关键步骤是寻找最大边超平面。详细介绍链接
推测的
Apriori算法是一种关联规则挖掘算法，通过连接和剪枝操作挖掘频繁项集，然后根据频繁项集获取关联规则。关联规则的导出需要满足最低置信度要求。详细介绍链接
PageRank
网页重要性/排名算法。PageRank算法最早产生于Google，其核心思想是以一个网页的链接数量作为判断一个网页速度的标准。如果1网页包含多个外链，PR值会被平分，PageRank算法也会被LinkSpan攻击。详细介绍链接
随机森林
随机森林算法。算法的思路是决策树+boosting。决策树采用CART分类回归数。通过组合每个决策树的弱分类器，形成最终的强分类器。在构造决策树时，采用随机数量的样本和随机的部分属性来构造子决策树，避免了过拟合现象。详细介绍链接
人工神经网络
“神经网络”这个词其实来源于生物学，我们所指的神经网络的正确名称应该是“人工神经网络(ANNs)”。
人工神经网络也具有初步的自适应和自组织能力。改变学习或训练过程中的突触权重，以适应周围环境的要求。同一个网络，由于学习方法和内容不同，可以有不同的功能。人工神经网络是一个具有学习能力的系统，可以开发出超越设计者原有知识水平的知识。通常，它的学习和训练方法可以分为两种。一种是监督或监督学习，其中给定的样本标准用于分类或模仿。另一种是无监督学习或无监督导师学习。此时只规定了学习方法或一些规则，具体的学习内容随系统所处的环境(即输入信号情况)而变化。系统可以自动发现环境特征和规律，更类似于人脑的功能。