如何利用大数据应对网络安全攻击
一切来源于APT。
APT(高级持续威胁)攻击是一种特定攻击，是为了获取一个组织甚至一个国家的重要信息而进行的一系列有针对性的攻击的全过程。APT攻击使用多种攻击方法，包括最先进的方法和社会工程方法，一步步获取对组织的访问权限。APT经常利用组织内部的人作为攻击的跳板。有时候，攻击者会针对被攻击对象编写专门的攻击程序，而不是使用一些通用的攻击代码。此外，APT攻击是持续的，甚至长达数年。这种持续性体现在攻击者不断尝试各种攻击手段，渗透到网络后长期休眠，不断收集各种信息，直到收集到重要信息。更危险的是，这些新的攻击和威胁主要针对国家重要的基础设施和单位，包括能源、电力、金融、国防等关系国计民生的网络基础设施，或者国家的核心利益。
现有技术为什么会失败？
先看两个典型的APT攻击案例，分析盲点在哪里:
1，RSA SecureID窃取攻击
1)攻击者向RSA母公司EMC的四名员工发送了两组恶意电子邮件。邮件的标题是“2011招聘计划”，发件人是webmaster@Beyond.com，正文很简单，写着“我将此文件转发给你审核。请打开查看。”；有一个名为“2011 recruitment plan . xls”的EXCEL附件；
2)不幸的是，其中一名员工对这封邮件感兴趣，并将其从垃圾邮件中取出来阅读，但我不知道这份电子表格中竟然包含Adobe Flash的最新0-0day漏洞(CVE-2011-0609)。这个Excel打开后，表单的第一个网格里除了一个“X”(叉)什么都没有。而这个分叉其实是一个嵌入式的Flash；
3)主机被植入了臭名昭著的毒藤远程控制工具，从僵尸网络的C & ampc服务器(位于good.mincesur.com)下载指令执行任务；
4)第一批受害者并非“高层”人士，随后包括IT和非IT服务器管理员在内的相关人员陆续被黑；
5) RSA发现Staging server被入侵，攻击者立即将所有数据(均为rar格式)进行疏散、加密和压缩，并通过FTP发送到远程主机，然后再次快速远离主机，清除任何痕迹；
6)攻击者得到SecurID的信息后，开始攻击使用SecurID的公司(如上述国防公司)。
2.震网攻击
事实上，被超级工厂病毒攻击的核电站的计算机系统是与外界物理隔离的，理论上是不会被外界攻击的。坚固的堡垒只能从内部攻破，超级工厂病毒正是充分利用了这一点。超级工厂病毒的攻击者并没有大范围传播病毒，而是对核电站相关工作人员的家用电脑、个人电脑等可接入互联网的电脑发起感染攻击，作为进一步感染相关人员u盘的第一跳板。病毒以u盘为桥梁进入“堡垒”，然后潜伏下来。病毒耐心地逐步传播，利用各种漏洞，包括当时的一个0day漏洞，一点一点地摧毁它。这是一次非常成功的APT攻击，最可怕的是它对攻击范围的控制非常巧妙，攻击非常精准。
从以上两个典型的APT攻击案例可以看出，APT攻击的现代安全防御方法主要有三个盲点:
1，0日漏洞和远程加密通信
支撑现代网络安全技术最重要的理论基础是特征匹配，特征匹配广泛应用于各种主流网络安全产品，如杀毒、入侵检测/防御、漏洞扫描、深度包检测等。Oday漏洞和远程加密通信都意味着没有特征，或者特征还没有积累，这是基于特征匹配的边界防护技术难以应对的。
2.长期持续攻击
现代网络安全产品将实时性作为衡量系统能力的重要指标，追求的目标是准确识别威胁并实时阻断。对于APT这样的萨拉米攻击，基于实时点的检测技术很难应对。
3.内部网攻击
任何防御系统都会划分安全域，内网通常被划分到信任域，信任域内的通信不受监控，成为盲点。有必要加强访问端的安全方案，但这超出了本文的范围。
大数据是如何解决问题的？
大数据可以概括为基于分布式计算的数据挖掘，可以对比传统的数据处理模式来理解大数据:
1，数据采样->；整套原始数据(原始数据)
2.小数据+——>算法->；大数据+小算法+上下文关联+知识积累
3.基于模型的算法->；机械衰竭(无假设)
4.准确性+实时->过程预测
利用大数据的思想，现代网络安全技术可以改进如下:
1，具体协议报文分析->；全流原始数据捕获(原始数据)
2.实时数据+复杂模型算法->；长期全流量数据+多种简单挖掘算法+上下文关联+知识积累
3.实时和自动化->过程中的预警+手动调查
传统的安全防御措施很难检测到高级的持续性攻击。企业首先要确定用户和业务系统在日常网络中的正常行为模式，从而尽早确定自己的网络和数据是否受到攻击。安全厂商可以利用大数据技术处理事件的模式、攻击的模式、时间、空间、行为的特征，总结抽象出一些模型，成为大数据安全工具。为了准确描述威胁特征，建模的过程可能需要几个月甚至几年的时间，企业需要花费大量的人力、物力和财力来达到目的。但通过整合大数据处理资源，协调大数据处理和分析机制，在数据库间共享关键模型数据，可以加快高级可持续攻击的建模进程，消除和控制高级可持续攻击的危害。