网络安全与大数据技术应用讨论文件

随着互联网技术的快速发展和普及，互联网技术已经广泛应用于人们的工作和生活中，给人们带来了前所未有的便利，但与此同时，各种网络安全问题也随之出现。基于此，本文主要介绍大数据技术在网络安全领域的具体应用，希望在研究网络系统安全的同时，为互联网行业的可持续发展提供可行的理论参考。

关键词:网络安全；大数据技术；应用分析

序

随着近年来互联网技术的不断发展，网络安全事故也频繁发生。由于网络信息安全的重要性，我国于2014年成立了国家安全委员会，正式将网络安全提升为国家战略部署。这也表明我国网络信息安全形势不容乐观，网络攻击处于高发状态。特洛伊机器人、恶意勒索软件、分布式拒绝服务攻击以及窃取用户敏感信息等各类网络攻击的数量位居全球前列。手机恶意程序、APT、DDOS、特洛伊病毒等网络攻击频发，不仅会严重阻碍网络带宽、拖慢网速，还会对电信运营商的企业信誉造成一定影响。大量数据表明，新一代网络威胁已经不能仅靠传统的网络防范措施来应对，通过准确的检测和分析进行预警已经成为现阶段网络安全能力的关键。

1网络安全问题分析

网络安全不仅关系到公民的隐私和信息安全，也关系到国家安全。例如，雅虎的信息泄露已经导致至少5亿条用户信息被窃取。美国棱镜门、希拉里邮件门等事件使网络安全问题进一步升级和扩大。随着互联网架构的日益复杂，用于网络安全分析的数据量也在不断增加。在从TB级走向PB级的过程中，不仅数据来源更加丰富，内容更加细化，而且数据分析所需的维度也更加广泛。随着目前网络性能的增长，数据源传输速度更快，安全信息收集速度更高，版本更新延迟导致的Odav等漏洞日益增多，网络攻击的影响范围进一步扩大；比如APT这种有组织、有针对性、长期潜伏的多阶段组合攻击，防范难度更大。只有分析更多种类的安全信息，综合各种手段，才能检测和抵御。在传统的技术架构中，大多采用结构化数据库来存储数据，但由于数据存储的成本较高，系统往往会对原始数据进行标准化处理后再存储，容易导致数据的丢失和失真，以及历史数据难以保存带来的溯源困难。同时，对嘈杂的大规模非结构化数据集进行分析和复杂查询的效率很低，导致数据的实时性和准确性难以保证，安全运行效率低下。因此，传统的网络安全技术已经难以满足现阶段网络安全分析的新要求。大数据技术的概念是由维克托·迈尔·勋伯格和肯尼斯·库克耶在2008年出版的《大数据时代》一书中首次提出的。大数据是指对所有数据进行综合分析和处理，而不是随机分析。大数据技术作为现阶段信息架构发展的第一趋势，因其独有的高速性、多样性、多样性、低价值密度等特点，近年来被广泛应用于互联网的诸多领域。大数据的战略意义在于可以掌握海量的数据信息，从而实现海量原始安全信息的存储和分析。与传统数据库相比，分布式数据库的存储成本降低，数据易于在低成本的硬件上横向扩展，大大降低了安全投入的成本。随着数据挖掘能力的极大提高，安全信息收集和检测的响应速度也越来越快。异构、海量数据存储的支持，构建了多维、多阶段关联分析的基础，增强了分析的深度和广度。对于网络安全防御，对不同来源的数据进行综合管理、处理、分析和优化，可以实现海量数据中目标数据的快速锁定和分析结果的实时反馈，这对于现阶段的网络安全防御非常重要。

2大数据在网络安全中的应用

将大数据应用于网络安全分析，不仅可以优化和处理数据，还可以综合处理日志和访问行为，从而提高事件处理的效率。大数据技术在网络安全分析中的作用可以从以下几点具体分析:

2.1数据采集效率

大数据技术可以分布式采集数据，可以达到每秒百兆的采集速度，大大提高了数据采集速率，这也为后续的关联分析奠定了基础。

2.2数据存储

在网络安全分析系统中，原始数据的存储非常重要。大数据技术可以根据不同的数据类型收集不同的数据，并可以主动使用不同的方式提高数据查询的效率。比如查询日志信息时适合使用列存储，而分析处理标准化数据时适合使用分布式方式进行预处理，数据处理后的结果可以存储在列存储中。或者可以在系统中设置一个MapReduce的查询模块。查询时可以直接把指令放在指定的节点上，处理后再整理出节点，这样可以保证查询速度和响应速度。

2.3实时数据分析和后续数据处理

在对实时数据的分析中，可以采用相关分析算法或CEP技术进行分析，可以实现数据采集、分析、处理的全过程，实现更高速度、更高效率的处理；对于统计结果和数据的处理，由于这种处理对时效性要求不高，可以采用各种数据处理技术或离线处理方式，从而更好地完成系统风险和攻击的分析。

2.4复杂数据的分析

在分析不同来源、不同类型的复杂数据时，大数据技术可以更好地完成数据分析和查询，可以有效处理复杂数据、安全风险、恶意攻击等方面。当网络系统出现恶意破坏和攻击时，可以利用大数据技术，从流量和DNS的角度实现全方位的防范和抵御。

3基于大数据技术构建网络系统的安全性分析

将大数据技术引入网络安全体系主要涉及以下三个模块:

3.1数据源模块

随着互联网技术的发展，网络安全系统中的数据和数据源将会成倍增加。分布式收集器可以从系统中的软件和硬件收集信息。除了防火墙、检测系统等软件，对设备硬件的要求也在提高，比如服务器、内存的检查维护。

3.2数据采集模块

大数据技术可以对数据进行逆向分析，从而构建分布式的数据基础，对原始数据从出现到删除进行解释，真正实现数据访问和可追溯的功能，特别是对于数据量越来越大的今天，分布式的数据存储可以更好的提高数据库的稳定性。

3.3数据分析模块

对于网络安全系统的运行来说，用户的业务系统是最终的安全对象。大数据分析可以在用户数据产生之初就对其进行及时的分析和反馈，让网络用户获得更加个性化的服务体验。对于用户来说，得偿所愿也会对网络系统和大数据技术产生更多的信任，对个人安全和隐私信息在系统上存储的疑虑也会大大减少。目前，网络与信息安全领域正面临着全新的挑战。企业、组织和个人用户每天都会产生大量的安全数据，现有的安全分析技术已经不能满足高效、准确的安全分析需求。大数据技术特有的灵活、海量、快速、低成本、高容量等网络安全分析能力，已经成为现阶段行业的趋势。对于互联网公司来说，数据的深加工是实现数据增值的关键，对企业运营至关重要。

4结论

当今时代，信息数据已经渗透到各个行业和业务领域，成为重要的社会生产要素。正因为如此，互联网数据量也与日俱增，给网络安全分析带来了一定的困难和压力，而大数据技术可以完善这一问题。大数据技术在网络系统中的应用，不仅可以满足人们对数据处理的高效性和准确性的要求，还可以在此基础上构建一个相对完善的预防和预警体系，对维护网络系统的安全起到非常关键的作用。相信大数据技术在未来会得到更广泛的应用。

参考资料:

【1】卢万生。论大数据技术在网络安全分析中的应用[J].数字世界，2017。

[2]，王，，金华民等.大数据技术在网络安全分析中的应用[J].电信科学，2015。

[3]孙玉。论大数据技术在网络安全分析中的应用[J].网络安全技术与应用，2017。

；