随着信息技术的快速发展和广泛应用,物联网,大数据,云计算等新技术的出现,催生互联网新产品和新模式不断涌现。以金融行业为例,网上银行,网上交易,互联网金融等新技术的产生,给人们带来了极大便利的同时,也带来了诸多安全问题。当前计算机网络与信息安全领域,正面临着一场全新的挑战。一方面,伴随大数据和云计算时代的到来,安全问题正在变成一个大数据问题,企业和组织的网络及信息系统每天都在产生大量的安全数据,并且产生的速度越来越快。另一方面,国家,企业和组织所面对的网络空间安全形势严峻,需要应对的* * *和威胁变得日益复杂,这些威胁具有隐蔽性强,潜伏期长,持续性强的特点。
面对这些新挑战,传统的企业安全管理平台局限性显露无遗,主要体现在以下几个方面:
-
<李>海量数据的处理
- 缺乏深度挖掘手段
当前网络环境中新型***手段层出不穷，与传统***手段不同，新型***手段更加隐蔽，用传统检测方法更加难以发现，比如APT***。面对新型***手段的长期性、隐蔽性和高级性，传统的基于实时分析的监控技术已经不再适应，为了防止新型***手段造成的危害，有必要对历史安全数据进行深层的离线挖掘，从大量的历史数据之中发现新型***行为的端倪，从而防患于未然。
以上问题，可以用一句话来总结，即海量、多源异构、分散独立的安全数据，给传统的企业安全管理平台带来了分析、存储、检索上的诸多难题。由此看来，新一代企业安全管理平台应该以大数据平台架构为支撑，支持超大数据量的采集、融合、存储、检索、分析、态势感知和可视化，将过去分散的安全信息进行集成与关联，独立的分析方法和工具进行整合形成交互，从而实现智能化的安全分析与决策，将机器学习、数据挖据等技术应用于安全分析，并且要更快更好地的进行安全决策。大数据的发展给企业安全管理平台带来了新的挑战，但是其催生出的大数据技术也给企业安全管理平台带来机遇和全新的活力。
何为大数据？
大数据的通俗定义为“用现有的一般技术难以管理的大量数据的集合”，广义定义为“一个综合性概念，它包括因具备4V（海量/多样/快速/价值，Volume/Variety/Velocity/Value）特征而难以进行管理的数据，对这些数据进行存储、处理、分析的技术，以及能够通过分析这些数据获得实用意义和观点的人才和组织。”
大数据具有四个重要特征（即4V特点）：Volume（海量）、Variety（多样）、Velocity（快速）、Value（价值）。
Volume指的是数据量规模巨大到无法通过目前主流软件工具进行有效处理和分析，所以有必要变更传统的数据处理和分析方法。
Variety指的是数据来源广、形式多样，包括结构化数据和非结构数据，非结构数据的增长速度比结构化数据的增长速度更快，并且具有十分可观的利用价值，对其进行分析可以揭露出以前很难或无法确定的重要信息。
Velocity是指相对于传统数据处理系统而言，大数据分析系统对实时性的要求更高，需要在很短的时间内完成计算，否则得出的结果将是过时的、无效的。浅谈大数据下的企业安全管理平台
企业安全管理平台管理涉及企业网络中的各种安全设备,网络设备,应用系统等,每天会产生大量的安全事件和运行日志等安全数据,其数据量可能非常巨大。面对海量的安全数据,安全管理人员很难从中发现有价值的信息,另一方面,面对海量数据时,传统的企业安全管理平台技术架构在数据采集,存储,分析处理和展现方面也遭遇不同瓶颈。 <李>多源异构数据采集
企业网络中的各种安全设备,网络设备,应用系统等均可能涉及不同种类不同厂家,由于各设备的产品差异性,企业安全管理平台面对的安全数据在结构和格式上均不统一,给数据分析带来困难。这一问题造成企业安全管理平台数据采集效率降低,从而导致性能上遇到瓶颈。 <李>安全数据分散和孤立
企业网络中的各种安全设备,网络设备,应用系统等会分散在网络的不同位置,如果各个数据之间缺乏有效的关联,则会导致安全信息的孤立,形成信息孤岛,无法对大量数据进行整体性的分析。目前网络中的* * *行为一般都是分段式的* * *方式,每个步骤都可能由不同的安全设备监测发现并存在于不同日志当中,如果仅对单独设备安全日志进行分析则难以发现完整* * *行为。为了提高安全数据分析的准确性,就需要通过基于大数据的事件关联分析,找出多条报警之间的相关性,从中发现潜在的威胁行为或* * *行为。
