企业定期收集几TB与安全相关的数据(比如网络事件、软件应用程序事件，以及人员活动事件)，用来作合规性和事后取证分析。据估计，不同规模的大型企业每天发生的事件在上百亿到上千亿之间。随着企业启用的事件记录源越来越多，雇用的员工越来越多，部署的设备越来越多，运行的软件越来越多，这些数值还会继续增长。不幸的是，这种数据量和多样性会迅速变成骆驼背上的稻草。现有分析技术无法应对大规模数据，通常都会产生很多误报，因此功效被削弱了。随着企业向云架构迁移，并且收集的数据越来越多，这个问题进一步恶化了。

大数据分析—信息的大规模分析和处理—在几个领域用的热火朝天，并且最近这些年，因其承诺以前所未有的规模高效地分析和关联与安全相关的数据，也引起了安全社区的兴趣。然而，对安全而言，传统数据分析和大数据分析之间的差异并不是那么直观。毕竟信息安全社区十多年来一直在利用网络流量、系统日志和其它信息源的分析甄别威胁，检测恶意活动，而这些传统方式跟大数据有何不同还不清楚。

为了解决这个问题，还有其它问题，云安全联盟(CSA)在2012年成立了大数据工作组。这个工作组由来自业内的和院校的志愿者组成，共同确定这一领域内的原则、纲领及所面临的挑战。它最新的报告，“安全智能中的大数据分析”，重点探讨了大数据在安全领域中的作用。在这份报告中，详细阐述了利用大量结构化和非结构化数据的新工具的介入及广泛使用如何改变了安全分析领域。它还罗列了一些跟传统分析的基本差异，并指出了一些可能的研究方向。我们对这份报告中的一些关键点做了汇总。

大数据分析的进展

数据驱动的信息安全数据可以支撑银行的欺诈检测和基于异常的入侵监测系统(IDSs)。尽管为了取证和入侵检测，对日志、网络流和系统事件进行分析已经是信息安全社区面对了十多年的问题了，然而出于几个原因，传统技术有时候对长期的、大规模的分析支持力度不够：首先是以前保留大量的数据在经济上不可行。因此在传统的基础设施中，大多数事件日志和其他记录的计算机活动在一个固定的保留期(比如60天)后就被删除了。其次，在那种不完整，还很嘈杂的大型、非结构化数据集上执行分析和复杂查询的效率很低下。比如说，几个流行的信息安全和事件管理(SIEM)工具都不支持对非结构化数据的分析和管理，被严格限定在预定义的数据方案上。然而，因为大数据应用程序可以有效地清理、准备、查询那些异构的、不完整的、嘈杂格式的数据，所以它们也开始成为信息安全管理软件的一部分。最后，大型数据仓库的管理传统上都很昂贵，并且它们的部署通常需要很强的业务案例。而Hadoop框架和其它大数据工具现在将大规模的、可靠的集群部署商品化了，因此在数据处理和分析上出现了新的机会。

(责任编辑：)