大数据安全

全分析与管理系统的功能架构分为:数据采集层、存储与工具层、应用交互层、云端数据层,如下图所示:



l   数据采集层

数据采集层由流量传感器和日志采集器两个硬件组成。其中流量传感器的主要功能是接收来自内网的镜像流量,将网络原始数据进行解析、还原,并形成统一的流量日志格式上传到分析平台进行保存。日志采集器的主要功能是对内网各业务应用系统、设备、服务器、终端等设备通过主动采集或被动接收等方式对日志进行采集。另外日志采集器还负责对内网资产进行主动扫描,以获得内网资产数据。

l   存储与工具层

存储与工具层主要是将采集到的数据进行分部式存储和索引,以便上层应用根据需求随时调用。同时本层还包括多种数据处理引擎,包括:规则引擎、资产识别引擎、数据搜索引擎、关联分析引擎、统计分析引擎等。这些引擎分别提供各种功能接口,上层应用通过接口调用这些工具引擎对采集到的数据进行分析和处理。

l   应用交互层

       行为发现、核查处治、证据固化、攻击回溯、深度分析、事件溯源、背景研判以及拓展深化是处理不同威胁的        过程中必须遵循的流程闭环。

应用交互层根据威胁处置的闭环流程设计,将产品功能按照威胁处置的不同应用场景分成了日志检索、资产管理、关联分析、告警响应中心、报表中心、网站监控和态势感知大屏等多个应用模块。

l   云端数据层

互联网端的威胁情报数据来源于360互联网威胁情报中心,目前包括超过100种未公开(首次发现)APT攻击行为,并且每个月以不低于10个的速度在增长。依托互联网端对5亿PC终端和6亿移动终端实时保护产生的海量大数据,以及全球最大的IP、DNS、URL、文件黑白名单四大信誉数据库,同时可以对互联网上活跃的未被发现的攻击进行记录。目前DNS库拥有50亿DNS解析记录,每天新增100万; 样本库总样本95亿,每天新增900万;360 URL库每天处理100亿条,覆盖国内60%客户端;主防库,覆盖5亿客户端,总日志数50000亿条,每天新增100亿条。