大数据分析技术在网络安全领域的价值日益凸显。从保护网络信息安全的角度出发， 在网络流量分析领域进行了深入研究和实践，从采集存储海量网络流量元数据到使用大数据平台进行安全关联分析，进而利用挖掘出的信息来加强网信息安全保障。

2013 年 , 前美国中央情报局（CI A）雇员爱德华·斯诺登向媒体披露了包括“棱镜”项目在内的美国政府多个秘密情报 监视项目，曝光了美英等国对大量网络通信元数据（MetaData）进行大规模分析来实现用户追踪和情报搜集的内幕，美国政府宣称这些数据分析的目的是为了反恐和网络安全需要。社会公众也由此第一次了解到大数据技术在网络信息安全领域 和国家安全体系中发挥的巨大作用。

网络信息安全领域的攻防对抗在不断升级，其本质还是双方知识的较量。无论是攻击者还是防守方，谁能够率先从 海量信息中筛选和分析出有价值的内容，谁就能在攻防中占据先机。

1 网络流量分析平台的建立

现在提大数据分析是件非常流行的事情，但是困惑很多人的是大数据的来源。没有数据怎么研究下去？数据集小就不能反映真实情况，也无法通过验证反馈来不断改进提高。本文基于网络交换、路由、防火墙、审计设备、应用服务器、办公主机设备的诸多特性（Mirror、ACL、PBR、Multicast 等），设计并建设高性能的网络流量分析平台，不仅可以满足10G规模的流量分析需求，通过分布式的部署可以使用TAP（网络分路器）扩容至100G以上流量的实时汇聚和分离，此平台为进行后续海量元数据的分析提供了稳定的流量支撑。

这套平台可以灵活实现网络交换、路由、防火墙、审计设备、应用服务器、办公主机设备端口级别的一到多、多到一、多到多的流量复制，为不同的应用业务系统（例如入侵检测系统，应用层安全审计系列，缓存加速系统，应用协议识别系统等）提供各自需要的流量来源。在复制的过程中可以使用过滤规则、VLAN、IP、等进行各种五元组级别和应用源端口/目的端口、协议的流量过滤，降低最终业务系统的负载。也可以实现一条或几条高负载 10G流量到更多区域节点 10G 或 1G 链路流量的汇聚，网络分路器通过多路负载均衡来提高整体处理能力。

2元数据的定义、采集和存储

传统主干网的安全监测基于各主干节点路由器提供的NetFlow/sFlow输出信息，对这些数据进行实时分析和关联 历史信息挖掘，从网络流量的异常连接当中，根据统计可以迅速发现很多安全事件。比如 DDoS 类型 Flood 攻击， 针对特定端口的大范围网络扫描，利用开放式递归 DNS 查 询和 NTP 查询进行流量放大攻击等事件，都可以依赖 flow 信息来源及时预警出来。但是随着人们对网络攻防和安全研究的深入了解，逐渐认识到仅仅依靠抽样获取的f low 信息来对网络进行安全监测还是很不完整的。

基于网络流量得到的各种类型元数据信息量会非常丰富，并且存储一定时间段数据所付出的代价对很多单位和公司来说都在可承受范围内。

Ø 基于不加密的 HTTP 请求和响应报文，可以抽取出 Web 访问的元数据 ；

Ø 基于 FTP 请 求和响应报文，可以抽取出FTP 访问的元数据 ；

Ø 基于 DNS 协议的 Query 和 Response 信息，可以抽取出域名请求和响 应的元数据 ；

Ø 基于全部网络流量配合应用层协议分析，可以抽取出五元组和应用类型相关的交互关联元数据。

Ø 基于加密的 HTTPS 请求和响应报文，可以使用解密模型进行进行数据的解密，并提取Web 访问的元数据分析。

Ø 有很多商业用户行为审计或者流量控制产品可以通过网络应用性能管理系统输出不同类型和格式的元数据。

明辰智航-网络分路器TAP

明辰智航网络分路器是一款以太网流量复制设备，该设备能够在不中断网络正常流量的情况下，实时获得网络流量，是运营商网络流量分析及增值业务系统、移动网络信令监测及内容监测系统、IDC 内容审计检测、IP 网络安全、IP 入侵检测、IP内容审计等获取网络流量及大数据分析平台建立不可或缺的设备。

应用场景1

应用场景2

应用场景3

推荐阅读：

     明网网络应用性能管理系统