欢迎来到 黑吧安全网 聚焦网络安全前沿资讯,精华内容,交流技术心得!

开源软件创建SOC的一份清单

来源:本站整理 作者:佚名 时间:2018-05-02 TAG: 我要投稿

0×01 概要
现在各个公司都有自己的SOC安全日志中心,有的是自己搭建的,有的是买厂商的,更多的情况是,各种复合类的的组织结构。这些日志来自不同的服务器,不同的部门五花八门。如果是买的设备,设备可能是一整套的方案,有自己的流理量监听与安全日志中心,但因为成本的原因,不能所有地方都都部署商业产品,必然会有自己的SOC系统,商业系统也不可能去监听分析,太边界的日志,处理起来也力不从心,首先本地化的数据不通用,商用产品也没法构建安全策略。开源和自己构建的系统可以高度的定制化,但与商业产品不能有机的结合,就没办法发挥最大效用。
0×02 需求分析
抛出问题,我们首先要收集各种日志,监听流量,让设备去发现流量中的威胁,我们来汇总报告数据,结合我们收集来的所有数据,去溯源,去发现更多的历史痕迹。内网安全和外网不一样的地方是,内网有各种日志和设备,采用什么方式取,什么方式存,用什么工具,可能都不统一。但总来说,我们主要的手段监听危险行为:1.分析流量;2.分析日志。 像tenable这种工具,就是提供了全栈系列的解决方案。 她会把流量中各种协议解析出来配合自己的策略报警,还提供了与外部系统交互的方式,syslog和rest api都是典型变互手段,paloato的IDS也一样,有的是基于rest的,有的是基于xml的交互的。总体我们就是有自己的分析结果,还有厂商的分析果,如何整体到一起,威胁情报更准确,就是我们想要的。
0×03 日志收集流程
其实我们构建自己的SOC也是从流量和日志,还有策略方面考虑的, 用什么策略,又反过来也推动了工具的选择。这篇我们考虑不是如何存数据,而是我们采用一个什么的结构,可以从海量的日志来,取得我们想要的有用的数据,用机器和自动化的方式,代替人工甄别数据的工作量的耗时,提供一种思路。

0×04 日志种类
从大的粒度角度讲,我们的日志就是几类:
1.流量日志:典型的流量日志,比如我们网络镜像分光过来的日志,然后用snort或是pcap去监听流量中,我们最关注的数据,比如http报文,或是mysql的执行sql数据。
2.设备日志:厂商的设备,一般会去监听流量,通过监听流量,存储日志再分析,进行威胁报告,这些高中低威的威胁日志数据就是我们需要的,也是我们要重点过滤的。这个有一个误报的问题,如果设备知道自己是误报,就不报了,就不用我们过滤了,但误报也是正常,那有不误报的设备,如果真没用的,可以看看是不是设备断电了。
3.服务日志:比如云的HTTP的日志,路由器的日志,邮件服务日志,这种日志我们也可以分析收集,分析服务中可能存在的安全问题。
4.agent日志:agent的日志是大量的,比如zabbix这种模式收集了大量这种日志。(图上没画)
0×05 日志处理相关工具链
搭建这些服务器,有很多都通用的的工具,大家可以按方抓药,很多都是开源软件,主要的成本的是实践的时间成本。
流量监听类:
dpdk:dpdk 为 Intel 处理器架构下用户空间高效的数据包处理提供了库函数和驱动的支持,它不同于 Linux 系统以通用性设计为目的,而是专注于网络应用中数据包的高性能处理。
也就是 dpdk 绕过了 Linux 内核协议栈对数据包的处理过程,在用户空间实现了一套数据平面来进行数据包的收发与处理。在内核看来,dpdk 就是一个普通的用户态进程,它的编译、连接和加载方式和普通程序没有什么两样。
netmap是一个高效的收发报文的 I/O 框架,已经集成在 FreeBSD 的内部了。 当然,也可以在 Linux 下编译使用 。
pcap:流量抓包基础工具,tcpdump等流理工具的底层包。
流量复制类:
tcpycopy:流量监听和流量重放工具,可以实时,或是将记录下来的pcap文件重放。
http-miroor:http的镜像,是nginx的插件,可以将nginx,openresty流量,并发镜像一份。
开源IDS:
suricata:Suricata是一个高性能的网络入侵检测(IDS)、入侵防御(IPS)和网络安全监控的多线程引擎,内置支持IPv6。可加载snort规则和签名,支持barnyard2。使用pcap提供的接口进行抓包,运行前电脑必须安装有pcap才可以使用。
snort:在1998年,Marty Roesch先生用C语言开发了开放源代码(Open Source)的入侵检测系统Snort.直至今天,Snort已发展成为一个多平台(Multi-Platform),实时(Real-Time)流量分析,网络IP数据包(Pocket)记录等特性的强大的网络入侵检测/防御系统(Network Intrusion Detection/Prevention System),即NIDS/NIPS.Snort符合通用公共许可(GPL——GNU General Pubic License),在网上可以通过免费下载获得Snort,并且只需要几分钟就可以安装并开始使用它。snort基于libpcap。
日志中心SOC:
graylog:Graylog 是一个简单易用、功能较全面的日志管理工具,相比 ELK 组合, 优点:部署维护简单,查询语法简单易懂,内置简单的告警,可以将搜索结果导出为 json,提供简单的聚合统计功能,UI 比较友好。
splunk:Splunk 是机器数据的引擎。使用 Splunk 可收集、索引和利用所有应用程序、服务器和设备生成的快速移动型计算机数据 。 使用 Splunking 处理计算机数据,可让您在几分钟内解决问题和调查安全事件。监视您的端对端基础结构,避免服务性能降低或中断。以较低成本满足合规性要求。关联并分析跨越多个系统的复杂事件。获取新层次的运营可见性以及 IT 和业务智能。
服务日志:企业内部的服务日志太多了,邮件、网关、vpn、云日志,不一一介绍。
所以这些工作的第一步,就是将这些数据都放到合适的容器了里,数据库还是很多的,这里特别要说的是clickhouse,clickhouse是用来分析用户行为的,用于安全领域也是可以有的。

[1] [2]  下一页

【声明】:黑吧安全网(http://www.myhack58.com)登载此文出于传递更多信息之目的,并不代表本站赞同其观点和对其真实性负责,仅适于网络安全技术爱好者学习研究使用,学习中请遵循国家相关法律法规。如有问题请联系我们,联系邮箱admin@myhack58.com,我们会在最短的时间内进行处理。
  • 最新更新
    • 相关阅读
      • 本类热门
        • 最近下载