网络态势感知相关知识汇总（一）——九大问题

博主： P6oy
发布时间：2022 年 11 月 23 日
56 次浏览
暂无评论
3749字数
分类：超高技术力

——# 概念与分类

## 概念

* 数据采集：利用各类传感器，通过多种途径获取具有一定意义的信息。
* 态势数据采集：利用各类传感器通过多种途径获取可理解的、有价值的跟安全相关的信息。

## 分类

* 按采集数据分
  
  1. 静态数据
  2. 动态数据
  3. 态势数据=静态数据+动态数据
* 按数据来源分
  
  1. 日志
  2. 流量
* 按采集方式分
  
  1. 被动采集
  2. 主动采集

# SYSLOG

## 采集原理

![image.png](https://new.p6oy.top/usr/uploads/2022/11/2480513318.png)

KLOGD：收集来自内核的消息，跟据SYSLOG.CONF文件配置写入各个指定日志文件。
SYSLOGD：收集来自WEB和其他程序的消息，根据SYSLOG.CONF文件配置，写入指定日志文件。

## 传输原理

![image.png](https://new.p6oy.top/usr/uploads/2022/11/1021268854.png)

* UDP/TCP通过514PORT将信息发送到SYSLOGD
* 用户进程通过SYSLOG函数将消息转换成为LOG套接字再发送到SYSLOGD
* 内核例程通过KLOG传给SYSLOGD
* SYSLOGD传到文件或日记用户进程或其他主机

### 格式

* 选择器：
  `设备+"."+优先级`
* 设备是产生消息的源头
  ![image.png](https://new.p6oy.top/usr/uploads/2022/11/3191872884.png)
* 动作：日志处理方式
  ![image.png](https://new.p6oy.top/usr/uploads/2022/11/4162567293.png)
  
  例：

```syslog
kern.emerg	/dev/console
//一旦发生紧急情况就显示在控制台上
```

# NETFLOW

![image.png](https://new.p6oy.top/usr/uploads/2022/11/359165663.png)

# NMAP

* 主机发现
  ![image.png](https://new.p6oy.top/usr/uploads/2022/11/2331797003.png)
* 端口扫描
  ![image.png](https://new.p6oy.top/usr/uploads/2022/11/2070811687.png)
  ![image.png](https://new.p6oy.top/usr/uploads/2022/11/1190334657.png)
* 版本侦测
  ![image.png](https://new.p6oy.top/usr/uploads/2022/11/4045571607.png)
* 操作系统侦测
  ![image.png](https://new.p6oy.top/usr/uploads/2022/11/4261057587.png)

# 态势数据融合

## 概念

利用各种技术对实时获得的若干数据，在一定准则下加以分析、综合，以完成所需决策和评估任务而进行的数据处理过程。

## 模型

![image.png](https://new.p6oy.top/usr/uploads/2022/11/3755843499.png)

# JSON和XML

![image.png](https://new.p6oy.top/usr/uploads/2022/11/739444625.png)

![image.png](https://new.p6oy.top/usr/uploads/2022/11/3494222527.png)

![image.png](https://new.p6oy.top/usr/uploads/2022/11/4141887046.png)

## 示例

![image.png](https://new.p6oy.top/usr/uploads/2022/11/3756095885.png)
![image.png](https://new.p6oy.top/usr/uploads/2022/11/2789880917.png)

# 态势数据存储

## HDFS分布式存储系统

* 高可靠性
* 高扩展性
* 高吞吐率

## YARN资源管理系统

* 集群资源统一管理调度

## MAPREDUCE分布式计算框架

* 易于编程
* 高容错性
* 高扩展性

# HDFS

## 写

![image.png](https://new.p6oy.top/usr/uploads/2022/11/4115544712.png)

1. CLIENT通过DISTRIBUTED FILESYSTEM模块向NAMENODE请求上传文件，NAMENODE检查目标文件是否已存在，父目录是否存在。
2. NAMENODE返回是否可以上传。
3. 客户端请求第一个BLOCK上传到哪几个DATANODE服务器上。
4. NAMENODE返回3个DATANODE节点（DN1、DN2、DN3）。
5. CLIENT通过FSDATAOUTPUTSTREAM模块请求DN1上传数据， DN1调用DN2，DN2调用DN3，建立通信管道。
6. DN1、DN2、DN3逐级应答CLIENT。
7. CLIENT向DN1上传第一个BLOCK，以PACKET为单位，DN1将PACKET传给DN2，DN2传给DN3。
8. 当一个BLOCK传输完成后，CLIENT再次请求NAMENODE上传第二个BLOCK的服务器。

## 读

![image.png](https://new.p6oy.top/usr/uploads/2022/11/3256797328.png)

1. CLIENT调用文件系统对象DISTRIBUTEDFILESYSTEM的OPEN方法。
2. 返回FSDATAINPUTSTREAM对象。
3. 构造DFSINPUTSTREAM对象，调用NAMENODE的GETBLOCKLOCATIONS方法，获得需要的若干BLOCK（BLOCK1，BLOCK2，…）的存储DATANODE列表。（对DATANODE列表进行拓扑排序）
4. 调用DFSINPUTSTREAM的READ方法，读BLOCK1。
5. 读取完后，关闭与DATANODE建立的流。
6. 读取BLOCK2（重复4，5，6）
7. 读完这若干BLOCK后，回到3.
8. 全部读取完后，调用FSDATAINPUTSTREAM的CLOSE方法。

# HADOOP的MAPREDUCE

![image.png](https://new.p6oy.top/usr/uploads/2022/11/2244524062.png)

1. INPUT：MAPREDUCE通过INPUTFORMAT将数据从HDFS读取，并进行SPLIT切片，对每一个SPLIT分配一个MAPTASK并行实例处理。
2. MAPPER：数据进入MAP函数中，然后开始按照一定的规则切分，每个MAP函数输出一组KEY/VALVE对。
3. SHUFFLING：采用归并排序将内存和磁盘中的数据进行排序，并将MAP的输出作为REDUCE的输入。
4. REDUCE：按照KEY分组，每组进行迭代计算，写入结果到HDFS。

最后修改：2022 年 11 月 24 日

谢谢

发表评论取消回复
叼毛，注册个号以后就不用再输这些信息了

评论 *

私密评论

名称 *

🎲

邮箱 *

地址

酷小呵
谢谢?
酷小呵
博客名称：酷小呵博客地址：https://kuhehe2.ne...
圆周率
还没修好吗
圆周率
站长，你的图片cdn是不是崩了，访问返回404
限制
举办了

网络态势感知相关知识汇总（一）——九大问题

P6oy • 2022 年 11 月 23 日

——# 概念与分类

## 概念

## 分类

# SYSLOG

## 采集原理

![image.png](https://new.p6oy.top/usr/uploads/2022/11/2480513318.png)

## 传输原理

![image.png](https://new.p6oy.top/usr/uploads/2022/11/1021268854.png)

### 格式

```syslog
kern.emerg	/dev/console
//一旦发生紧急情况就显示在控制台上
```

# NETFLOW

![image.png](https://new.p6oy.top/usr/uploads/2022/11/359165663.png)

# NMAP

# 态势数据融合

## 概念

利用各种技术对实时获得的若干数据，在一定准则下加以分析、综合，以完成所需决策和评估任务而进行的数据处理过程。

## 模型

![image.png](https://new.p6oy.top/usr/uploads/2022/11/3755843499.png)

# JSON和XML

![image.png](https://new.p6oy.top/usr/uploads/2022/11/739444625.png)

![image.png](https://new.p6oy.top/usr/uploads/2022/11/3494222527.png)

![image.png](https://new.p6oy.top/usr/uploads/2022/11/4141887046.png)

## 示例

![image.png](https://new.p6oy.top/usr/uploads/2022/11/3756095885.png)
![image.png](https://new.p6oy.top/usr/uploads/2022/11/2789880917.png)

# 态势数据存储

## HDFS分布式存储系统

* 高可靠性
* 高扩展性
* 高吞吐率

## YARN资源管理系统

* 集群资源统一管理调度

## MAPREDUCE分布式计算框架

* 易于编程
* 高容错性
* 高扩展性

# HDFS

## 写

![image.png](https://new.p6oy.top/usr/uploads/2022/11/4115544712.png)

## 读

![image.png](https://new.p6oy.top/usr/uploads/2022/11/3256797328.png)

# HADOOP的MAPREDUCE

![image.png](https://new.p6oy.top/usr/uploads/2022/11/2244524062.png)

网络态势感知相关知识汇总（一）——九大问题

发表评论取消回复
叼毛，注册个号以后就不用再输这些信息了

linux下实现nat及防火墙的瞎玩

如何彻底清理edge的缓存

无线网络知识简述（三）——GSM

linux使用wireshark

如何安装vmtools

无线网络知识简述（二）——无线局域网

虚拟专用网（二）

无线网络知识简述（一）

如何安装vmtools

linux下实现nat及防火墙的瞎玩

网络态势感知相关知识汇总（一）——九大问题

发表评论 取消回复 叼毛，注册个号以后就不用再输这些信息了

网络态势感知相关知识汇总（一）——九大问题

发表评论取消回复
叼毛，注册个号以后就不用再输这些信息了