简介：基于动态图神经网络的异常流量检测方案，聚焦网络入侵检测与异常分析场景，适合计算机、数学、电子信息等专业用作课程设计、期末大作业或毕业设计参考。整套材料共141个文件，整体大小34.94MB，涵盖60个Python源码、56个pyc编译缓存、8个训练好的模型pt文件、4个CSV评测结果以及JSON配置、README和论文PDF；源代码附详细注释，并已基于CIC2017数据集完成流程验证，可直接运行调试。项目给出清晰的三步操作链路：先由DyGCN/main.py完成模型训练与测试，将图嵌入结果保存到指定路径，再调用intrusion_detection.py实现异常检测；同时提供不同图聚合方式下的对比评测CSV、训练日志和论文说明，便于理解原理、复现实验或扩展改进。已有267人学习使用，适合需要快速上手动态图神经网络流量检测、撰写毕业论文或开展实验对比的读者。

1. 动态图神经网络做异常流量检测：静态特征拦不住的攻击，藏在时序关系里

做过网络入侵检测的人应该都有这种感觉：把流量里的五元组、包长、协议分布、连接频次这些静态特征拉出来喂给随机森林或者梯度提升树，效果一开始还不错，但一旦遇到慢速扫描、低频蠕虫、或者分布式协同攻击，准确率就跌得没法看。原因是这类攻击的单条流量看起来完全正常，你根本没办法从“一个包”或“一条流”上发现问题。动态图神经网络这个方案之所以值得做，就是因为它把流量还原成了一张随时间不断变化的关系图：节点是IP，边是通信行为，边的出现、持续和消失本身就是判断异常的依据。它检测的不是“这个包坏不坏”，而是“这条边的出现和消失符不符合图上的时序规律”。本文会从建模原理、数据切片、模型训练到避坑验证，把这条落地路径完整讲清楚，适合正在做流量安全分析、想引入图神经网络但不知道怎么对时序数据下手的开发者。

2. 为什么异常流量检测选择动态图：从静态图到时间敏感的图神经网络

2.1 把流量建模成图：节点、边和边特征的确定方法

把网络流量转成图，最核心的问题是：什么当节点，什么当边，什么当特征。常见做法是节点用IP地址，或者用IP加端口复合实体；一条TCP/UDP会话或者一次完整的请求响应交互就是一条边。边的特征不是单个包的内容，而是这条流在时间窗口内的统计值：包数、字节数、持续时间、SYN占比、ACK占比、平均包间隔、目的端口数量等。这些边特征会在下一个采样窗口被重新计算，于是图就“动”起来了。

我一般会用五元组作为流记录的键：源IP、源端口、目的IP、目的端口、协议。把这五个字段做哈希归并后，相同键的多条原始记录聚合成一个流对象，流的起始时间取最早包时间，结束时间取最晚包时间。图上的边从源IP指向目的IP，一条边可以同时挂多条流记录，也可以直接让每条流对应一条边，取决于你想让图上的粒度是“通信关系”还是“通信事件”。做异常检测时，我倾向于让每条流对应一条边，因为攻击行为的时序特征往往体现在单条短连接的异常节奏上。

节点要不要加端口，取决于你的检测目标。如果要做横向移动分析，端口粒度会拆散僵尸网络的通信聚合，IP粒度更好；如果要做端口扫描检测，IP加端口反而能暴露同一个IP对大量高危端口的异常连接模式。这个选择没有绝对正确，关键是边特征里必须保留足够多的统计维度，否则图结构再漂亮，信息量也不够。

2.2 静态图和动态图的差别：为什么“时序”是检测的核心变量

静态图的做法是把一段时间内的所有流量合并成一张图，在这张图上跑GCN或者GraphSAGE，提取节点的结构特征后做分类。这个方案有个致命问题：它把时间维度压缩掉了。慢速端口扫描可以让攻击流量在很长的时间轴里均匀分布，每小时只增加一两条边，静态图上这些边和正常业务的边混在一起，度分布、邻域结构、中心性全部正常，模型完全分不出来。

动态图把时间戳当作和拓扑并列的一等公民。边的出现顺序、边的持续时间、边与边之间的间隔，全部成了参与计算的特征。动态图神经网络在做消息传递时，传递给邻居的特征不是最新状态，而是“邻居在时间t之前的状态”，并且距离当前时刻越远的消息，权重会按时间衰减系数逐步减小。这个衰减机制很像人脑的遗忘曲线，也像传统的指数加权滑动平均，它让模型既能记住长程依赖，又不会让远古消息淹没近期的关键信号。

这也是动态图和Transformer类的时序模型最大的区别：Transformer把整条时间轴当成一个序列处理，事件之间的位置关系是等权的；而动态图上信息是沿着图结构传播的，它天然适合那些“节点之间互相影响，且影响存在传播时延”的场景。网络里的横向移动、C2心跳、蠕虫扩散都属于这一类，它们不是孤立事件，而是沿着信任关系逐跳传递的行为轨迹。

2.3 三种动态图建模方式：快照序列、时序传播和边流的选型建议

动态图建模目前有三大流派，做流量检测必须分清它们的边界。第一种是快照序列模型，把时间切成等长的窗口，每个窗口内生成一张静态图，然后把这些图当成图序列输入到时空网络中。它的优势是实现简单，可以直接复用静态图那一套成熟的消息传递框架；劣势是窗口边界会把一条跨越窗口边界的长连接强行切断，而且窗口长度的选择非常敏感，切太细图太稀疏，切太粗时序细节丢失。

第二种是时序传播模型，代表是TGN和TGAT这一类。每条边带着时间戳，节点状态按时间顺序被逐步更新，消息传递过程中天然包含时间衰减。这种模型不需要切窗口，而是直接作用在事件流上，非常贴合网络流量的物理生成过程。缺点是训练时要按时间顺序依次处理事件，无法像静态图那样随意并行，训练速度偏慢，参数也更多。

第三种是边流模型，把每一条边看作一个连续到达的事件，节点状态随事件到达实时更新。它在实时性要求极高的在线检测场景下最理想，但对工程实现要求最高，因为事件按毫秒级到达时，模型推理负载是间断爆发的，需要配合流式计算框架才能跑得稳。我在大多数流量检测项目里会直接选第二种，也就是TGN风格的高线更新模型。它兼顾了时间敏感性和工程可行性，单机PyTorch就能训练百万级事件流，不需要引入额外的流计算组件。

3. 从原始流量到动态图数据：解析、滑窗切片和数据集划分

3.1 流量解析与流特征提取：从pcap到事件三元组

原始流量文件通常是pcap格式，第一步是把包级数据聚合成流记录。常见做法是用Scapy或者dpkt解析pcap，按五元组做聚合，累积统计每个流的包数、字节数和时间戳范围。解析后的流记录需要转换成两个核心对象：一个是边事件三元组（源节点、目的节点、时间戳），另一个是边特征矩阵。节点不用IP字符串直接入模，要做整数ID映射，否则图神经网络无法做嵌入查表。

import pandas as pd from scapy.all import rdpcap # 解析 pcap 并聚合为流记录 packets = rdpcap("traffic.pcap") flows = {} for pkt in packets: if not hasattr(pkt, "src") or pkt.src is None: continue key = (pkt.src, pkt.dst, pkt.sport, pkt.dport, pkt.proto) ts = float(pkt.time) size = len(pkt) if key not in flows: flows[key] = { "src": pkt.src, "dst": pkt.dst, "start": ts, "end": ts, "bytes": size, "packets": 1 } else: f = flows[key] f["end"] = ts f["bytes"] += size f["packets"] += 1 flow_df = pd.DataFrame(flows.values())

这段代码里，rdpcap读取全部数据包，然后按五元组做字典聚合。注意代码里只取了src、dst、sport、dport、proto这五个字段做聚合键，时间戳和字节数作为统计量累加。这样得到的数据帧每一行就是一条完整的通信会话，后续所有特征工程都在这个基础上展开。数据量大的时候，rdpcap一次性加载全部报文会撑爆内存，可以改成按文件偏移量分段读取，或者先用分流工具按IP对把pcap拆成多个小文件再并行解析。

聚合完之后要做两个清洗动作：一是过滤掉广播、组播和本地链路流量，这些数据在图里会产生大量无意义的噪声边；二是把持续时间极短且包数极少的流单独标记出来，因为它们可能是扫描探测，也可能是网络抖动导致的半连接，直接删除会损失检测信号，建议保留并在后边加一个“短连接”标志特征。

3.2 时间滑窗切图：窗口长度和步长怎么定

解析完成流记录之后，接下来的关键操作是把流记录变成动态图的边事件序列。这一步先把所有流按起始时间排序，然后生成三个数组：源节点ID数组、目的节点ID数组、事件时间戳数组。每个数组的下标对应一条流记录，也就是图上的一条边。如果这份数据带了标签（每条流是否异常），还需要对应生成标签数组。

node2id = {} src_ids, dst_ids, timestamps, labels = [], [], [], [] for _, row in flow_df.iterrows(): src = row["src"] dst = row["dst"] if src not in node2id: node2id[src] = len(node2id) if dst not in node2id: node2id[dst] = len(node2id) src_ids.append(node2id[src]) dst_ids.append(node2id[dst]) timestamps.append(float(row["start"])) labels.append(row.get("label", 1)) event_ts = np.array(timestamps, dtype=np.float64)

节点ID映射必须单独建一个字典，把IP字符串映射到连续的整数。这里有个非常容易踩的坑：不要用hash(ip)或者直接把IP当整数，哈希碰撞会让两个完全不同的IP被映射到同一个节点，图结构被污染后模型怎么调都跑不好。做完ID映射后，动态图的三元组就齐了：每条边由(source, target, timestamp)三个数组表示，边特征是另一个与之对齐的二维矩阵。

滑窗切图是给快照序列模型用的办法，但即使你采用的是TGN这类高线更新模型，也需要用时间窗口来组织训练数据。窗口长度通常参考业务周期来设定，常见做法是取流量峰值的平均周期长度为基准。内网业务流量如果存在明显的分钟级波动，窗口可以设在10秒到5分钟之间；如果是持续高频的数据中心流量，窗口缩小到5秒到30秒更合适。窗口重叠率我习惯设50%，也就是步长等于窗口的一半，这样可以缓解边界切断长连接的问题。

3.3 负样本构造和时间顺序划分：训练集与测试集的边界

动态图模型的训练目标是区分“真实存在的边”和“不存在的边”，所以必须构造负样本。正样本是真实事件流里已有的边，负样本则是“在特定时间戳并不存在的边”。最简单也最常用的是随机采样：随机选两个节点，加上一个随机时间戳，如果这个三元组在真实事件流里不存在，就当作负样本。但在流量异常检测里，有一种更贴近场景的做法：把未来时间窗口内会出现的攻击边当作负样本训练，把正常边当作正样本训练，让模型学会“什么边的出现是异常的”。

import numpy as np def generate_negative_samples(src_ids, dst_ids, timestamps, num_neg=1): node_set = list(set(src_ids) | set(dst_ids)) neg_src, neg_dst, neg_ts = [], [], [] edge_set = set(zip(src_ids, dst_ids, timestamps)) while len(neg_src) < num_neg * len(src_ids): s = np.random.choice(node_set) t = np.random.choice(node_set) ts = np.random.uniform(timestamps.min(), timestamps.max()) if s != t and (s, t, ts) not in edge_set: neg_src.append(s) neg_dst.append(t) neg_ts.append(ts) return np.array(neg_src), np.array(neg_dst), np.array(neg_ts)

这段代码生成负样本的关键是保证负样本三元组不在真实边集合里，同时源节点不等于目标节点。参数num_neg控制正负样本比例，一般设1，也就是一比一，防止类别不平衡导致模型偏向预测负类。生成时序负样本时，时间戳应该从整个事件流时间范围内均匀采样，但一定要注意：如果负样本的时间戳落到了测试集时间段，它就和测试集的真实边混在一起了。

数据划分不能做全局随机洗牌，必须按时间顺序划分：前80%时间内的事件作为训练集，后20%作为测试集。训练集和测试集的节点集合会有重叠，这很正常，模型要学的是“在这个节点上，什么样的时序演化模式是正常的”，测试集验证的是“换一段未来时间，这种模式是否还能预测”。如果节点完全不重叠，那模型学到的就不是时序规律，而是节点ID的嵌入记忆。

4. 动态图神经网络训练：TGN 风格模型的最小可跑通流程

4.1 模型结构：记忆模块、时间编码和邻居聚合器的组合

TGN风格模型之所以适合流量检测，是因为它把节点状态拆成了两部分：一部分是随事件实时更新的记忆向量，另一部分是当前事件触发时的临时上下文。节点在收到新边时，先根据历史记忆和时间衰减生成当前表示，再更新记忆。时间衰减体现在时间编码器上，两条边之间的时间间隔越长，编码后的影响在高维空间里的区分度越高。

import torch import torch.nn as nn class TimeEncoder(nn.Module): def __init__(self, dim): super().__init__() self.freq = nn.Parameter(torch.rand(dim) * 0.1) self.shift = nn.Parameter(torch.rand(dim) * 0.1) def forward(self, delta_t): # delta_t: [batch, 1] 距离上次消息的时间间隔 return torch.cos(self.freq * delta_t + self.shift) class TGNMemory(nn.Module): def __init__(self, node_dim, memory_dim): super().__init__() self.memory = nn.Parameter(torch.randn(node_dim, memory_dim), requires_grad=False) self.updater = nn.GRUCell(memory_dim, memory_dim) def update(self, node_ids, new_state): prev = self.memory[node_ids] updated = self.updater(new_state, prev) self.memory[node_ids] = updated

时间编码器采用余弦基函数，这是时序模型里被验证有效的编码方式。freq和shift都是可学习参数，模型会自动调整不同周期的时间分辨率。TGNMemory里用GRUCell做状态更新，每条边到达后，节点嵌入不会直接替换，而是和旧记忆做一次门控融合，这样高频通信的节点能快速适应新状态，低频通信的节点也不会因为一两次异常就彻底改变记忆。

命名空间要注意，nn.Parameter默认是需要梯度的，但记忆模块的memory在训练时不应该通过梯度更新，而是通过GRU的输入输出逻辑更新。所以这里设置requires_grad=False，参数更新完全由updater的前向传播完成。这个细节能避免训练时出现梯度回流到记忆张量导致的优化器报错。

4.2 训练循环：边预测任务、损失函数和批量组织

训练任务是动态图中的边预测：给出一条边的源节点、目标节点和时间戳，模型预测这条边在这个时间点会不会出现。损失函数用二元交叉熵，正样本是真实存在的边，负样本是生成的不存在的边。批量组织要按时间顺序切batch，每个batch内的事件时间戳必须单调递增，这保证了节点状态更新时“不会看到未来信息”。

def train_epoch(model, optimizer, batches): model.train() total_loss = 0 for batch in batches: src, dst, ts, feats, labels = batch optimizer.zero_grad() # 模型得到边的预测概率 pred = model(src, dst, ts, feats) loss = nn.functional.binary_cross_entropy(pred, labels) loss.backward() optimizer.step() # 用当前批次的真实边更新节点记忆 model.memory.update(src, model.get_state(src)) model.memory.update(dst, model.get_state(dst)) total_loss += loss.item() return total_loss / len(batches)

这里的训练循环有个重要的顺序：先算loss、反传梯度、更新参数，然后再更新节点记忆。如果先把记忆更新了再算loss，当前批次的预测就包含了未来信息，损失函数会严重失真。这也是很多动态图项目训练结果看起来不错、但测试一塌糊涂的根源之一。model.get_state(src)取出节点当前表示，喂进GRU得到新状态，再写回memory张量。

学习率我一般从0.001起步，batch大小在256到1024之间，具体看显存。动态图模型在训练时每个事件都会触发一次或多次消息传递，batch太大会导致梯度和记忆更新互相耦合，产生训练震荡。验证集上AUC连续5个epoch不提升就提前停止，动态图模型练过10个epoch之后很容易过拟合到训练集的时间模式，早停是标配操作。

4.3 三个必调参数：记忆维度、邻居数和时间衰减系数

记忆维度是模型容量的核心。太小的记忆向量放不下节点行为的完整时间模式，比如一个节点同时在跑正常业务和定期外联，两种模式会互相挤压；太大的记忆向量在小数据集上直接过拟合。一个可参考的初值是从64开始，每轮实验翻倍，观察验证AUC的增益变化，增益小于0.5%就停。流量数据集通常节点规模几万到几百万，128维到256维是比较合理的选择区间。

邻居采样数控制消息传递的扇出。动态图做邻居采样时，每个源节点要随机采样最多N个历史邻居参与聚合。N设太小，模型看不到这个节点在长周期内的完整交互模式；N设太大，计算量和内存占用按幂律爆炸。这个参数的理论支撑是六度分隔效应，实际上一跳邻居数20到50已经包含绝大部分信息。遇到幂律度分布的网络时，先做一步度数截断，把度过高的节点单独采样，不要让它们参与全量聚合。

时间衰减系数是动态图最敏感的参数，它决定历史消息对当前预测的影响半径。衰减系数接近1时，模型几乎平等看待所有历史事件，等于退化成静态图；衰减系数接近0时，模型只看最近几个事件，低频攻击很容易被漏掉。常见做法是先用0.1验证模型能否学习，然后按0.2的步长向上搜索，找到验证集AUC的峰值区间。这个参数对数据的时间尺度非常敏感，换一份数据必须重新搜索，不要沿用上一个项目的经验值。

5. 避坑：动态图异常流量检测最容易出问题的五个环节

5.1 标签泄漏：测试集AUC好得不真实时先查时间戳划分

现象：训练集AUC在0.85附近波动，测试集AUC直接飙到0.99，好得让人心虚。你以为是模型泛化能力强，大概率是数据出问题了。原因：做数据集划分时用了全局随机洗牌，把未来时间段的边混进了训练集。模型在预测时“看到”了同一条边在训练阶段出现过，等于直接背答案。解决：划分必须严格按时间戳切，训练集的最大时间戳要小于测试集的最小时间戳。写划分代码时加一行断言，训练时间范围和建议测试范围没有任何重叠，这个习惯能保住测试结果的可信度。

5.2 节点ID映射错乱：哈希碰撞把两个实体当成了一个节点

现象：训练loss正常下降，验证指标却很烂，而且不管怎么调参都恢复不了。原因：把IP地址用hash(ip)或者直接把IPv4字符串强转为整数作为节点ID。哈希碰撞发生的概率在大规模节点集合下并不低，一旦两个不同IP映射到同一个ID，图结构里就多了一条永不存在的“幽灵边”，消息传递就会被污染。解决：用一个有序的字典做ID映射，每遇到一个新IP就分配一个自增整数。映射表单独存成文件，推理阶段加载同一个映射表，否则新IP会被分配成重叠ID。

5.3 切图切出大量空图：问题可能出在时间戳来源

现象：数据量很大，按时间窗口切出来的子图却一大半没有边，训练时模型反复看到空图，根本学不到东西。原因：时间戳并不是包的真实到达时间，而是流量采集平台批量入库的时间。入库时间往往呈脉冲状，一批数据同时进入，时间戳在秒级完全相同，按时间窗口一切，切出来的图要么全是边要么全空。解决：回到原始pcap文件取包的pkt.time字段作为流起始时间。如果拿不到原始包，就改用事件数量切窗，每个窗口固定包含N条边事件，不依赖物理时间均匀性。

5.4 邻居采样OOM：幂律度分布下的采样失控

现象：训练第二个epoch跑到一半，CPU内存和显存同时拉满，进程直接卡死。原因：流量图是典型的幂律度分布，少数核心服务器节点连接了绝大多数边。邻居采样器对这些超高频节点不做限制时，每次聚合都要遍历上百万条相邻边，内存被边特征矩阵撑爆。解决：邻居采样时设置硬上限，对度数超过阈值的节点随机采样固定数量的邻居，而不是全量读取。图的数据结构也建议改成CSR格式，只用三个紧凑数组存储边，省掉Python对象的开销。这些优化做完之后，同样的数据量内存占用能降一个数量级。

5.5 在线推理阶段模型被意外更新：eval和no_grad救场

现象：模型部署后，第一周检测结果正常，第二周开始输出值整体漂移，假阳性率越涨越高。原因：把训练代码原封不动搬到了在线推理服务里，PyTorch默认开启自动梯度，memory模块在推理时每来一条边就更新一次。正常流量持续冲刷模型参数，模型慢慢“忘记”了攻击模式的特征。解决：推理阶段必须显式调用model.eval()并包上torch.no_grad()，节点记忆在推理时只读不写。模型的参数更新放在离线重训练任务里，定期用最近一周的带标签数据重训一次，再热更新到服务上。这个流程要写成自动化任务，靠人工定期重训一定会在某个周末忘记跑。

6. 从“能跑”到“能信”：动态图检测的验证基线与部署习惯

6.1 用边的未来预测做自检：先让模型学会“猜时间”

一个动态图模型拿过来，不要先急着做异常分类，先做一个自检任务：给定两个节点和上一个事件的时间戳，预测这两点之间下一次交互会不会发生、什么时候发生。如果这个预测的AUC都达不到0.8以上，说明模型根本没学到时序规律，后续的异常检测分数也不可信。这个自检任务不需要额外标注数据，直接用原始事件流就能做，是判断模型有没有“真的在动”的最快手段。

6.2 三种检测方法对比：行为指纹、静态GNN和动态GNN的边界

动态GNN不是万能的，如果攻击流量和正常业务流量在时序模式上完全同构，它一样检测不出来。但对比表里能看出，动态GNN的价值集中在“别人抓不到”的那一类异常上，这才是它值得投入的原因。

6.3 在线部署：先推理后入库，异步做标签评估

在线部署时，常见的做法是建立一个滑动窗口事件队列，新边到达时先查节点记忆做推理，输出异常分数后再把这条边写入存储。推理结果不直接拦截，而是先记录，等人工或规则引擎确认后再生成拦截策略。模型的效果评估采用延迟标签机制：事件发生24小时后，结合后续已知攻击告警给这条边打上标签，再做离线评估。这样模型本身的误报率和召回率是可持续量化的，不会在部署后变成黑匣子。

我最早做这个方向时也踩过标签泄漏的坑，当时测试集AUC高到离谱，我还以为是模型结构选对了，后来排查了整整两天才发现是数据划分写错了。从那以后我给自己定了一个习惯：所有时序模型的数据划分代码里必须写时间边界断言，没有断言的训练脚本一律不跑。这个习惯一直保留到现在。动态图做流量检测是一条值得走的路，但“能跑通”和“结果可信”之间隔着一整层数据工程，希望这篇笔记能帮你把关键的那几步一次走对。

本文还有配套的精品资源，点击获取