《互联网络测量理论与应用》读书笔记

a

b

主动测量

被动测量

BGP
优点

容易得到大量的 AS 级的拓扑连接信息。

缺点
  1. 由 BGP 的路由信息生成的 AS 级拓扑结构是个类似树状的结构, AS 间可能存在的任何交叉连接都难以被发现
  2. 对 BGP 信息进行路由汇集和过滤的过程中可能会隐藏掉该 AS 的边缘信息
OSPF

开放最短路径优先协议,也属于内部网关协议。在链路状态路由协议中,每个路由器维护它自己的本地链路状态信息,即路由器到子网的链路状态和可以到达的邻居路由器,并且通过洪泛的方法把更新了的本地链路状态信息广播给自治系统中每个路由器。

优点

信息收集比较简单,且速度快

缺点
  1. 要求所有的路由器都支持 OSPF 协议,
  2. 收集到的拓扑信息中缺乏接口之间的联系关系,这给基于该方法的拓扑测量带来困难
SNMP//RMON

SNMP是 IETF 为Internet 管理而设计的信息交换协议。RMON 是 IETF 制定的一种特殊的 SNMP MIB,主要用于远程监控局域网。

tcpdump

tcpdump 是一种可以记录网络流量的网络检测工具。

混合测量

网络测量体系结构

被动测量体系结构 RTFM

监听模块、读取模块、控制模块、分析模块。

抽象测量体系结构

数据采集、数据管理、数据分析、数据表示

集中式测量体系结构

简单的分布式测量体系结构

基于 P2P 的分布式测量体系结构

基于 web service 的分布式测量体系结构

基础设施部署的关键问题

测量点的选择

噪声分组的过滤

时钟同步

匿名化

误差和校准

网络性能测量

性能指标

时延

传输时延、传播时延、路由器时延 端到端时延

带宽

容量、可用带宽、批量传输容量、窄链路和紧链路

丢包

丢包率、丢包距离、丢包周期。

连通性

网络复制

数据报文失序

性能测量方法

  1. 直接测量、分解测量、推断测量、时间推理测量
  2. 主动测量和被动测量 主动测量:系统抽样,泊松分布

网络带宽测量

带宽测量方法通常通过主动测量的方式进行,通过向网络中注入数据报文并通过观察到的结果进行计算。

变长报文方法

测量路径中每一跳链路的容量

基于探测报文间隔模型的方法

路径容量测量
路径可用带宽测量
报文队列的测量方法
背景流量的影响分析与测量方法改进
定位可用带宽瓶颈链路

自拥塞方法(基于报文速率模型方法)

目的:找到最小的能够在路径上引起拥塞的探测速率,它发送一组探测报文,并根据接收到的探测报文速率来推测带宽属性。

探测算法

  1. TOPP 通过在源主机和目的主机之间发送一系列的报文对来测量端到端的可用带宽,报文对之间的时间间隔逐渐减小
  2. SLoPS 在发送端以速率R发送UDP报文流到接收端

问题

假设平稳流量模型、多个瓶颈链路、设备的简化

时延及其他端到端性能指标的测量

主动测量方法

ICMP 报文的实现方法

Ping 命令。基于ICMP 请求-应答报文的测量工具

优缺点:ICMP 优先级低,存在安全性问题,容易被过滤

UDP

无状态,需要指定一个端口,端口对应的服务不存在时,会返回“端口不可达”的 ICMP 报文

TCP

优缺点:避免过滤。因为 TCP 存储转发的基址,会导致测量的结果大于实际值。因此要加入 PSH 标志

被动测量方法

被动测量方法通过在网络中部署一个或者多个监听结点捕获数据报文,对其中属于同一个流的报文进行匹配,并对报文头序列号、ACK等信息进行分析得到端到端或点到点的丢包、时延、失序等性能信息。

报文在测量点后丢失
报文在测量点前丢失
网络内部失序
重复报文
ACK 丢失导致的冗余重传

逐跳路径性能与网络层析

网络层析:基于信号处理中透析图像重建原理,利用端到端测量技术推导网络内部性能或拓扑结构。通过对有限结点子集进行主动或被动测量,进行统计建模并求解线性模型,从而获得网络链路级性能的推测估计。

基于组播的网络层析方法

优缺点:发送报文数量少,测量范围广

常用的网络性能测量工具

端到端带宽测量工具

bprobe pathrate sprobe capprobe

逐跳容量测量工具

可用带宽测量工具

TCP吞吐量和BTC的测量工具

时延和丢包测量工具

网络性能分析及应用

路径容量及可用带宽

时延及时延抖动

丢包特征

数据报文失序

TCP的性能分析

网络流量测量

网络流量测量是指捕获网络上的数据分组并对其进行分析的过程

流量数据采集

方法:网络设备支持的流量采集、基于网卡采集、专用设备、并行采集

工具: tcpdump、wireshark、nprobe、snort

流量缩减与抽样

技术:聚合、过滤、抽样、数据概要

流抽样

  1. 基于分组抽样的流抽样
  2. 等概率流抽样
  3. 针对大流的抽样
  4. 针对流信息的抽样
  5. 流特征推断

数据概要

Space-Code Bloom Filter、Sketch

流量数据的共享与去隐私处理

IP 地址匿名化

一对一映射、保持子网映射、保持前缀映射

方法和工具

Tcpdpriv、crypto-PAn、TSA、多权限可恢复匿名化

应用层信息隐藏

安全性分析

密码学攻击、语义攻击

流量数据的存储格式

  1. 分组数据存储格式
  2. 流数据存储格式
  3. 压缩存储格式

数据共享

感觉这些还是蛮偏理论的,我也还不清楚在实际工作中哪些部分最重要。先完成基础内容的学习吧。 希望…对于网络测量和机器学习的部分在国庆假期前完成。 我真的…好伤心,真不希望大三就这样被披上一层阴郁的灰色,到底是谁的问题呢