外存系统

非易失性内存介质

多种物理存储材料：

• 相变存储器（PCM）
• 自旋转移扭矩随机存取存储器（STT-RAM）
• 阻变存储器（RRAM）
• Intel 傲腾持久内存模块（PMM）

PMM 的特点：

• 被插在内存总线上，连接到处理器的集成内存控制器（iMC）
• 访问粒度为 256 字节（XPLine）
• 多个 PMM 设备配置成交错模式，构成更大的存储体
• 可配置成内存模式（Memory mode）或应用直接访问模式（App Direct mode）

固态硬盘（闪存 NAND Flash）

闪存颗粒中的数据由保存在每个闪存单元中的电荷电压表示。不同类型的闪存单元可存储不同数量比特：

• SLC（单层单元）： 存储 1 位
• MLC（两层单元）： 存储 2 位
• TLC（三层单元）： 存储 3 位
• QLC（四层单元）： 存储 4 位

闪存单元一次注入电子（写操作）之后，在完全释放所存电子之前（擦除操作）不能再次注入，因此闪存固态盘不能原地更新。此外浮栅门开关次数有限，存在擦写寿命（P/E 次数）。层阶越高，P/E 次数越低。

固态硬盘的内部结构

SSD 内部包含多个闪存芯片（Chip），每个芯片包含一个或多个逻辑单元（Die），每个逻辑单元进一步包含一个或多个闪存平面（Plane），闪存平面被划分为上千个闪存块（Block），一个块进一步被划分为几百个闪存页（Page）。

• 块： 基本擦除单位
• 页： 基本读写单位

闪存页在被写之前必须先擦除，擦除操作一次必须擦除一整个闪存块。有效数据必须被迁移到其他块中的空闲页上，称之为垃圾回收（GC）。

闪存转换层（FTL） 负责 I/O 请求处理，实现用户逻辑块地址（LBA）到固态盘内部物理块地址的映射，并执行磨损均衡和垃圾回收等功能。

机械硬盘

机械硬盘主要由磁盘盘片、磁头、主轴与传动轴等组成。

• 一块机械硬盘包含多个盘片，每个盘片有两个面，每个盘面都有一个读/写磁头
• 每个盘面被划分成一个个磁道，每个磁道进一步被划成相同数量的扇区
• 扇区是硬盘的最小物理读写单位，通常是 512 字节
• 每个磁片上的相同磁道构成一个圆柱面
• 主轴马达保持盘片匀速转动

磁盘处理一个读写 I/O 时，总延迟包括：

• 磁头寻道延迟
• 盘片旋转延迟
• 数据传输延迟

读写同一磁道上数据，可避免额外的寻道时间。

I/O 设备与总线

I/O 设备分成两类：

• 块设备（block devices）： 存取数据的单位是固定大小、可寻址的块，如磁盘、固态盘、蓝光光盘、USB 盘等
• 字符设备（character devices）： 以字符为单位发送或接收一个字符流，不考虑寻址，如打印机、键盘和鼠标等

主机对所有设备进行统一编址：

• Port-Mapped I/O： 独立的设备地址空间
• Memory-Mapped I/O： 统一内存地址映射方式

设备可以看成一个"I/O 处理器"，接收并处理主机发出的 I/O 请求。

PCIe 总线

PCIe 是目前最为流行的高速总线，包含一个根组件（Root Complex）、多个终端点（End Point）和多个数据通道（lane）。一对根端口和终端点组成一个点对点连接对。

PCI 是并行总线，排线频率提升困难；PCIe 采用串行总线方式。PCIe 使用交换组件（Switch）扩展连接更多终端点，还可以通过桥接芯片扩展连接到更多慢速总线。

设备驱动程序与 I/O 模式

主机通过设备驱动程序具体执行 I/O 过程，通过设置寄存器来和设备进行通讯。

三种 I/O 过程模式：

• 程序控制 I/O
• 中断驱动（Interrupts）I/O
• 直接内存存取（DMA）驱动 I/O

I/O 处理模型

I/O 处理是 CPU 和设备之间的交互处理过程，可以抽象为请求-服务模型或客户端-服务器模型。

从请求程序来看： I/O 请求可以分为同步 I/O 和异步 I/O 模式

从服务程序来看： 有阻塞 I/O 和非阻塞 I/O 两种方式

5 种常用 I/O 处理模型：

• 同步阻塞 I/O 模型
• 异步阻塞 I/O 模型
• 同步非阻塞 I/O 模型（同步轮询模型）
• 非阻塞 I/O 复用模型
• 非阻塞信号驱动 I/O 模型

缓冲区、缓存与请求队列

数据缓冲区（Buffer）： 当两个设备之间有明显的速度差异（如 CPU 和磁盘）时，可以配置缓冲区。慢速设备把缓冲区写满后，会一次全部发送到快速设备。为了保证设备持续写入，可以使用双缓冲区。

缓存（Cache）： 利用不同存储介质之间的性能差异和访问局域性，把数据副本保存在比通常存储数据位置更快的访问位置。

请求队列： 服务程序可以服务多个请求程序，可以使用请求队列维护待请求，进一步执行队列调度优化整体性能。

I/O 性能指标

响应时间和吞吐量同样适用于 I/O，这两个指标往往具有一个平衡关系。

吞吐率指标：I/O 数（IOPS）和 MByte/s

例题： I/O 系统具有单个磁盘，读写带宽为 200MB/s。测试结果表明 1MB 大小的请求响应时间是 5ms，0.1MB 大小的请求响应时间为 2ms。

• 1MB IOPS = 200 个；0.1MB IOPS = 500 个
• 1MB 吞吐率 = 200×1MB/s = 200MB/s（磁盘带宽 100% 利用）
• 0.1MB 吞吐率 = 500×0.1MB/s = 50MB/s（磁盘带宽仅 25% 利用）

IOPS 数值不能很好地反映实际的性能。

排队论核心概念

• 服务时间（Time_server）： 服务任务的平均时间；平均服务费率为 1/服务时间
• 排队时间（Time_queue）： 队列中的平均排队时间
• 响应时间（Time_system）： 排队时间和服务时间的总和 = Time_queue + Time_server
• 任务到达率（Arrive rate）： 任务到达的平均数量/秒
• 服务任务数量（Length_server）： 正在服务中的平均任务数
• 队列长度（Length_queue）： 队列的平均长度

服务器利用率 = Arrival_rate × Time_server

服务利用率必须在 0 到 1 之间；否则服务装置将会过载。

M/M/1 排队模型

模型假设：

• 系统处于平衡状态
• 到达间隔时间满足指数分布
• 请求源的数量不受限制（无限队列）
• 服务器串行执行任务
• 队列长度没有限制，遵循先进先出原则
• 只有一台服务器

M/M/1 模型： 第一个 M 指请求到达间隔时间分布满足指数随机分布；第二个 M 指服务时间分布也是指数分布；1 代表只有一个服务器。

可靠性基本概念

出错原因：

• 错误（fault）： 设计时模块所存在的潜在问题
• 差错（error）： 错误的表现形式，在服务时才会表现出来
• 故障（failure）： 差错导致模块不工作

可靠性量化指标：

• 可靠度（R）、可维护度、可用品度
• MTTF（平均无故障时间）
• MTTR（平均修复时间）
• MTBF（平均故障间隔时间）

$$\text{可靠度：} R(t) = P\{x>t\}, \quad \text{MTTF} = \int_0^\infty R(t) dt$$

串行与并联系统可靠性

串联系统： N 个组件必须全部工作正常，系统才正常。任一组件失效时，系统就失效。

$$R = R_1 \cap R_2 \cap \dots \cap R_N$$

并联系统： N 个组件只要其中一个工作正常，系统就正常工作。只有全部组件都失效时，系统才失效。

$$F = F_1 \cap F_2 \cap \dots \cap F_N$$

串并联系统的可靠性： n 个部件先构成串联组件，m 个组件进一步构成并联结构。

$$R(t) = 1 - [1 - R_i(t)]^{m \cdot n}$$

并串联系统的可靠性：

$$R(t) = [1 - (1 - R_i(t))^m]^n$$

计算机系统中器件越多，可靠性越低：N 器件的可靠性一般只有单个器件的 1/N。

存储栈处理过程

1. 文件系统为用户和应用程序提供文件目录树视图，内部把文件/目录读写请求转化为逻辑块层请求
2. 逻辑块层向上提供统一数据块地址空间，内部把逻辑块请求转换为设备块 I/O 请求
3. 通用块层提供 I/O 合并、写吸收等 I/O 优化调度
4. 设备驱动层执行设备相关的优化，如针对磁盘的 I/O 调度方法
5. I/O 设备驱动程序执行物理 I/O，通过总线发送给设备端控制器
6. 设备控制器具体负责对其内部存储介质的数据读写

Linux 本地存储结构

应用程序通过用户态标准 I/O 库调用标准文件接口存取文件数据，文件系统把文件请求转化为相应数据块读写操作，通过缓存层、块存储层和驱动层最终交给存储设备。

存储栈各层：

• 虚拟文件系统（VFS）层： 提供通用文件存取接口，可同时接受多个文件操作请求
• 具体文件系统： 处理文件请求转化为数据块存取
• 页缓存机制： 加速数据块存取，提高性能

设备驱动程序

现代操作系统为每个设备提供设备驱动程序。驱动程序定义一组编程接口，隐藏设备的工作细节，将调用映射到物理设备的特有 I/O 操作上，包括对设备进行初始化、参数有效性检查、执行 I/O 过程、管理电源和日志等。

驱动程序工作模式：

• 阻塞模式： 通过中断来解除阻塞状态
• 非阻塞模式： 通过轮询检测完成信号，尽快响应请求完成

设备驱动必须可重入。

文件系统命名空间与块存储

文件： 具有独立逻辑地址空间的抽象数据容器。应用程序可以把数据序列化后保存到文件之中。

文件目录： 以文件和目录结构形式对外提供统一命名空间（通常是树形结构），有利于大量文件的组织和管理。

块存储空间： 由一组固定大小单元（Block）线性编址构成，固定单元也称为页、段等。

• CPU 访问内存是按字节编址
• 访问外存时，通过 I/O 请求中的间接寻址扩充可访问空间
• LBA（Logical Block Address） 是逻辑块地址
• PBA（Physical Block Address） 是物理块地址

文件系统元数据

文件系统实现文件和文件目录结构到逻辑卷空间之间的映射。核心是一组数据结构（元数据）：

• 超级块： 存储文件系统基本信息
• 存储分配表： 记录磁盘块的使用情况
• 文件索引表（inode）： 记录文件的属性和文件块到数据块索引结构

inode 中最重要的数据结构是实现文件块→数据块索引结构，即文件内部逻辑块地址到逻辑卷块地址映射。

NAS（附网存储）

NAS 是通过网络向用户提供文件级服务的存储服务器，将硬件和软件有机地集成在一起，为多个用户提供文件视图。

优点：

• 异构平台下的文件共享
• 充分利用现有局域网结构
• 容易安装、使用和管理
• 基于 IP/Ethernet 及标准 NFS/CIFS，可适应复杂网络环境
• 较低的总拥有成本

SAN（存储区域网）

SAN 是一种以网络为中心的存储结构，利用专用网络（Fibre Channel）连接服务器和存储设备，直接传送 block I/O 数据。

优点：

• 高性能、高速存取（Infiniband 可提供 100 Gbps 带宽）
• 高可用性，具有更多冗余存储空间
• 集中存储和管理，形成统一的存储池
• 高可扩展性，服务器和存储设备相分离

弱点： 设备的互操作性较差，依赖专用网络协议。

iSCSI

iSCSI 在 TCP/IP 上封装 SCSI 存储协议，是一种基于 IP 的 SAN。采用 Initiator/Target 实现模式。

工作流程：

1. 应用程序通过系统调用访问文件系统
2. 文件系统解释 I/O 命令，发送给 SCSI 上层驱动程序
3. SCSI 驱动程序将 I/O 命令转化为 SCSI 命令，发给 iSCSI Initiator
4. iSCSI Initiator 把 SCSI 命令通过网络发送到 iSCSI Target
5. iSCSI Target 解析并执行命令，数据按原路返回

数据存取路径

分析数据存取性能涉及许多具体细节，一个最为重要的方法是分析数据的存取路径。存取路径包括：

• 物理过程： 数据在硬件部件上实际数据传输的过程
• 逻辑过程： 软件对于数据的处理过程

存取路径是数据在存储系统中传递的通道，无论是读还是写过程都需要数据和命令的传输。