聊聊 inode 为什么会耗尽

发表于 3年以前 | 总阅读数：215 次

本来想写写文件系统，猛得扎进来发现太庞大了，还是带着问题从一个微观角度去分析比较好，希望能做一个系列分享出来 (Multi-Group Raft 的坑还没填 ^^)

本文先分析一个磁盘空间不够用的问题，为什么 df 看到磁盘还有空间，仍然报 No space left on device 错误。

文件系统

文件系统概念特别多，很容易搞晕，需要从如下四个角度来看待

磁盘：系统中看到的磁盘设备都是 /dev/sda, /dev/sdb, /dev/nvme0n1p1 这样的块设备，传统 HDD 与 SSD 底层的原理结构完全不同，非存储专业的人没必要深入研究。存储以块(常用 4k)为单位，经过 mkfs.ext4 等工具格式化后，由引导块与多个块组(block group)组成，大家都知道的 Superblock 就存储在里面，每个块组(block group) 由 inodes block, data block 等组成，后面会讲。一个文件对应一个 inode (index node), 即索引节点信息，保存文件的元数据，而文件的内容保存在若干个 data block 中
挂载：磁盘格式化后是不能用的，需要挂载到文件系统中。内核启动时默认生成一个 rootfs, 然后其它磁盘设备都是挂载这下面，这里就涉及了挂载点 (mount)
内核：可以理解为一个 proxy, 负责将磁盘的数据，以文件的形式展示给用户。并且为了屏蔽所有磁盘类型的差异，抽像了一个通用的方法，即 VFS, 无论是物理磁盘还是网盘都要实现接口。这里就有了 Dentry 目录项，Inode 索引节点等重要的概念，为了加速查找文件及目录，还有各种 caches 缓存
进程：每个进程的结构体里，都会保存当前打开的文件描述符 fd 数组，对应着的文件结构体是 File. 对于进程来说，文件系统的操作就是 read, write, lseek, open, close 等系统调用

下图自公号文章低调的文件系统家族[1]，懒得自己画，暂用这个讲 NFS 的为例子来说明。

学习文件系统，建义先看下 Robert Love 经典的 Linux Kernel Development 大致了解就行，然后阅读 mkfs.ext2 的实现，看看磁盘是如何布局的，如何制作一个静态的磁盘文件，再深入 ext2 文件系统的原理(ext4, xfs 太庞大不建义看)，然后从上面四个角度去一步一步学习。

本次分享其实就是第一步，从静态的磁盘角度来看块设备如何组织 blocks

测试例子

1. 格式化文件

首先新建一个文件，用于挂载磁盘

# dd if=/dev/zero of=test_ext2.img bs=4096 count=1000000
1000000+0 records in
1000000+0 records out
4096000000 bytes (4.1 GB, 3.8 GiB) copied, 31.4627 s, 130 MB/s
# ls -rlth
total 68M
-rw-r--r-- 1 root root 3.9G Nov 12 05:58 test_ext2.img

用 dd 生成文件，块大小是 4k, 个数 1000000, 文件总大小 4G

# mkfs.ext2 -b 4096 test_ext2.img
mke2fs 1.44.1 (24-Mar-2018)
Discarding device blocks: done
Creating filesystem with 1000000 4k blocks and 250480 inodes
Filesystem UUID: a16681f6-d1f3-4e10-9726-4771e7abf44b
Superblock backups stored on blocks:
 32768, 98304, 163840, 229376, 294912, 819200, 884736

Allocating group tables: done
Writing inode tables: done
Writing superblocks and filesystem accounting information: done

调用 mkfs.ext2 格式化 test_ext2.img 磁盘文件，并且指定磁盘块大小是 4k, 可以看到输出很多信息，其中: inodes 个数一共 250480, Superblock 超级块分别备份在 7 个块上。

2. 挂载测试

# mkdir /mnt/ext2
# mount test_ext2.img /mnt/ext2
# df -h
Filesystem      Size  Used Avail Use% Mounted on
/dev/nvme0n1p1   15G  6.6G  8.0G  45% /
/dev/loop1      3.8G   13M  3.6G   1% /mnt/ext2
......

省去不必要信息，可以看到该磁盘大小可用 3.6G 空间，然后我们生成大量的小文件

# for i in `seq 1 250469`
> do
> touch /mnt/ext2/$i
> done
# touch /mnt/ext2/aaaaaaa
touch: cannot touch '/mnt/ext2/aaaaaaa': No space left on device
# df -h
Filesystem      Size  Used Avail Use% Mounted on
/dev/nvme0n1p1   15G  6.6G  8.0G  45% /
/dev/loop1      3.8G   13M  3.6G   1% /mnt/ext2
......

最后当我们创建文件时，报错 No space left on device, 但是通过 df 命令看到明明还有很多空间，基本没有使用。

3. inodes 用尽

# df -i
Filesystem      Inodes  IUsed   IFree IUse% Mounted on
/dev/nvme0n1p1 1920000 219146 1700854   12% /
/dev/loop1      250480 250480       0  100% /mnt/ext2
......
# echo "aaaaaaa" /mnt/ext2/10003
aaaaaaa /mnt/ext2/10003

有过运维经验的同学，肯定可以知道用 df 查看 inodes 使用情况，100% 用光了，所以即使磁盘还有很多空间，也无法创建新文件，但是追加写现有文件是可以的。这就是线上服务器不建义创建大量小文件的原因。

原因分析

让我们用 dumpe2fs 来看一下整体信息

# dumpe2fs test_ext2.img
dumpe2fs 1.44.1 (24-Mar-2018)
......
Filesystem OS type:       Linux
Inode count:              250480
Block count:              1000000
Reserved block count:     50000
Free blocks:              982309
Free inodes:              250469
First block:              0
Block size:               4096
Fragment size:            4096
Reserved GDT blocks:      244
Blocks per group:         32768
Fragments per group:      32768
Inodes per group:         8080
Inode blocks per group:   505
Filesystem created:       Thu Nov 12 03:56:34 2020
......

Group 0: (Blocks 0-32767)
  Primary superblock at 0, Group descriptors at 1-1
  Reserved GDT blocks at 2-245
  Block bitmap at 246 (+246)
  Inode bitmap at 247 (+247)
  Inode table at 248-752 (+248)
  32009 free blocks, 8069 free inodes, 2 directories
  Free blocks: 759-32767
  Free inodes: 12-8080
Group 1: (Blocks 32768-65535)
  Backup superblock at 32768, Group descriptors at 32769-32769
  Reserved GDT blocks at 32770-33013
  Block bitmap at 33014 (+246)
  Inode bitmap at 33015 (+247)
  Inode table at 33016-33520 (+248)
  32015 free blocks, 8080 free inodes, 0 directories
  Free blocks: 33521-65535
  Free inodes: 8081-16160
Group 2: (Blocks 65536-98303)
  Block bitmap at 65536 (+0)
  Inode bitmap at 65537 (+1)
  Inode table at 65538-66042 (+2)
  32261 free blocks, 8080 free inodes, 0 directories
  Free blocks: 66043-98303
  Free inodes: 16161-24240

......

Group 29: (Blocks 950272-983039)
  Block bitmap at 950272 (+0)
  Inode bitmap at 950273 (+1)
  Inode table at 950274-950778 (+2)
  32261 free blocks, 8080 free inodes, 0 directories
  Free blocks: 950779-983039
  Free inodes: 234321-242400
Group 30: (Blocks 983040-999999)
  Block bitmap at 983040 (+0)
  Inode bitmap at 983041 (+1)
  Inode table at 983042-983546 (+2)
  16453 free blocks, 8080 free inodes, 0 directories
  Free blocks: 983547-999999
  Free inodes: 242401-250480

上图是 ext2 文件系统的结构，可以看到当前 test_ext2.img 的磁盘文件组成，一共有 30个 Group 块组，除了 group0 里拥有 superblock 以外，其它组里还有备份的超级块(1,3,5,7 的整数幂 block 里)，每个 group 依次是 超级块，组描述符，块位图，inodes 位图，inodes 块，data 数据块，其中的位图用于快速查找是否被占用

注意这里 block count 是 1000000, 和我们用命令 dd 命令创建 test_ext2.img 文件时一样，因为 block size 都是 4k. 对于当前磁盘镜象，创建的 inodes count 是 250480, 这个数怎么来的呢？通过阅读 mkfs.ext2 源码，公式如下：

 fs_param.s_inodes_count = num_inodes ? num_inodes :
  (ext2fs_blocks_count(&fs_param) * blocksize) / inode_ratio;

其中 inode_ratio 意思是估算一般文件占用多大的磁盘空间，本例子大约是 4*block size. 所以当磁盘格式化后，能用的 inodes 数就是固定的了

在内核中，每创建一个文件，ext2_new_inode 都会占用一个 inode(保存文件的属性信息)，所以大量的小文件会消耗掉所有 inodes, 当再次使用 dumpe2fs 命令查看时，发现 Free inodes 己经为空了

# dumpe2fs test_ext2.img
dumpe2fs 1.44.1 (24-Mar-2018)
Filesystem volume name:   <none>

......

Group 0: (Blocks 0-32767)
  Primary superblock at 0, Group descriptors at 1-1
  Reserved GDT blocks at 2-245
  Block bitmap at 246 (+246)
  Inode bitmap at 247 (+247)
  Inode table at 248-752 (+248)
  30661 free blocks, 0 free inodes, 2 directories
  Free blocks: 2107-32767
  Free inodes:
Group 1: (Blocks 32768-65535)
  Backup superblock at 32768, Group descriptors at 32769-32769
  Reserved GDT blocks at 32770-33013
  Block bitmap at 33014 (+246)
  Inode bitmap at 33015 (+247)
  Inode table at 33016-33520 (+248)
  32015 free blocks, 0 free inodes, 0 directories
  Free blocks: 33521-65535
  Free inodes: