Windows rust使用LLVM pass

发表于 2年以前 | 总阅读数：710 次

一前言

rust的编译器rustc用llvm进行中间代码生成(MIR-> LLVM IR 链接https://rustc-dev-guide.rust-lang.org/overview.html)，所以我想尝试下在rust编译过程加个pass进行代码混淆，进而保护生产代码。

由于rust在Windows下有两种toolchain，一种是msvc，另外一种是用mingw的windows-gnu。由于LLVM在Windows下的动态库编译只能使用Mingw-w64环境，具体来源：LLVM官方CMake参数（https://llvm.org/docs/CMake.html#llvm-related-variables），并且rust自己编译的LLVM不支持动态链接。

即本文使用MSYS2下的Mingw-w64环境。

二环境准备

机器要求

足够强劲的机器，大概20G的硬盘空间(固态更好)，8G以上的内存，以及良好的网络链接。

使用Ninja代替make能大幅提升速度，但是增加内存消耗(link时可能达到24G内存占用)，若内存不足的可以在生产cmake build的时候使用MinGW Makefiles或者Unix Makefiles。本文主要使用Ninja作为主要构建工具。

空间占用：

内存占用:

msys2

从清华源链接（https://mirrors.tuna.tsinghua.edu.cn/msys2/distrib/x86_64/）下载最新的安装包，例如 msys2-x86_64-20220904.exe。

然后直接安装。

中间会卡一会，等一下就好。

完成的时候不要直接启动它默认的终端。

去开始菜单找msys2 - mingw64。

安装编译依赖

pacman -S mingw-w64-x86_64-gcc mingw-w64-x86_64-ninja mingw-w64-x86_64-python3 mingw-w64-x86_64-cmake autoconf libtool

这里安装了gcc、ninja构建工具，mingw-w64版的python3，mingw-w64下的cmake，以及一些编译用到的工具。

git

可自己从git官网（https://git-scm.com/download/win）下，也可以在msys2安装，看个人喜好。

我偏向于使用官网下载的git，其他ide也能用上。

下载64位Standalone Installer即可，安装过程可以按照个人喜好配置，如果只是为了本次编译就直接无脑下一步即可。

cmake

可从官网（https://cmake.org/download/）下windows安装包，也可以在msys2中安装mingw-w64-x86_64-cmake，但千万不能使用msys2提供的cmake包。

即使用pacman -S mingw-w64-x86_64-cmake安装cmake，本文使用msys2中的mingw-w64-x86_64-cmake。

若使用官网安装的cmake，需要在msys2 mingw中手动指定cmake.exe位置，即

/c/Program\ Files/CMake/bin/cmake -G "Unix Makefiles"。

rust源码

在官方github分支中找到你想要的版本，例如 1.63.0。

然后在你自己的工作目录用命令

git clone --single-branch --branch 1.63.0 https://github.com/rust-lang/rust

克隆指定分支的rust源码。

对应rust版本的LLVM

这里注意不要去llvm-org直接下载源码，以免出现不兼容等bug。

在rust源码里有.gitmodules这个文件，打开看对应LLVM的分支，并克隆。例如 rust 1.63.0对着的LLVM版本rustc/14.0-2022-03-22。

git clone --branch rustc/14.0-2022-03-22 https://github.com/rust-lang/llvm-project.git

三编译LLVM

给LLVM添加混淆插件

1、添加LLVM obfuscator

这里用的是heroims（https://heroims.github.io/）的patch，具体项目地址在这里（https://github.com/heroims/obfuscator/tree/patches）。

由于LLVM14有两种pass方式，一种legacy pass一种new pass，LLVM官方正在逐渐用new pass淘汰legacy pass，所以这里使用new pass作为补丁。


wget https://heroims.github.io/obfuscator/NewPass/ollvm14.patch
cd llvm-project
git apply --reject --ignore-whitespace ../ollvm14.patch

这里要注意，正常情况下是直接patch完毕的，如果应用patch错误有.rej文件出现，需要手动处理冲突。

成功应用patch截图：

2、修复LLVM 14的Link错误

无冲突应用完patch之后，需要去llvm-project/llvm/lib/Transforms/Obfuscation目录，修改CMakeLists.txt。

在 intrinsics_gen之后添加以下内容：


COMPONENT_NAME
Obfuscation

LINK_COMPONENTS
Analysis
Core
Support
TransformUtils

最终文件内容如图所示：

编译LLVM本体

1、生成cmake构建项目:

在刚刚克隆的LLVM源码同级目录输入以下命令

cmake -G "Ninja" -S ./llvm-project/llvm -B ./build_dyn_x64 -DCMAKE_INSTALL_PREFIX=./llvm_x64 -DCMAKE_CXX_STANDARD=17 -DCMAKE_BUILD_TYPE=Release -DLLVM_ENABLE_PROJECTS="clang;lld;" -DLLVM_TARGETS_TO_BUILD="X86" -DBUILD_SHARED_LIBS=ON -DLLVM_INSTALL_UTILS=ON -DLLVM_INCLUDE_TESTS=OFF -DLLVM_BUILD_TESTS=OFF -DLLVM_INCLUDE_BENCHMARKS=OFF -DLLVM_BUILD_BENCHMARKS=OFF

命令解析:

-G "Ninja" 让cmake生成ninja的编译项目
-S ./llvm-project/llvm 指定源码目录
-B ./build_dyn_x64 指定编译输出目录
-DCMAKE_INSTALL_PREFIX=./llvm_x64 指定LLVM安装目录为当前目录下的llvm_x64
-DCMAKE_CXX_STANDARD=17 指定C++ 17标准， LLVM需要至少C++17以上
-DCMAKE_BUILD_TYPE=Release 指定构建类型为Release
-DLLVM_ENABLE_PROJECTS="clang;lld;" 指定LLVM启用项目
-DLLVM_TARGETS_TO_BUILD="X86" 指定编译LLVM的目标,这里只启用了x86
-DBUILD_SHARED_LIBS=ON 构建LLVM动态库
-DLLVM_INSTALL_UTILS=ON 安装LLVM的其他工具，这个是rust编译时需要的FileCheck等工具
-DLLVM_INCLUDE_TESTS=OFF -DLLVM_BUILD_TESTS=OFF 不编译测试
-DLLVM_INCLUDE_BENCHMARKS=OFF -DLLVM_BUILD_BENCHMARKS=OFF 不编译基准测试

具体参数可以查看LLVM的官方文档（https://llvm.org/docs/CMake.html）。

2、开始编译:

cmake --build ./build_dyn_x64 -j 22

命令解析:


--build ./build_dyn_x64 告诉cmake从哪里开始编译
-j 22 指定多少线程同时编译

然后就是等待，大概20-40分钟，具体时长取决于机器配置。

3、安装(生成)LLVM

cmake --install ./build_dyn_x64

安装编译好的LLVM到llvm_x64目录。

这里如果不需要对LLVM进行其他修改，可以删除build_dyn_x64目录，节省硬盘空间。

4、添加运行LLVM的依赖

由于是使用Mingw-w64的环境，编译出来的LLVM无法直接使用，需要去MSYS2的mingw64的bin目录复制下列dll到LLVM的bin目录。

需要复制的dll列表：


libgcc_s_seh-1.dll
libstdc++-6.dll
libwinpthread-1.dll
zlib1.dll

编译完成后的目录结构：

成果：

四编译rustc

配置rust编译选项

1、进入rust源码目录，复制一份config.toml.example到config.toml

如图所示。

2、修改config.toml

在[rust]子项，debug = false。

这里把debug关闭，提升速度。

在[rust]子项，往下的channel设置成nightly。

使用nightly channel才能设置LLVM pass的参数。

在[target.x86_64-unknown-linux-gnu]子项，llvm-config设置到刚刚我们编译的llvm目录下的llvm-config。

修改x86_64-unknown-linux-gnu为x86_64-pc-windows-gnu。

这里设置llvm-config选项后，就能跳过rustc编译的过程中编译非动态版本的LLVM。

修改rust的源码

因为rustc(rust的编译器)是有几个不同的编译阶段：

阶段0：启动，下载当前beta版本的rustc等工具来编译src/bootstrap, std, rustc。
阶段1：由阶段0编译出当前源码的编译器(rustc)，使用阶段0的abi。
阶段2：由阶段1编译出当前源码的编译器，使用阶段1的abi。

这里我只是大概了解了一下，可能会有些偏差，具体详情可以看官方文档（https://rustc-dev-guide.rust-lang.org/building/bootstrapping.html）以及源码的说明（https://github.com/rust-lang/rust/tree/master/src/bootstrap）。

其中，我们真正使用的是阶段2的文件作为我们自己的toolchain。由于我们的llvm是动态编译的，所以在阶段1->阶段2的时候编译出的rustc无法执行，需要跟LLVM一样需要手动补充依赖文件。

修改的文件：src/bootstrap/compile.rs


if target_compiler.stage == 1 {
    let llvm_dir = r"C:\\Users\\Administrator\\Desktop\\tutorial\\llvm_x64\\bin";
    for entry in fs::read_dir(llvm_dir).expect("Dir not found!") {
        let entry = entry.expect("this was dir");
        let path = entry.path();
        if let Some(extension) = path.extension() {
            if extension == "dll" {
                let dst_path = bindir.join(entry.file_name());
                // println!("{}", dst_path.as_path().display().to_string());
                fs::copy(path, dst_path).expect("error copy");
            }
        }
    }
}

注意：上面的目录需要按照自己的实际情况修改。

位置：

这里我们在创建完每个阶段的bin文件夹后，判断当前阶段，如果是阶段1就复制我们自己编译的LLVM的dll文件到当前阶段的bin文件夹，这样就能保证rustc的编译过程能完成。

编译rustc

这里有个小坑，如果没有在MSYS2装Git，但是在Windows下装了Git的，需要手动设置下环境变量，否则rust的编译脚本无法找到git。

export PATH=$PATH:/c/Program\ Files/Git/bin

在mingw-w64窗口，进到rust的源码目录，执行

python x.py build

然后等待大概30-40分钟，具体时间取决于编译机器的配置以及网络情况。

编译完成：

成品：

五编译cargo

编译cargo本体

在rust源码目录执行

python x.py build tools/cargo

等待20-30分钟，具体时长取决于编译机器的配置。

成品：

复制依赖

编译出来的cargo还是跟之前一样，缺少dll，从需要去MSYS2的mingw64的bin目录复制zlib1.dll到rust/build/x86_64-pc-windows-gnu/stage1-tools-bin。

六使用自己的toolchain

安装rustup

如果之前安装过rustup的可以跳过这个步骤。

1、下载rustup-init.exe

到官网（https://www.rust-lang.org/tools/install）点击rustup-init.exe (64-bit) 进行下载。

2、设置rustup

选择ABI。

这里选3,跳过安装vs。

选择toolchain。

这里选择2，自定义，并输入x86_64-pc-windows-gnu。

选择toolchain频道。

这里输入nightly。

选择额外工具。

这里默认即可(回车)。

是否修改系统环境变量。

这里选是，输入Y。

然后进行安装。

这里直接输入1，然后回车即可。

完成。

按回车退出即可。

配置自己编译的toolchain

打开一个新的cmd

1、配置toolchain

在cmd输入

rustup toolchain link my-rust-1.63.0 C:\Users\Administrator\Desktop\tutorial\rust\build\x86_64-pc-windows-gnu\stage1

其中:

my-rust-1.63.0 为自定义toolchain名字
C:\Users\Administrator\Desktop\tutorial\rust\build\x86_64-pc-windows-gnu\stage1 为刚才编译出来的toolchain的阶段1目录

2、设置成默认toolchain

在cmd输入 rustup default my-rust-1.63.0

其中, my-rust-1.63.0为刚才自定义toolchain的名字。

3、验证

在cmd输入

rustup toolchain list

查看当前toolchain的状态。

使用

1、使用cargo new创建个hello world

2、设置项目参数

在项目根目录创建或者修改.cargo/config。如果.config目录不存在，自己创建一个。

config是一个文件。config的内容如下：


[target.x86_64-pc-windows-gnu]
rustflags = [
    "-Z", "llvm-plugins=libLLVMObfuscator.dll",
    "-C", "passes=obf-fla obf-bcf obf-split",
    "-C", "llvm-args=-fla -bcf_loop=2 -split_num=2",
]

说明：


[target.x86_64-pc-windows-gnu] 对应的target名字
rustflags 从cargo传递到rustc的参数列表
"-Z", "llvm-plugins=libLLVMObfuscator.dll" 启用混淆插件
"-C", "passes=obf-fla obf-bcf obf-split" 指定混淆模式
"-C", "llvm-args=-fla -bcf_loop=2 -split_num=2" 设置混淆参数

3、编译

打开MSYS2 - MINGW64。

在项目目录执行

cargo +my-rust-1.63.0 build -Z build-std=panic_abort,std,core,alloc,proc_macro --target x86_64-pc-windows-gnu --release

参数说明：


+my-rust-1.63.0 指定使用名为my-rust-1.63.0的toolchain
build 构建cargo项目
-Z build-std=panic_abort,std,core,alloc,proc_macro 重新以混淆的方式编译rust的std到当前项目
--target x86_64-pc-windows-gnu 指定编译的std的目标架构
--release 编译release