上一篇《Linux C++ 开发2 - 编写、编译、执行第一个程序》我们编写了一个Hello world
程序,并在Linux下完成了正常的编译和执行。
上一篇中我们用g++ ./demo01.cpp
这个指令就轻松将我们的demo01.cpp
源代码编译成了二进制程序,那你知道这个指令内部经历了哪些过程吗?
1. C/C++的编译过程
先说结论:C/C++的编译过程包括 预处理、编译、汇编、链接 四个关键的步骤,整个编译的处理流程如下图所示:
更粗粒度的划分,我们又把 预处理、编译、汇编 称为编译过程,就是把源代码(.c/.cpp/.cc)生成目标代码;链接的动作单独一个过程,称为链接过程。
1.1. 预处理
预处理也称为预编译,由预处理器(cpp)执行,预处理阶段主要处理一些预处理指令,比如文件包含、宏定义、条件编译等。
- 文件包含,也就是将所有通过
#include
包含的头文件替换成真正的内容。
- 宏定义,预处理时需要把所有的宏定义替换成真正的内容。
- 条件编译,也就是通过如
#ifdef, #ifndef, #else, #elif, #endif
等指令定义的条件编译,预处理会把不符合条件的代码删除,只保留符合条件的代码。
1.2. 编译
编译阶段要做的工作就是通过词法分析、语法分析和语义分析,在确认所有的源代码都符合语法规则之后,将其翻译成等价的汇编代码(中间代码),即.s
或.asm
文件。这个过程是整个程序构建的核心部分,也是最复杂的部分之一。
更多关于汇编语言的介绍参加《汇编语言1 - 什么是汇编语言?》。
除此之外,编译器还会在这个阶段进行代码优化。优化主要包含两大部分:一部分是对源代码本身逻辑的优化,如删除公共表达式、删除无用赋值、循环优化、复写传播等。另一部分是根据目标设备的硬件结构,对执行指令进行优化,如寄存器分配、指令调度、指令合并等。
1.3. 汇编
1.3.1. 汇编过程
汇编的过程就是通过不同平台的汇编器(如:Linux的AS、Windows的MASM)将汇编代码翻译成机器能识别的机器码,即生成目标文件(Linux下是.o
,windows下是.obj
)。
1.3.2. 目标文件
目标文件(Object File) 是源代码经过预处理、编译、汇编后生成的中间文件,Linux下的目标文件(.o
)的文件格式是ELF(Executable and Linkable Format),它包含了机器代码、数据、符号表和重定位信息等。
我们来看一个.o
文件的文件头,
1 2 3 4 5 6 7 8 9 10 11 12 13 14 15 16 17 18 19 20 21 22 23
| objdump -h demo01.o
demo01.o: file format elf64-x86-64
Sections: Idx Name Size VMA LMA File off Algn 0 .text 0000003a 0000000000000000 0000000000000000 00000040 2**0 CONTENTS, ALLOC, LOAD, RELOC, READONLY, CODE 1 .data 00000000 0000000000000000 0000000000000000 0000007a 2**0 CONTENTS, ALLOC, LOAD, DATA 2 .bss 00000000 0000000000000000 0000000000000000 0000007a 2**0 ALLOC 3 .rodata 00000011 0000000000000000 0000000000000000 0000007a 2**0 CONTENTS, ALLOC, LOAD, READONLY, DATA 4 .comment 00000027 0000000000000000 0000000000000000 0000008b 2**0 CONTENTS, READONLY 5 .note.GNU-stack 00000000 0000000000000000 0000000000000000 000000b2 2**0 CONTENTS, READONLY 6 .note.gnu.property 00000020 0000000000000000 0000000000000000 000000b8 2**3 CONTENTS, ALLOC, LOAD, READONLY, DATA 7 .eh_frame 00000038 0000000000000000 0000000000000000 000000d8 2**3 CONTENTS, ALLOC, LOAD, RELOC, READONLY, DATA
|
行:
- .text: 代码段(存放函数的二进制机器指令)
- .data: 数据段(存已初始化的局部/全局静态变量、未初始化的全局静态变量)
- .bss: bss段(声明未初始化变量所占大小)
- .rodata: 只读数据段(存放 “ “ 引住的只读字符串)
- .comment: 注释信息段
- .node.GUN-stack: 堆栈提示段
列:
- Size: 段的长度
- File Off: 段的所在位置(即距离文件头的偏移位置)
段的属性:
- CONTENTS: 表示该段在文件中存在
- ALLOC: 表示只分配了大小,但没有存内容
1.4. 链接
程序的链接阶段可分为两个步骤:
- 第一步:由于每个.o文件都有都有自己的代码段、bss段,堆,栈等,所以链接器首先将多个.o 文件相应的段进行合并,建立映射关系及合并符号表。进行符号解析,符号解析完成后就是给符号分配虚拟地址。
- 第二步:将分配好的虚拟地址与符号表中定义的符号一一对应起来,使其成为正确的地址,使代码段的指令可以根据符号的地址执行相应的操作,最后由链接器生成可执行文件。
2. 编译过程示例
2.1. 源代码
我们还是以《Linux C++ 开发2 - 编写、编译、执行第一个程序》中使用的源代码为例进行讲解。
demo01.cpp:
1 2 3 4 5 6 7
| #include <iostream>
int main() { std::cout << "Hello, world!" << std::endl; return 0; }
|
2.2. 逐步编译程序
2.2.1. 编译指令
我们分成 预处理、编译、汇编、链接 四步来逐步编译程序。
1 2 3 4 5 6 7 8 9 10 11
| cpp ./demo01.cpp -o ./demo01.i
g++ -S ./demo01.i -o ./demo01.s
as ./demo01.s -o ./demo01.o
ld ./demo01.o -o ./demo01.out
./demo01.out
|
2.2.2. 链接报错问题
执行上面第4步的链接命令时,可能会出现如下报错:
1 2 3 4 5 6
| ld: warning: cannot find entry symbol _start; defaulting to 0000000000401000 ld: ./demo01.o: in function `main': demo01.cpp:(.text+0x15): undefined reference to `std::cout' ld: demo01.cpp:(.text+0x1d): undefined reference to `std::basic_ostream<char, std::char_traits<char> >& std::operator<< <std::char_traits<char> >(std::basic_ostream<char, std::char_traits<char> >&, char const*)' ld: demo01.cpp:(.text+0x24): undefined reference to `std::basic_ostream<char, std::char_traits<char> >& std::endl<char, std::char_traits<char> >(std::basic_ostream<char, std::char_traits<char> >&)' ld: demo01.cpp:(.text+0x2f): undefined reference to `std::ostream::operator<<(std::ostream& (*)(std::ostream&))'
|
这是因为:Linux系统下,链接目标文件生成可执行文件的过程比我们想象的要复杂许多,生成一个C++可执行文件,需要依赖很多系统库和相关的目标文件,比如C++的libc++库。那怎么解决这个问题呢?
方法一: 直接用g++的指令
1
| g++ ./demo01.o -o ./demo01.out
|
方法二: 添加复杂参数
既然g++
可以直接编译,我们何不看看g++
内部到底是怎么编译的, 执行如下代码。
1 2 3 4 5 6 7 8 9 10 11 12 13 14 15 16 17 18
| g++ -v ./demo01.o -o ./demo01.out
Using built-in specs. COLLECT_GCC=g++ COLLECT_LTO_WRAPPER=/usr/libexec/gcc/x86_64-linux-gnu/13/lto-wrapper OFFLOAD_TARGET_NAMES=nvptx-none:amdgcn-amdhsa OFFLOAD_TARGET_DEFAULT=1 Target: x86_64-linux-gnu Configured with: ../src/configure -v --with-pkgversion='Ubuntu 13.2.0-23ubuntu4' --with-bugurl=file:///usr/share/doc/gcc-13/README.Bugs --enable-languages=c,ada,c++,go,d,fortran,objc,obj-c++,m2 --prefix=/usr --with-gcc-major-version-only --program-suffix=-13 --program-prefix=x86_64-linux-gnu- --enable-shared --enable-linker-build-id --libexecdir=/usr/libexec --without-included-gettext --enable-threads=posix --libdir=/usr/lib --enable-nls --enable-clocale=gnu --enable-libstdcxx-debug --enable-libstdcxx-time=yes --with-default-libstdcxx-abi=new --enable-libstdcxx-backtrace --enable-gnu-unique-object --disable-vtable-verify --enable-plugin --enable-default-pie --with-system-zlib --enable-libphobos-checking=release --with-target-system-zlib=auto --enable-objc-gc=auto --enable-multiarch --disable-werror --enable-cet --with-arch-32=i686 --with-abi=m64 --with-multilib-list=m32,m64,mx32 --enable-multilib --with-tune=generic --enable-offload-targets=nvptx-none=/build/gcc-13-uJ7kn6/gcc-13-13.2.0/debian/tmp-nvptx/usr,amdgcn-amdhsa=/build/gcc-13-uJ7kn6/gcc-13-13.2.0/debian/tmp-gcn/usr --enable-offload-defaulted --without-cuda-driver --enable-checking=release --build=x86_64-linux-gnu --host=x86_64-linux-gnu --target=x86_64-linux-gnu Thread model: posix Supported LTO compression algorithms: zlib zstd gcc version 13.2.0 (Ubuntu 13.2.0-23ubuntu4) COMPILER_PATH=/usr/libexec/gcc/x86_64-linux-gnu/13/:/usr/libexec/gcc/x86_64-linux-gnu/13/:/usr/libexec/gcc/x86_64-linux-gnu/:/usr/lib/gcc/x86_64-linux-gnu/13/:/usr/lib/gcc/x86_64-linux-gnu/ LIBRARY_PATH=/usr/lib/gcc/x86_64-linux-gnu/13/:/usr/lib/gcc/x86_64-linux-gnu/13/../../../x86_64-linux-gnu/:/usr/lib/gcc/x86_64-linux-gnu/13/../../../../lib/:/lib/x86_64-linux-gnu/:/lib/../lib/:/usr/lib/x86_64-linux-gnu/:/usr/lib/../lib/:/usr/lib/gcc/x86_64-linux-gnu/13/../../../:/lib/:/usr/lib/ COLLECT_GCC_OPTIONS='-v' '-o' './demo01.out' '-shared-libgcc' '-mtune=generic' '-march=x86-64' '-dumpdir' './demo01.out.' /usr/libexec/gcc/x86_64-linux-gnu/13/collect2 -plugin /usr/libexec/gcc/x86_64-linux-gnu/13/liblto_plugin.so -plugin-opt=/usr/libexec/gcc/x86_64-linux-gnu/13/lto-wrapper -plugin-opt=-fresolution=/tmp/cc9BwcQy.res -plugin-opt=-pass-through=-lgcc_s -plugin-opt=-pass-through=-lgcc -plugin-opt=-pass-through=-lc -plugin-opt=-pass-through=-lgcc_s -plugin-opt=-pass-through=-lgcc --build-id --eh-frame-hdr -m elf_x86_64 --hash-style=gnu --as-needed -dynamic-linker /lib64/ld-linux-x86-64.so.2 -pie -z now -z relro -o ./demo01.out /usr/lib/gcc/x86_64-linux-gnu/13/../../../x86_64-linux-gnu/Scrt1.o /usr/lib/gcc/x86_64-linux-gnu/13/../../../x86_64-linux-gnu/crti.o /usr/lib/gcc/x86_64-linux-gnu/13/crtbeginS.o -L/usr/lib/gcc/x86_64-linux-gnu/13 -L/usr/lib/gcc/x86_64-linux-gnu/13/../../../x86_64-linux-gnu -L/usr/lib/gcc/x86_64-linux-gnu/13/../../../../lib -L/lib/x86_64-linux-gnu -L/lib/../lib -L/usr/lib/x86_64-linux-gnu -L/usr/lib/../lib -L/usr/lib/gcc/x86_64-linux-gnu/13/../../.. ./demo01.o -lstdc++ -lm -lgcc_s -lgcc -lc -lgcc_s -lgcc /usr/lib/gcc/x86_64-linux-gnu/13/crtendS.o /usr/lib/gcc/x86_64-linux-gnu/13/../../../x86_64-linux-gnu/crtn.o COLLECT_GCC_OPTIONS='-v' '-o' './demo01.out' '-shared-libgcc' '-mtune=generic' '-march=x86-64' '-dumpdir' './demo01.out.'
|
我们看到/usr/libexec/gcc/x86_64-linux-gnu/13/collect2
开头的这一行,后面跟了一堆复杂的参数,这个就是链接时需要用到的参数。
collect2是什么?实际上collect2
是对ld
的封装,g++
调用链接器collect2
来完成链接工作,最终还是要调用到ld
。
我们可以尝试将collect2
替换成ld
,然后跟上后面的参数,执行如下的执行:
1 2 3 4 5 6
| ld -plugin /usr/libexec/gcc/x86_64-linux-gnu/13/liblto_plugin.so -plugin-opt=/usr/libexec/gcc/x86_64-linux-gnu/13/lto-wrapper -plugin-opt=-fresolution=/tmp/cc9BwcQy.res -plugin-opt=-pass-through=-lgcc_s -plugin-opt=-pass-through=-lgcc -plugin-opt=-pass-through=-lc -plugin-opt=-pass-through=-lgcc_s -plugin-opt=-pass-through=-lgcc --build-id --eh-frame-hdr -m elf_x86_64 --hash-style=gnu --as-needed -dynamic-linker /lib64/ld-linux-x86-64.so.2 -pie -z now -z relro -o ./demo01.out /usr/lib/gcc/x86_64-linux-gnu/13/../../../x86_64-linux-gnu/Scrt1.o /usr/lib/gcc/x86_64-linux-gnu/13/../../../x86_64-linux-gnu/crti.o /usr/lib/gcc/x86_64-linux-gnu/13/crtbeginS.o -L/usr/lib/gcc/x86_64-linux-gnu/13 -L/usr/lib/gcc/x86_64-linux-gnu/13/../../../x86_64-linux-gnu -L/usr/lib/gcc/x86_64-linux-gnu/13/../../../../lib -L/lib/x86_64-linux-gnu -L/lib/../lib -L/usr/lib/x86_64-linux-gnu -L/usr/lib/../lib -L/usr/lib/gcc/x86_64-linux-gnu/13/../../.. ./demo01.o -lstdc++ -lm -lgcc_s -lgcc -lc -lgcc_s -lgcc /usr/lib/gcc/x86_64-linux-gnu/13/crtendS.o /usr/lib/gcc/x86_64-linux-gnu/13/../../../x86_64-linux-gnu/crtn.o
./demo01.out Hello, world!
|
可以看到链接成功,且链接的结果demo01.out
可以被正常执行。
2.3. 单步编译
1 2 3 4 5 6 7 8 9
| md5sum *
7512950d97efcb22fe2f488c9b6ada11 demo01.cpp 6c926dd87e4dbbb7bebb94565bc58a7e demo01.i 2947e9b8bc49df9d3168af80a0d67fff demo01.s 7b73665fe2b3d62f86aee04b96727e75 demo01.o cccb05699b393ba43420bf9518a0cfd6 demo01.out cccb05699b393ba43420bf9518a0cfd6 a.out
|
我们看到demo01.out
和a.out
的md5值是一样的,说明:
- 直接编译得到的可执行文件(
a.out
)和经过预处理、编译、汇编、链接后得到的可执行文件(demo01.out
)是一样的。
- C++的编译内部经过了预处理、编译、汇编、链接等过程。
3. gcc/g++与gpp、as、ld的关系
3.1. 关系图
gcc/g++
对 预处理、编译、汇编、链接 等过程进行了捆绑,使用户只需要使用一次命令就可以把编译工作完成,这样极大的简化了编译的动作。
gcc/g++
相当于一个总控程序,内部组合了cpp
、as
、ld
等工具,并通过参数传递的方式完成编译工作。
编译步骤 |
指令一 |
指令二 |
预处理 |
cpp |
g++ -E |
编译 |
g++ -S |
g++ -S |
汇编 |
as |
g++ -c |
链接 |
ld |
g++ |
3.2. 示例演示
1 2 3 4 5 6 7 8 9 10
| g++ -E ./demo01.cpp -o ./demo02.i
g++ -S ./demo02.i -o ./demo02.s
g++ -c ./demo02.s -o ./demo02.o
g++ ./demo02.o -o ./demo02.out
./demo02.out
|
1 2 3 4 5 6 7 8 9 10 11 12
| md5sum *
7512950d97efcb22fe2f488c9b6ada11 demo01.cpp 6c926dd87e4dbbb7bebb94565bc58a7e demo01.i 2947e9b8bc49df9d3168af80a0d67fff demo01.s 7b73665fe2b3d62f86aee04b96727e75 demo01.o cccb05699b393ba43420bf9518a0cfd6 demo01.out 6c926dd87e4dbbb7bebb94565bc58a7e demo02.i 2947e9b8bc49df9d3168af80a0d67fff demo02.s 7b73665fe2b3d62f86aee04b96727e75 demo02.o cccb05699b393ba43420bf9518a0cfd6 demo02.out
|
可以看到,编译的结构与”2.2. 逐步编译程序“完全一样。
4. 参考文档
https://blog.csdn.net/qq_40765537/article/details/105940800
https://www.cnblogs.com/mickole/articles/3659112.html
https://blog.csdn.net/gt1025814447/article/details/80442673