聊一聊虚拟机保护的技术

云计算 虚拟化
所谓虚拟机保护技术,是指将代码翻译为机器和人都无法识别的一串伪代码字节流;在具体执行时再对这些伪代码进行一一翻译解释,逐步还原为原始代码并执行。

[[224947]]

虚拟机概览

所谓虚拟机保护技术,是指将代码翻译为机器和人都无法识别的一串伪代码字节流;在具体执行时再对这些伪代码进行一一翻译解释,逐步还原为原始代码并执行。

这段用于翻译伪代码并负责具体执行的子程序就叫作虚拟机VM(好似一个抽象的CPU)。它以一个函数的形式存在,函数的参数就是字节码的内存地址。

将虚拟机应用到商业中的保护壳现有三款:Vmprotect,themida和 execrypt。

虚拟机架构

我们知道,代码中的指令多种多样,组织形式也千变万化;虚拟机不可能针对每一种具体情况都进行翻译处理。必须对所有可能遇到的指令先进行抽象归类,然后分解为若干简单的小指令,再交由各个专门的子程序(handler)去处理。

学过编译原理的同学应该都知道三元式代码吧,也叫做3地址代码(three adress code)。即不论多么复杂的赋值公式,都可以分解为数个3地址代码式序列。(什么是3地址代码,1段3地址代码只完成1次运算,譬如1次二目运算、1次比较,或者1次分支跳转运算。)

与此类似,不论多么复杂的指令,都可以分解为一串不可再分割的原子指令序列。

虚拟机(CPU)的体系架构可分为3种,基于堆栈的(Stack based),基于寄存器的(Register based)和3地址机器。我们只讲述基于堆栈的虚拟机架构(Stack based);这种架构的虚拟机需要频繁操作堆栈,其使用的虚拟寄存器(虚拟的eax、ebx等等)保存在堆栈中;每个原子指令的handler都需要push、pop。

现在的CPU都有大量的寄存器,堆栈一般只是在函数传递参数时使用(譬如PC机用的x86系列CPU)。但也有一些CPU只操作内存,没有堆栈,也没有寄存器。使用这种CPU的机器称之为3地址机器。

基于堆栈的CPU或虚拟机没有临时变量、寄存器的概念,所有的东西都放入堆栈。由于指令中不需要指定操作数,所以其指令相对基于寄存器的要短。也因此相对简单,在嵌入式系统中运用较多。用于保护代码,我们也选择这种。

举例,譬如指令add,基于堆栈的CPU首先从堆栈里Pop两个数,然后将两数相加,再把和Push到堆栈。Add指令只占用1个字节。而基于寄存器的CPU对应指令为 add Reg1,Reg2,需要3个字节。请仔细想象一下没有寄存器的CPU,它的指令是怎样的,该会是多么简洁。当然,指令简洁带来的缺点就是效率低下。

我们这里谈的虚拟机保护技术,就是把基于寄存器的CPU代码,改造成基于堆栈的CPU的伪代码。然后再由基于堆栈的虚拟机(CPU)对伪代码解释执行。

指令系统

关键在于设计一个虚拟的基于堆栈的虚拟机(CPU)的指令系统。这个指令系统越简洁,复用性越高越好。

还是以add 指令为例。X86系列CPU的add指令有许多格式,譬如:add reg,imm 、add reg,reg、add reg,mem、add mem,reg等等。而基于堆栈的虚拟机CPU则没有这么多花样,就一个单单的add指令,参数和返回都是在堆栈里。

我们需要为我们的虚拟机CPU模拟实现这样的add命令:

而原有的add命令的参数,我们需要翻译为 push 命令 。根据push 的对象不同,需要不同的实现:

有Push指令了,也得有Pop指令:

基于堆栈的虚拟机指令系统就是这样简单的:单字节的动作指令(譬如add、dec),以及各式各样的push、pop等堆栈操作指令。没有复杂的寄存器与内存操作。我们需要把x86的CPU指令翻译成虚拟机CPU的指令,譬如:

Call指令相对麻烦一点,因为Call的函数未必是虚拟机的伪代码了。所以碰到Call指令,就要退出虚拟机,交由真实的CPU去处理了。代码类似下面:

其余,要注意标志位的处理、不可模拟指令,以及指令的优化。还有异常处理,这里就不展开了。

VStartVM是虚拟机的入口,负责保存运行环境(各个寄存器的值)、以及初始化堆栈(虚拟机使用的变量全部在堆栈中)。

Bytecode是伪代码;VMDispatcher对伪代码逐个阅读处理,然后分发给下面的各个子程序(Handler)。

加壳程序先把已知的X86指令解释成了字节码,放在PE文件中,然后将原处代码删掉,改成类似的代码进入虚拟机执行循环。

VStartVM初始化后,堆栈情形如下:

edi指向VMcontext;esi指向伪代码的地址;ebp指向真实堆栈的栈顶; 这三个寄存器在VM内不要再改了。

VMContext是虚拟机VM使用的虚拟环境结构:

VM之所以使用堆栈保存自己的寄存器结构,是考虑到多线程程序的兼容。

大家都知道脱壳时的堆栈平衡原理吧。同样的,虚拟机在执行翻译后的程序代码时,也不可以随便变动原来的堆栈地址。还需经常检查在堆栈中的VMcontext结构不被冲掉。

责任编辑:武晓燕 来源: 看雪学院
相关推荐

2019-03-20 14:29:46

Linux虚拟内存

2018-11-29 09:13:47

CPU中断控制器

2021-04-28 08:35:52

区块链技术开发

2020-11-06 07:10:21

5G定位

2017-12-26 14:56:44

虚拟化基础知识

2023-07-06 13:56:14

微软Skype

2023-09-22 17:36:37

2021-01-28 22:31:33

分组密码算法

2020-05-22 08:16:07

PONGPONXG-PON

2023-09-27 16:39:38

2021-08-01 09:55:57

Netty时间轮中间件

2024-03-08 09:51:12

Linux网络性能

2020-09-08 06:54:29

Java Gradle语言

2022-02-09 16:23:07

网络安全零信任技术

2022-06-17 11:03:11

5G安全隐私

2023-02-09 08:48:47

Java虚拟机

2022-08-08 08:25:21

Javajar 文件

2023-05-15 08:38:58

模板方法模式

2021-08-04 09:32:05

Typescript 技巧Partial

2021-01-29 08:32:21

数据结构数组
点赞
收藏

51CTO技术栈公众号