关于python:oeasypython0010-python虚拟机解释执行py文件的原理

解释运行程序 🥊

回顾上次内容

• 咱们这次设置了断点

  • 设置断点的目标是更快地调试
  • 调试的目标是去除 bug
  • 别胆怯 bug
  • 一步步地总能找到 bug

  • 这就是程序员基本功

    • 调试 debug

• 我心中还是有疑难

  • python3 是怎么解释 hello.py 的？🤔

纯文本

• 咱们的 py 文件是一个纯文本文件

• 关上咱们的 guido.py

  • 如果没有就新做一个
• 这外面是一个个的字符

print("1982------Guido in cwi")
print("1995------Guido in cnri")
print("2000------Guido in beopen")
print("2005------Guido in google")
print("2012------Guido in dropbox")
print("2020------Guido in microsoft")

• python 怎晓得如何执行呢？

传统文本

• 传统文本的根底也是字符

• 在字符的根底上组织起篇章构造

  • 字组成词
  • 词组成句
  • 句组成段
  • 段组成章节
  • 最初成书

tokenize

• 首先把一个个字符组成词

• 剖析一下哪些字能够组成词

  • 术语叫词法剖析(lexical analysis)

• 把原来的字符流

  • 变成了词的流
  • token(令牌)流

• 词法剖析之后输入的是一个词 (token) 的流

  • 啥是 token 呢？

token

• token

  • 令牌

• 今人说听我号令

  • 号指的是

    • 号角
    • 摔杯为号
    • 是一个信号

  • 令指的是令牌

    • 急急如律令
    • 打五十大板
    • 令行禁止
• 怎么把源文件变成一个词 (token) 流呢？

python3 模块

• 帮忙手册外面有这个内容
• 这个 tokenize 是 python3 的一个模块(module)

• 具体怎么运行呢？

token 流

• 咱们尝试运行

  • python3 -m tokenize guido.py

    • -m 代表的是 module 模块
  • 对 guido.py 进行词法剖析
• 剖析进去的词 (token) 流什么样子呢？
• 这个词的流怎么了解呢？

token 流

• 第 0 行设置了编码格局

• 第 1 行 [0,5) 字符是第 1 行第 1 个 token

  • print
  • print 是一个 Name(名字)

• 第 1 行 [5,6) 字符是第 1 行第 2 个 token

  • (
  • (是一个 Operator(操作符)

• 第 1 行 [6,30) 字符是第 1 行第 3 个 token

  • “1982——Guido in cwi”
  • 这是一个 String(字符串)

• 第 1 行 [30,31) 字符是第 1 行第 4 个 token

  • )
  • )是一个 Operator(操作符)

• 第 1 行 [31,32) 字符是第 1 行第 5 个 token

  • \n
  • \n 是一个 NewLine(换行符)
  • 换行符意味着第一行完结

• 第 2 行 …
• 词剖析进去之后呢？

组词

• 词剖析进去就是怎么组词的问题

  • 哪些词和哪些词先组合
  • 哪些词和哪些词后组合

• 生成一棵形象语法树

  • AST(Abstract Syntax Tree)

• 我能看看这棵 ast 树么？

引入 ast 模块

• 具体怎么做呢？

流程

• 先把这个 ast 模块导入 (import) 进来

  • 第一句就是 import ast
  • 回车之后没有任何报错
  • 那就是执行胜利了
  • 前面也一样
  • 没有报错就是执行胜利了

• 而后读取 guido.py 并送到 s
• 而后对于 s 进行语法分析(parse)

• 再把剖析 (parse) 的后果进行转储(dump)

• 看起来有点乱

  • 能够清晰一些么？

降级 Python

• 目前 lanqiao.cn 下面的 python 是 3.8
• 这个清晰缩进的格局须要在 3.9 以上实现
• 须要降级

sudo apt update
sudo apt install python3.9

• 降级之后就能够应用 Python3.9 了

缩进换行

• 只能在本地演示一下

• 这个就是把词组成语法树的样子
• 如何了解这棵树呢？
• 咱们看一个例子

表达式运算

• 如果给的表达式为 1 2 3

• 联合序为下图

• 前两个先联合
• 失去的后果作为下一个运算的左操作数
• 而后和第 3 个联合

联合序

• 如果把 第一个 * 改成 + 号
• 其余什么也没加

• 表达式是 1 + 2 * 3

• 后两个会先联合
• 失去的后果作为下一个运算的右操作数
• 而后再和 1 进行加法运算

• 有了语法树

  • 下一步要做什么呢？
• 这棵语法树咱们能看懂
• 然而 cpu 须要的是能执行的一条条字节码指令

翻译成字节码

• 要把源程序翻译成字节码能力执行

  • 字节码对应着 cpu 的指令

• 怎么把 ast 转化为字节码 (指令) 呢？

  • 须要编译(compile)

• 从一种语言到另一种语言

  • 从 py 文件
  • 到字节码(指令)
  • 就是编译

• 我能够看看这个编译过程么？

compile

编译后果

• 编译 (compile) 之后失去是字节码指令文件

  • 所以扩展名是 pyc
  • 其中 c 代表 compiled
  • pyc 是字节码 (bytecode) 文件
  • python 虚拟机的虚构 cpu 就能够间接执行了

• 先看看这个 pyc 文件

  • 留神他在 __pycache__ 文件夹下
  • cache 的意思是缓存
  • pycache 两端各有 2 条下划线(_)

• 进这个文件夹看看

进入 __pycache__ 文件夹

• 关上 pyc 文件

• 失去的字节码看起来齐全是乱码

  • 能够想方法看懂这些字节码么？
• vi 关上这个这个 pyc 文件

二进制状态

• :set wrap 设置换行

• 这样看到了他的字符串状态
• 能够看到他的二进制字节状态么？

机器语言

• :%!xxd

  • 把文件转化为字节状态

• 这纯纯的机器语言字节状态

  • 切实是看不懂啊😭
  • 这真的是指令么？
• 到底什么是指令呢？

指令

• instruction

• 最早指的是教的行为或者过程

• 计算机领域外面特指指令

  • 比方加法指令
  • 减法指令
  • 能够让 cpu 做特定运算的指令

• 因为计算机只意识 0 和 1
• 所以要把这些加加减减的指令
• 对应到 0 和 1 的二进制状态下来
• 0 和 1 的二进制状态咱们记不住
• 于是有了汇编助记符
• 助记符通知咱们这条 0 和 1 的二进制状态
• 到底对应什么指令
• 助记符的语言就是汇编语言

汇编 assemble

• assemble 指的是收集、集结

  • assembler 指的是装卸工

• 在计算机中特指汇编语言

  • 能够让咱们把 0 和 1 的机器指令
  • 收集起来造成的助记符汇合
  • 就是汇编语言指令集

• 这就是汇编语言和 0101 的对应关系

反编译

• disassemble

• 这个词由两局部组成

  • dis (反着来的)

    • dislike
    • disgrace
    • disagree

  • assembler (汇编语言)

    • disassemble 反编译

• 把 py 源文件编译成的字节码 (指令) 咱们人类看不明确

  • 把这些字节码 (指令) 反编译 (disassemble) 成汇编语言助记符
  • 有了助记符咱们就晓得指令的含意了

• 这能够用么？

  • 去试试！

反编译(dis)

• python3 -m dis guido.py

  • -m 代表应用模块
  • dis 代表反编译(disassemble)

• 咱们能够看见

  • 后面是行号

  • 每行对应 4 条指令

    • LOAD_NAME 装载 (函数) 名字
    • LOAD_CONST 装载常量
    • CALL_FUNCTION 调用函数
    • POP_TOP 弹栈

• 总共 6 句

  • 对应 6 组字节码
  • 每组两个字节
• 那具体这个 LOAD_NAME 是要做些什么呢？

指令

• LOAD_NAME

  • 把一个值压入堆栈 co_names
  • 把 print 这个函数名压入了堆栈
  • 一会儿就要调用这个被压入堆栈的 print 函数

• 然而 LOAD_NAME 这条指令

  • 具体对应什么二进制字节状态呢？
• 这个去哪里找呢？

python 源头

• python 是从哪里来的呢？

• python 是开源编程语言
• 整个的源代码都是凋谢的

• 咱们能够去 github 找到他的源代码

  • https://github.com/python/cpy…

二进制状态

• 搜寻 LOAD_NAME 并且排查

  • 找到字节码状态地位

• 指令对应着一个字节码状态值

  • https://github.com/python/cpy…

• 这样咱们是否找到
• 4 条指令别离对应的字节状态值

4 条指令

• 能够找到源代码的对应关系么？

• 如同找到了

• 64XX

  • 64 00 是从表中的 00 号地位获得字符串 ”Guido in cwi”
  • 64 01 是从表中的 01 号地位取字符串 ”Guido in cnri”
  • …
  • 以此类推，直到 05 83 取出字符串 ”Guido in microsoft”

• 0x83 对应的是 GET_AWAITABLE

  • 可期待地调用
• 那这些二进制代码到底是什么指令集的呢？
• 首先咱们得弄懂什么是指令集呢？

指令集

• 指令集 就是

  • 指令的汇合

• 上图是 arm 的指令集
• 也常被称作 arm 架构
• 那什么又是架构呢？

architect

• architect 本来的英文含意是

  • 修建

• architecture

  • 造房子的人
  • 就是建筑师

• 在 cpu 畛域

  • architect
  • architecture
• 指的是什么呢？

架构师

• 架构师

  • 软件开发行业从业者的终极状态
  • 十分硬核的存在

• 那 python 的字节码用的是什么架构呢？

  • arm
  • 还是 x86 呢？

虚拟机的虚构 cpu

• pyc 的这些字节码(bytecode)

  • 对应的是 python 虚拟机下面虚构 cpu 的指令集

• cpu 也能虚构吗？

  • 咱们先把这节课总结一下

总结

• 咱们把 python 源文件

  • 词法剖析 失去 词流(token stream)
  • 语法分析 失去 形象语法树(Abstract Syntax Tree)
  • 编译 失去 字节码 (bytecode)
  • 字节码咱们看不懂
  • 所以反编译 失去 指令文件(opcode)

• 指令文件是基于 python 虚拟机的虚构 cpu 的指令集
• 什么是 python 虚拟机呢？🤔
• 咱们下次再说👋
• 蓝桥 ->https://www.lanqiao.cn/teache…
• github->https://github.com/overmind19…
• gitee->https://gitee.com/overmind198…
• 视频 ->https://www.bilibili.com/vide… 作者：oeasy