关于后端:一文读懂字符编码

简介：咱们天天都在应用字符编码，然而咱们知其然却不知其所以然，很少有人可能真正把他说分明。这次咱们通过编码的实质、字符编码的倒退历程，到古代编码模型，以及目前罕用字符编码原理来解说，从头到尾把他撸个透

作者 | 詹背阴 (骁飏) 起源 | 阿里技术公众号前言说起字符编码，让我想起了科幻巨作《三体 - 光明深林》人类遇到外星文化魔戒的画面人类第一次近距离看到四维物体魔戒，卓文用中频电波发送了一个问候语。这是一幅简略的点阵图，图中由六行不同数量的点组成了一个质数数列:1,3,5,7,11,13. 他们没有指望失去应答，但应答立即呈现了 ….. 太空艇收到了来自“魔戒”的一系列点阵图，第一幅是很参差的一个 8×8 点阵，共六十四个点; 第二幅图中点阵的一角少了一个点，剩下六十三个; 第三幅图中又少一点，剩六十二个……“这是倒计数，也相当于一个进度条，可能示意‘它’曾经收到了罗塞塔，正在译解，让咱们等侍。”韦斯特说。“可为什么是六十四点呢?”“应用二进制时一个不大不小的数呗, 与十进制的一百差不多。”卓文和关一帆都很庆幸能带韦斯特来，在与未知的智慧体建设交换方面、心理学家的确很有能力。在倒计数达到五十七时，令人激动的事件呈现了: 下一个计数没有用点阵示意，“魔戒”发来的图片上赫然显示出人类的阿拉伯数字 56!….. 在人类摸索外星文化，迈向星辰大海的宇宙征程里，也离不开这种最最根底的编码问题。前一阵跟共事碰到了字符乱码的问题，理解后发现这个问题存在两年了，咱们每天都在跟编码打交道，然而大家对字符编码都是只知其一; 不知其二，咱们“天天吃猪肉却很少见过猪跑”，明天咱们就把它讲讲透。什么是字符编码咱们晓得计算机的世界只有 0 和 1，如果没有字符编码，咱们看到的就是一串 ”110010100101100111001….”，咱们的沟通就如同是在对牛弹琴，我看不懂它，它看不懂我。字符编码就好比人类和机器之间的翻译程序，把咱们熟知的字符文字翻译成机器能读懂的二进制，同时把二进制翻译成咱们能看懂的字符。以下是百科对字符编码的解释字符编码（Character encoding）也称字集码，是把字符集中的字符，编码为指定汇合中的某一对象（例如：比特模式、自然数序列、8 位组或者电脉冲），以便文本在计算机中存储或者通信网络的传递。常见的例子是将拉丁字母表编码成摩斯电码和 ASCII，比方 ASCII 编码是将字母、数字和其它符号进行编号，并用 7 比特的二进制来示意这个整数。字符集（Character set）是多个字符的汇合，字符集品种较多，每个字符集蕴含的字符个数不同，常见字符集名称：ASCII 字符集、GB2312 字符集、BIG5 字符集、GB18030 字符集、Unicode 字符集等。计算机要精确的解决各种字符集文字，就须要进行字符编码，以便计算机可能辨认和存储各种文字。为什么计算机须要编码编码（Encode）是信息从一种模式转换为另一种模式的过程，比方用预先规定的办法将字符（文字、数字、符号等）、图像、声音或其它对象转换成规定的电脉冲信号或二进制数字。咱们当初看到的一幅幅图画，听到的一首首音乐，甚至咱们写的一行行代码，敲下的一个个字符，所看到的所听到的都是那么的实在，但其实在背地都是一串「01」的数字，你昨天在手机上看到的那个心动女孩，真实世界中并不存在，只是计算机用「01」数字帮你生成的“骷髅”而已。

二进制其实不存在你可能认为计算机中的数据就是「01」二进制，然而实际上计算机中并没有二进制，即使咱们晓得所有的内容都是存储在硬盘中，然而你把它拆开可找不到外面有任何「0101」的数字，外面也只有盘片、磁道。就算咱们放大了去看盘片，也只有凹凸不平的盘面，凸起的中央是被磁化过的，凹进去的中央是没有被磁化的；只是咱们给凸起的中央取了个名字叫数字「1」，凹进的中央取名叫数字「0」。同样内存里你也找不到二进制数字，内存放大了看就是一堆电容组，内存单元存储的是「0」还是「1」取决于电容是否有电荷，有电荷咱们认为他是「1」，无电荷认为他是「0」。然而电容是会放电的，工夫一长，代表「1」的电容会放电，代表「0」的电容会吸电，这也是咱们内存不能断电的起因，须要定期对电容进行充电，保障「1」的电容电量有电。再说显示器，这个大家感触是最间接的，你透过显示器看到的美女画皮、日月山川，其实就是一个个不同色彩的发光二极管收回强弱不一的光点，显示器就是一群发光二极管组成的矩阵，其中每一个二极管能够被称为一个像素，「1」示意亮，「0」示意灭，而咱们平时能看到五彩的色彩，是把三种色彩 (红绿蓝三原色) 的发光二极管做到了一起。那对于一个 ASCII 编码「65」最初又怎么显示成「A」的呢？这就是显卡的功绩，显卡中存储了每一个字符的图形数据（也称字形码），将二维矩阵的图形数据传给显示器成像。

因而，所谓的 0 和 1 都是电流脉冲信号，二进制其实是咱们形象进去的数学逻辑概念，那咱们为什么要用二进制示意？因为二进制只有两种状态，应用有两个稳固状态的物理器件就能够示意二进制中的每一位，例如用高低电平或电荷的正负性、灯的亮和灭都能够很不便地用「0」和「1」来示意，这为计算机实现逻辑运算和逻辑判断提供了便当条件。计算机编码转换过程正因为计算机只能示意「01」的逻辑概念，无奈间接示意图片以及文字，所以咱们须要肯定的转换过程。这其实就是咱们依照肯定的规定保护了字符 - 数字的映射关系，比方咱们把「A」形象成计算机中的「1」，当咱们看到 1 的时候就认为这是「A」，实质上就是一张映射表，实践上你能够随便给每个字符调配一个举世无双的编号（character code，字符编码），比方下表字符编号你 1 (00000001)好 2 (00000010)…… 接下来咱们来看下一个文字从输出 - 转码存储 - 输入（显示 / 打印）的简略流程，首先咱们晓得计算机是美国人创造的，规定是美国人定的，键盘上的按键也都是英文字母，所以编号不是你想怎么调配就怎么调配。对于英文字母的输出，键盘和 ASCII 码之间是间接对应的，键盘按键「A」对应的编号「65」，存储到磁盘上也是「65」的二进制直译「01000001」，这很好了解。然而对于汉字输入就不是这么回事了，键盘上可没有汉字对应的输出按键，咱们不可能间接敲出汉字字符。于是就有了输入码、机内码、字形码的转换关系，输入码帮忙咱们把英文键盘按键转换成汉字字符，机内码帮忙咱们把汉字字符转换成二进制序列，字形码帮忙咱们把二进制序列输入到显示器成像。

输入码咱们模仿下汉字的输出过程，首先关上 txt 文本敲下「nihao」的拼音字母，而后输出栏会弹出多个符合条件的汉字词组，最初咱们会抉择相应的编号，就能实现汉字的输出。那这过程又是如何实现的呢？计算机领域有一句如同摩西十诫般的神圣哲言：” 计算机科学畛域的任何问题都能够通过减少一个间接的中间层来解决 ”。这里咱们再加一层按键字母组合和汉字的映射表，好比英汉字典，这层咱们称为输入码，输入码到内码的过程就是一次查表转换操作，比方「nihao」这几个 ASCII 字符，大家能够轻易批改映射表以及候选编号，我能够把他映射成「你好骁飏」。

机内码机内码也称内码，是字符编码最外围的局部，是字符集在计算机中理论存储、替换、通信应用的二进制编码，通过内码咱们能够达到高效率的存储、传输文本的目标。咱们的外码（输入码）实现了键盘按键和字符的映射转换，然而机内码是让字符真正变成了机器能读懂的二进制语言。字形码计算机中的字符都是以内码的二进制模式示意，咱们怎么把数字对应的字符在显示器上显示进去呢，比方数字「1」代表汉字「你」，怎么把「1」显示成「你」？这就须要依赖字形码，字形码实质上是一个 n n 的像素点阵，把某些地位的像素设置为红色（用 1 示意），其它地位像素设置为彩色（用 0 示意），每一个字符的字形都是事后寄存在计算机内，而这样的字形信息库咱们称为字库。比方中文「你」的点阵图，这样一个 1616 的像素矩阵，须要 16 * 16 / 8 = 32 字节的空间来示意，左边的字模信息称为字形码。不同的字库（如宋体、黑体）对同一个字符的字形编码是不同的。

所以字符编码到显示的字形码，其实又是另一张查找表，也就是字符编码 - 字形码的映射关系表。其实咱们也能够认为字符编码是字形码的一种压缩形式，一个占 32 字节的像素点阵压缩成了 2 字节的机内码。字形编码字形码国

你

中

…….. 字符编码的历史电报编码从狭义上来说，编码的历史很悠久，始终能够追溯到结绳记事的远古期间，但跟古代字符编码比拟靠近的还是摩尔斯电码的创造，自此开启了信息通信时代的大门。摩尔斯电码是由美国人摩尔斯在 1837 年创造的，比起 ASCII 还要早 100 多年，在晚期的无线电上作用十分大，它是每个无线电通信者需必知的，它的是由点 dot「.」和划 dash「-」这两种符号所组成的，电报中表白为短滴和长嗒，跟二进制一样也是二元码。一个二元必定不够示意咱们的字母，那么就用多个二元来示意，比方嘀嗒「.-」代表字母「A」，嗒嘀嘀嘀「-…」代表字母「B」。

摩尔斯电码表编码纪元计算机一开始创造进去时是用来解决数学计算问题的，起初人们发现，计算机还能够做更多的事，例如文本处理等，那个时候的机器都很大，机器之间都是隔离的，没思考过机器的通信问题，各大厂商也各干各个的，搞本人的硬件搞本人的软件，想怎么编码就怎么编码。起初机器间须要互相通信的时候，发现在不同计算机上显示进去的字符不一样，在 IBM 上「00010100」数字代表「A」，跑到微软零碎上显示成了「B」，大家就傻眼了。于是美国的标准化组织就跑进去制订了 ASCII 编码 (American Standard Code for Information Interchange)，对立了游戏规则，规定了罕用符号用哪些二进制数来示意。百花齐放

对立 ASCII 码规范对于英语国家很开心，然而 ASCII 编码只思考了英文字母，起初计算机传到欧洲地区，法国人须要加个字母符号（如：é），德国人又须要加几个字母（Ä ä、Ö ö、Ü ü、ß），幸好 ASCII 只用了前 127 个编号，于是欧洲人就将 ASCII 没用完的编码（128-255）为本人特有的符号编码，也能很好的一起游玩。然而等传到咱们中国后，做为博大精深的汉语言就彻底蒙圈了，咱们有几万个汉字，255 个编号齐全不够用啊，所以有了起初的多字节编码… 因而，各个国家都推出了外国语言的编码表，也就有了起初的 ISO 8859 系列、GB 系列（GB2312、GBK、GB18030、GB13000）、Big5、EUC-KR、JIS …，不过为了能在计算机系统中通用，这些扩大的编码均间接或间接兼容 ASCII 码。而微软 /IBM 这些国际化产商为了把本人的产品卖到全世界，就须要反对各个国家的语言，要在不同的中央采纳当地的编码方式，于是他们就把全世界的编码方式都集中到一起并编上号，并且起了个名字叫代码页（Codepage，又称内码表），所以咱们有时候也会看到 xx 代码页来指代某种字符编码，比方在微软零碎里中文 GBK 编码对应的是 936 代码页，繁体中文 Big5 编码对应的是 950 代码页。这些既兼容 ASCII 又相互之间不兼容的字符编码，起初又统称为 ANSI 编码。看到上面这张图预计大家就很相熟了，window 上面咱们基本上都用 ANSI 编码保留。

ANSI 的字面意思并非指字符编码，而是美国的一个非营利组织，是美国国家标准学会 (American National Standards Institute) 的缩写，ANSI 这个组织为字符编码做了很多规范制订工作，起初大家习惯把这类凌乱的多字节编码叫 ANSI 编码或者规范代码页。ANSI 编码只是一个范称，个别代表零碎默认的编码方式，而且并不是确定的某一种编码方式——比方在 Window 操作系统里，中国区 ANSI 编码指的是 GB 编码，在香港地区 ANSI 编码指的是 Big5 编码，在韩国 ANSI 编码指的是 EUC-KR 编码。天下一统因为各个国家各搞各的字符编码，如果有些人想装逼中文里飚两句韩文怎么办呢？不好意思，你的逼级太高，没法反对，你抉择了 GB2312 就只能打出中文字符。同时各大国内厂商在兼容各种字符编码问题上也深受折磨，于是忍气吞声之下，决定开发一套能包容全世界所有字符的编码，就有了前面赫赫有名的 Unicode。Unicode 也叫万国码，包含字符集、编码方案等，Unicode 是为了解决传统的字符编码方案的局限而产生的，它为每种语言中的每个字符设定了对立并且惟一的二进制编码，在这种语言环境下，不会再有语言的编码抵触，在同屏下也能够显示任何国家语言的内容，这就是 Unicode 的最大益处。在 Unicode 编码方案里常见的有四种编码实现计划 UTF-7、UTF-8、UTF-16、UTF-32，最为出名的就是 UTF-8，不过 Unicode 设计之初是采纳双字节定长编码的 UTF-16，然而发现历史包袱太重推不动，最初出了个变长的 UTF- 8 才被宽泛承受。字符编码模型传统编码模型

在传统字符编码模型中，基本上都是将字符集里的字符用十进制进行逐个的编号，而后把十进制编号间接转成对应的二进制码，能够说该字符编号就是字符的编码。计算机在解决字符与数字的转换关系上其实就是查找映射表的过程。像 ASCII 编码就是给每个英文字符编一个举世无双的数字，整个编码处理过程绝对还是比较简单的，计算机外部间接就映射成了二进制，十进制的编号只是不便咱们看的。字符十进制二进制 A6501000001B6601000010C6701000011……… 古代编码模型

Unicode 编码模型采纳了一个全新的编码思路，将编码模型划分为 4 个档次，也有说 5 个档次的，不过第五层是传输层的编码适配，放在编码模型里严格来说不是很失当。第一层，形象字符集 ACR（Abstract Character Repertoire）：定义形象字符汇合，明确各个形象字符；第二层，编号字符集 CCS（Coded Character Set）：将形象字符集进行数字编号第三层，字符编码方式 CEF（Character Encoding Form）：将字符编号编码为逻辑上的码元序列第四层，字符编码方案 CES（Character Encoding Scheme）：将逻辑上的码元序列编码为物理字节序列第一层：形象字符集 ACR 所谓形象字符集，就是形象字符的合集，是一个无序汇合，这里强调了字符是形象的，也就是不仅包含咱们视觉上能看到的广义字符，比方「a」这样的无形字符，也包含一些咱们看不到的有形字符，比方一些控制字符「DELETE」、「NULL」等。形象的另一层含意是有些字形是由多个字符组合成的，比方西班牙语的「ñ」由「n」和「~」两个字符组成，这一点上 Unicode 和传统编码标准不同，传统编码标准多是将 ñ 视作一个独立的字符，而 Unicode 中将其视为两个字符的组合。同时一个字符也可能会有多种视觉上的字形示意，比方一个汉字有楷、行、草、隶等多种形体，这些都视为同一个形象字符（即字符集编码是对字符而非字形编码），如何显示是字形库的事。

汉字「人」的不同状态形象字符集有凋谢与关闭之分。凋谢的字符集指还会一直新增字符的字符集，关闭字符集是指不会新增字符的字符集。比方 ASCII 就是封闭式的，只有 128 个字符，当前也不会再加，然而 Unicode 是开放式的，会一直往里加新字符的，曾经从最后的 7163 个减少到当初的 144,697 个字符。第二层：编号字符集 CCS 编号字符集就是对形象字符集里的每个字符进行编号，映射到一个非负整数的汇合；编号个别用不便人类浏览的十进制、十六进制来示意，比方「A」字符编号「65」，「B」字符编号是「66」；大家须要分明对于有些字符编码的编号就是存储的二进制序列，如 ASCII 编码；有些字符编码的编号跟存储的二进制序列并不一样，比方 GB2312、Unicode 等。另外，编号字符汇合是有范畴限度的，比方 ASCII 字符集范畴是 0~127，ISO-8859- 1 范畴是 0~256，而 GB2312 是用一个 94*94 的二维矩阵空间来示意，Unicode 是用 Plane 立体空间的概念来示意，这称为字符集的编号空间。编号空间中的一个地位称为码点（Code Point 代码点）。一个字符占用的码点所在的坐标（非负整数值对）或所代表的非负整数值，就是该字符的码值（码点编号）。

ASCII 码点编号第三层：字符编码方式 CEF 形象字符集和编号字符集是站在不便咱们了解的角度来看的，所以最初咱们须要翻译成计算机能懂的语言，将十进制的编号转换成二进制的模式。因而字符编码方式就是将字符集的码点编号，转换成二进制码元序列（Code Unit Sequence）的过程。码元：字符编码的最小处理单元，比方 ASCII 一个字符等于一个字节，属于单字节码元；UTF-16 一个字符等于两个字节，处理过程是按字「word」来解决，所以是双字节码元；UTF- 8 是多字节编码，有单字节字符，也有多字节字符，每次解决是按单个单个字节解析解决，所以解决最小单位是字节，也属于单字节码元这里大家可能会有疑难，十进制间接转二进制不就好了吗，为什么要独自抽出这么一层？晚期的字符编码的确也是这么解决的，十进制和二进制之间是间接转换过来的，比方 ASCII 码，字符「A」的十进制是「65」，那对应的二进制就是「1000001」，同时存储到硬盘里的也是这个二进制，所以那时候的编码比较简单。随着起初多字节字符编码（Muilti-Bytes Character Set，MBCS 多字节字符集）的呈现，字符编号和二进制之间不是间接转换过来的，比方 GB2312 编码，「万」字的区位编号是「45，82」，对应的二进制机内码却是「1100 1101 1111 0010」（其十进制是「205，242」）。如果这里不转换间接映射成二进制码会出什么问题呢？「万」字的字符编号「45，82」，45 在 ASCII 里是「-」，82 是「U」，那到底是显示两个字符「-U」还是显示一个字符「万」字，为了防止这种抵触所以减少了前缀解决，具体的过程会在下文具体来讲解。第四层：字符编码方案 CES 字符编码方案也称作“序列化格局“（Serialization Format），指的是将字符编号进行编码之后的码元序列映射为字节序列（即字节流）的模式，以便通过编码后的字符能在计算机中进行解决、存储和传输。字符编码方式 CEF 有点像咱们数据库结构设计里的逻辑设计，而这一层编码方案 CES 就像是物理设计了，将码元序列映射为跟特定的计算机系统平台相干的物理意义上的二进制过程。这里大家可能又会有疑难，为什么二进制的码元序列和理论存储的二进制又会不一样呢？这次要是计算机的大小端序造成的，具体端序内容会在 UTF-16 编码局部具体介绍。大小端序名词出自 Jonathan Swift 的《格列夫游记》一书：所有人都认为，吃鸡蛋前，原始的办法是突破鸡蛋较大的一端。可是当今皇帝的祖父小时候吃鸡蛋，一次按古法打鸡蛋时碰巧将一个手指弄破了，因而他的父亲，过后的皇帝，就下了一道敕令，命令整体臣民吃鸡蛋时突破鸡蛋较小的一端，违令者重罚。老百姓们对这项命令极为恶感。历史通知咱们，由此曾产生过六次叛乱，其中一个皇帝送了命，另一个丢了王位…对于这一争端，曾出版过几百本大部著述，不过大端派的书始终是受禁的，法律也规定该派的任何人不得做官。常见字符编码 ASCII 很久以前，计算机制造商都是按各自的形式来将字符渲染到屏幕上，过后的计算机动不动可就是一套房子的大小，这家伙可不是谁都能玩的起的，那时人们并不关怀计算机如何交换。随着上世纪七八十年代微处理器的呈现，计算机变得越来越小，集体计算机开始进入公众的眼帘，随后呈现了井喷式的倒退，然而之前厂商都是各自为政，没思考过自家的产品要兼容他人家的货色，导致在不同计算机体系间的数据转换变得非常蛋疼，因而美国的规范协会在 1967 年制订出了 ASCII 编码，到目前为止共定义了 128 个字符。

ASCII 编码（留神该表是列示意字节高 4 位）其中前 32 个（0~31）是不可见的控制字符，32~126 是可见字符，127 是 DELETE 命令（键盘上的 DEL 键）。其实早在 ASCII 之前，IBM 在 1963 年也推出过一套字符编码零碎 EBCDIC，跟 ASCII 码一样囊括了控制字符、数字、罕用标点、大小写英文字母。

EBCDIC 编码然而他的字符编号并不是间断的，这给后续程序处理带来了麻烦，起初 ASCII 编码汲取了 EBCDIC 的经验教训，给英文单词调配了间断的编码，不便程序处理，因而被起初宽泛承受。ASCII 和 EBCDIC 编码相比，除了字符间断排列之外，最大的长处是 ASCII 只用了一个字节的低 7 位，最高位永远是 0。可别小看了这个最高位的 0，看似举足轻重，但这是 ASCII 设计最胜利的中央，前面介绍各编码原理的时候你会发现，正是因为这个高位 0，其它编码标准能力对 ASCII 码无缝兼容，使得 ASCII 被宽泛承受。ISO-8859 系列美国市场尽管对立了字符编码，然而计算机制造商在进入欧洲市场的时候又遇到了麻烦，欧洲的支流语言尽管也是用拉丁字母，但却存在很多扩大体，比方法语的「é」，挪威语中的「Å」，都无奈用 ASCII 示意。然而大家发现 ASCII 前面的 128 个还没有被应用能够利用起来，这对于欧洲支流语言就足够了。于是就有了大家所熟知的这个 ISO-8859-1(Latin-1), 它只是扩大了 ASCII 后 128 个字符，还是属于单字节编码；同时为了兼容原先的 ASCII 码，当最高位是 0 的时候依然示意原先的 ASCII 字符不变，当最高位是 1 的时候示意扩大的欧洲字符。

然而到这里还没有完，刚说了这只是欧洲支流的语言，但支流语言里没有法语应用的 œ、Œ、Ÿ 三个字母，也没有芬兰语应用的 Š、š、Ž、ž，而单字节编码里的 256 个码点都被用完了，于是就呈现了更多的变种 ISO-8859-2/3/…/16 系列，他们都兼容 ASCII，但彼此间又不齐全兼容。ISO-8859- n 系列字符集如下：ISO8859-1 字符集，也就是 Latin-1，是西欧罕用字符，包含德法两国的字母。ISO8859-2 字符集，也称为 Latin-2，收集了东欧字符。ISO8859-3 字符集，也称为 Latin-3，收集了南欧字符。ISO8859-4 字符集，也称为 Latin-4，收集了北欧字符。ISO8859-5 字符集，也称为 Cyrillic，收集了斯拉夫语系字符。ISO8859-6 字符集，也称为 Arabic，收集了阿拉伯语系字符。ISO8859-7 字符集，也称为 Greek，收集了希腊字符。……. GB 系列当计算机进入东亚国家的时候，厂商们更傻眼了，美国和欧洲国家语言根本都是表音字符，一个字节就足够用了，但亚洲国家有不少是表意字符，字符个数动辄几万十几万的，一个字节齐全不够用，所以咱们国家有关部门依照 ISO 标准设计了 GB2312 双字节编码，然而 GB2312 是一个关闭字符集，只收录了罕用字符总共也就 7000 多个字符，因而为了裁减更多的字符包含一些生僻字，才有了之后的 GBK、GB18030、GB13000（“GB”为“国标”的汉语拼音首字母缩写）。依照 GB 系列编码方案，在一段文本中，如果一个字节是 0～127，那么这个字节的含意与 ASCII 编码雷同，否则，这个字节和下一个字节独特组成汉字（或是 GB 编码定义的其余字符），所以 GB 系列都是兼容 ASCII 编码的。

GB2312GB2312 是应用两个字节来示意汉字的编码标准，共支出汉字 6763 个和非汉字图形字符 682 个，为了防止与 ASCII 字符编码（0~127）相冲突，规定示意一个汉字的编码字节其值必须大于 127（即字节的最高位为 1），并且必须是两个大于 127 的字节连在一起来独特示意一个汉字（GB2312 为双字节编码），所以 GB2312 属于变长编码，当是英文字符的时候占一个字节，中文字符的时候占两个字节，能够认为 GB2312 是对 ASCII 的中文扩大。GB2312 字符集编号空间是一个 94*94 的二维表，行示意区（高位字节），列示意位（低位字节），每区有 94 个位，每个区位对应一个字符，称为区位码。区位码上加 2020H，就失去国标码，国标码上加 8080H，就失去罕用的计算机机内码。这里引入了区位码、国标码、机内码概念，上面咱们说下三者的关系国标码国标码是我国汉字信息替换的规范编码，规定由 4 位 16 进制数组成，用两个低 7 位字节示意，为了避开 ASCII 字符中的前 32 个控制指令字符，所以每个字节都是从第 33 个编号开始，如下图所示

区位码因为上述国标码的 16 进制可编码区不够直观不不便咱们应用，所以咱们把他映射成了十进制的 94*94 二维表编号空间，咱们称之为区位码，同时区位码也能够当成一种外码应用，输入法能够间接切换成区位码进行汉字输入，不过这种输入法无规则可言人们很难记住区位编号，用的人也不多了。下图是区位码的二维表，比方「万」字是 45 区 82 位，所以「万」字的区位码是「45，82」。

其中：01~09 区(682 个)：特殊符号、数字、英文字符、制表符等，包含拉丁字母、希腊字母、日文平假名及片假名字母、俄语西里尔字母等在内的 682 个全角字符；10~15 区：空区，留待扩大；16~55 区(3755 个)：罕用汉字(也称一级汉字)，按拼音排序；56~87 区(3008 个)：十分用汉字(也称二级汉字)，按部首 / 笔画排序；88~94 区：空区，留待扩大。机内码 GB2312 国标码标准是笼罩掉 ASCII 中可见局部的符号和英文字母，应用两个 7 位码将其中的英文字母和符号从新编入，然而这样产生一个弊病，晚期用 ASCII 码编码的英文文章无奈关上，一关上就是乱码，也就是说应该要兼容晚期 ASCII 码而不是笼罩它，起初微软为了解决这个问题，将字节的最高位设为 1，因为 ASCII 中应用 7 位，最高位为 0，转换后的编码称为机内码(内码)，这种形式实质上是批改了 GB2312 的编码标准，最初被大家承受沿用。总结下三者转换关系：区位码 —> 区码和位码别离 + 32（即 + 20H）失去国标码 —> 再别离 + 128（即 + 80H）失去机内码（与 ACSII 码不再抵触）

GBKGBK 即“国标扩大”的意思，因为 GB2312 双字节的最高位都要求大于 1，下限也不会超过 1 万个字符，所以对此进行了扩大，对 GB2312 的字符不从新编码间接沿用，因而齐全兼容 GB2312。GBK 尽管也是双字节编码，然而只要求第一个字节大于 127 就固定示意这是一个汉字的开始，正因为如此，GBK 的编码空间比 GB2312 大很多。GBK 整体编码范畴为 8140-FEFE，首字节在 81-FE 之间，尾字节在 40-FE 之间，剔除 xx7F 一条线，总计 23940 个码位，共支出 21886 个汉字和图形符号；其中 GBK/1 收录除 GB 2312 字符外的其余增补字符，GBK/2 收录 GB2312 字符，GBK/3 收录 CJK 字符，GBK/4 收录 CJK 字符和增补字符，GBK/5 为非中文字符，UDC 为用户自定义字符。具体如下如所示：

→ 这里大家可能会有两个疑难，为什么尾字节要从 40 开始，而不是 00 开始；为什么要排除 FF、xx7F 这两条线的编号？GBK 的尾字节编码高位没有强制要求是 1，当高位是 0 时跟 ASCII 码是抵触的，ASCII 码里 00-40 之间大部分都是控制字符，所以排除控制字符次要是为了避免失落高字节导致呈现系统性严重后果；排除 FF 是为了兼容 GB2312，GB2312 这个位是保留不应用的；而 7F 示意 DEL 字符就是向后删除一个字符，如果传输过程中失落首字节那么就会呈现重大的结果，所以须要将 xx7F 也排除，这是所有编码方案都须要留神的中央。GB18030 随着计算机的倒退，GBK 的 2 万多个字符也还是扛不住，于是 2000 年我国又制订了新规范 GB18030，用来代替 GBK 规范。GB18030 是强制性规范，当初在中国大陆销售的软件都反对 GB18030。GB18030 其实是对齐 Unicode 规范的，外面包含了所有 Unicode 字符集，也算是 Unicode 的一种实现 (UTF)。那既然有了 UTF 咱们为什么还要搞一套 Unicode 实现？次要是 UTF-8/UCS- 2 他们是不兼容 GB2312 的，如果间接降级那么就全乱码了，所以 GB18030 是为了兼容 GB 系列，是 GBK、GB2312 的超集，当咱们原先的 GB2312(GBK) 软件思考降级到国际化 Unicode 时，能够间接应用 GB18030 进行降级。GB18030 尽管也是 GB2312 的扩大，但它和 GBK 的扩大形式不一样，GBK 次要是充分利用了 GB2312 的一些没定义的编码空间，而 GB18030 采纳的是字节变长编码，单字节区兼容 ASCII、双字节区兼容 GBK、四字节区对齐所有 Unicode 码位。实现原理上次要是采纳第二字节未应用到的 0x30~0x39 编码空间来判断是否四字节。字节数编码空间码点数单字节 0x00 ~ 0x7F128 双字节第一字节第二字节 239400×81 ~ 0xFE0x40 ~ 0x7E(排除掉 0x7F)四字节第一字节第二字节第三字节第四字节 15876000×81 ~ 0xFE0x30 ~ 0x390x81 ~ 0xFE0x30 ~ 0x39 单字节，其值从 0 到 0x7F。双字节，第一个字节的值从 0x81 到 0xFE，第二个字节的值从 0x40 到 0xFE（不包含 0x7F）。* 四字节，第一个字节的值从 0x81 到 0xFE，第二个字节的值从 0x30 到 0x39，第三个字节的值从 0x81 到 0xFE，第四个字节的值从 0x30 到 0x39。UNICODE 背景介绍在对立码之前，各国发明了大量的节编码标准，有单字节的、双字节的（如 GB 2312、Shift JIS、Big5、ISO8859 等），各自又互相不兼容。在 1987 年，苹果、Sun、微软等公司开始探讨囊括全世界所有字符的对立编码标准，组成了 Unicode 联盟，这个期间做了很多研究工作，探讨外围要点如下：目前世界上有多少个字符，须要几个字节存储？工作组统计了过后全世界的报纸等刊物，论断是两个字节足以囊括全世界有实用意义的字符（当然这只统计了以后应用的字符，不包含现代语言或者废除语言）。采纳固定长度编码还是变长编码？一种采纳变长编码模式，对于 ASCII 字符应用一个字节，其余字符应用两个字节，相似 GBK；另一种采纳定长编码模式，不论是不是 ASCII 字符对立应用两个字节。计划抉择上次要从计算机处理过程中的工夫和空间两个维度，也就是编解码的执行效率和存储大小两方面，最初论断是采纳双字节定长编码，因为定长带来的空间变大在整体传输、存储老本上其实影响并不大，而定长编码解决效率会显著高于变长编码，所以晚期 Unicode 采纳了定长编码模式。中、日、韩中有很多相近的表意文字是否能够对立？因为汉字表意文字字符量较大，如果能够对立那么能大幅缩小收录汉字的数量，所以最后收录汉字遵循两个根本准则：表意文字认同准则和字源拆散准则。所谓表意文字认同准则，即“只对字，不对形”编码，将同一字的不同字形（即异体字）合并。例如“房”字的第一笔，在中日韩的写法都不同，但它自身是同一个字，只给一个编码，而写法的不同交由字体进行辨别。字源拆散准则，是指一个字源中同时收录了同一个字的不同字形，则给予两个字形别离编码。例如：之前 GBK 中就收录了“戶”、“户”、“戸”三个字，那么 Unicode 也须要保留三个字，如果间接合并会造成应用上的困扰。例如上面这句话如果不做字源拆散，会是什么状况呢？原句：户有三种写法，别离是“戶”、“户”、“戸”，改写后：户有三种写法，别离是“户”、“户”、“户”Unicode 介绍 Unicode 称为对立码（也叫万国码），是按古代编码模型进行设计的一套字符编码体系，涵盖形象字符集、编号、逻辑编码、编码实现。Unicode 是为了解决传统的字符编码方案的局限而产生的，在这种语言环境下，不会再有语言的编码抵触，能够在同屏下显示任何国家的语言。UTF- n 编码（Unicode Transformation Format Unicode 字符集转换格局，n 示意码元位数）是 Unicode 这套编码体系里的编码实现 CES 局部，像 UTF-8、UTF-16、UTF-32 都是将数字转换到理论的二进制编码实现，Unicode 的编码实现除了 UTF 系列之外，还有 UCS-2/4，GB18030 等。然而当初很多人误把 Unicode 当成只是一个字符编号，这其实是不对的。Unicode 能够包容世界上所有国家的文字和符号，其编号范畴是 0 -0x10FFFF，有 1,114,112 个码位，为了方便管理划分成 17 个立体，现已定义的码位有 238,605 个，散布在立体 0、立体 1、立体 2、立体 14、立体 15、立体 16。其中立体 0 又称为根本多语言立体（Basic Multilingual Plane，简称 BMP），这个立体根本涵盖了当今世界上正在应用中的罕用字符。咱们平时用到的字符，个别都是位于 BMP 立体上的，其范畴领有 65,536 个码点，其余立体统称增补立体，对于立体的概念会在 UTF-16 章节具体介绍。与 UCS 的关系

说起 Unicode 咱们不得不提 UCS（全称 Universal Multiple-Octet Coded Character Set 通用多八位编码字符集），国际标准编号 ISO/IEC 10646，是由 ISO 和 IEC 两家国际标准组织联结成立的工作组设计的一套新的对立字符集我的项目，目标与 Unicode 联盟一样致力于开发一款全世界通用的编码集。早在 1984 年 ISO 和 IEC 两家组织就成立了一个联结工作组来设计一套新的对立字符集规范，然而这两个组织都不晓得对方的存在，直到 Unicode 联盟 1988 年公布了 Unicode 草案（UCS 草案 1989 年公布），才发现大家在做同一件事，没有必要搞两套规范所以前面又思考合并，因为 UCS 最后设计的是 31 位编码空间 (UCS- 4 编码实现)，能够包容 2^31 约 21 亿个字符，而 Unicode 是 16 位空间（UTF-16 编码实现），所以最开始 Unicode 打算作为 UCS 的真子集，即 Unicode 中的每个字符都存在于 UCS 中，而且两者的码点雷同，但 UCS 中的字符（编号超过 65,536 的）则不肯定存在于 Unicode 中。不过因为单方利益关系并没有说谁遣散谁，最初单方作出一些斗争保持一致独特倒退，两个规范中雷同字符的编码（码点）必须是一样的，这是一个屁股决定脑袋的决策，如果最后 Unicode 晓得 UCS 的存在，就不会再呈现 Unicode 了。当然合并工作不是欲速不达的而是通过多轮迭代，ISO/IEC 和 Unicode 在 1993 年公布了第一版互相兼容版本，到了 1996 年 Unicode 2.0 规范公布时，Unicode 字符集和 UCS 字符集（即 ISO/IEC 10646-1）根本放弃了统一，同时 Unicode 为了跟 UCS 的四字节保持一致推出了 UTF-32 编码实现，UCS 为了跟 Unicode 的两字节保持一致推出了 UCS- 2 编码实现。所以当初咱们能够认为 UCS 和 Unicode 是同一个货色，比方咱们常见的 java 外部运行就采纳的是 UTF-16 编码，而 window 操作系统采纳的是 UCS-2，他们都是同一个 Unicode 规范。→ 为什么这里应用的是 2 字节编码，而不是 4 字节呢？先留个悬念，后续会具体解说 UTF-16(Java 外部编码)UTF 是 Unicode Transfer Format 的缩写，即把 Unicode 转做某种格局的意思，所以 UTF-16 是 Unicode 编码里的其中一种实现形式，16 代表的是字节位数，占两个字节（UTF-32 则示意 4 个字节）。Unicode 设计之初是采纳 UTF-16 这种双字节定长编码的，其字符编号就是对应的二进制编号，也就是说第二层的 CCS 和第三层的 CEF 是统一的。比方汉字「万」的 Unicode 码点是「U+4E07」，其二进制序列就是直译的「0100 1110 0000 0111」，这种编码方式的长处是高效，不须要查看标记位，但毛病是不兼容 ASCII，ASCII 编码的文本都会显示乱码。不过起初 Unicode 联盟发现 16 位编码空间基本不够用，与此同时 ISO/IEC 组织也感觉 UCS 的 32 位编码空间太多了，理论中基本没有几十亿字符，也挺节约空间的，所以最终 Unicode 联盟和 ISO/IEC 工作组达成统一：两者应用对立的编码空间「0000 ~ 10FFFF」（即 UCS 保障永远不调配大于 10FFFF 的字符码点），而且单方在字符编码上放弃同步，即一方规范中减少了字符，也要告诉另一方同步。于是 Unicode 在 UTF-16 根底上拓展编码空间到 21 位，UCS 则搞了一个双字节的 UCS- 2 编码实现。→ UTF-16 编码是双字节的，下限也只有 6w 多个码点，怎么让他反对到 10FFFF(100w+) 个码点呢？实质就是多加几个字节来示意更多的字符，只是 UTF-16 不像 UCS 那样采纳定长 4 字节，而是应用变长的模式，然而这个跟 UTF- 8 变长形式又不太一样，他是采纳代理对的形式实现，大部分罕用字符用一个码元示意(定长 2 个字节)，其余扩大的特殊字符用两个码元示意(定长 4 字节)。代理对 UTF-16 跟 UTF-8、GB 系列等都算是变长字节，然而设计初衷却不一样，像 GBK 是为了兼容 ASCII，然而 UTF-16 一开始就没思考要兼容 ASCII，所以他的变长是为了节约存储空间而采纳的天然增长计划，当空间不够的时候增长到 4 个字节。那问题来了，我怎么晓得存储的 4 个字节是示意一个字符，还是两个字符呢？比方当程序遇到字节序列 01001110 00101101 01010110 11111101 时，到底是判断成一个字符还是两个字符？这就须要一个前导辨认，比方 GB2312 辨认第一个字节高位是不是 1 来判断是单字节还是双字节，然而 UTF-16 的高位 1 曾经被用来编码了，当然这也难不倒咱们，第一位被用了那么就用前几位的组合模式。UTF-16 采纳了代理对来解决，也就是高半区编码（前两个字节）范畴 D800-DBFF（称为代理码点），低半区编码（后两个字节）范畴 DC00-DFFF，组成一个四个字节示意的字符。

上述前导 6 位组合也是有考究的，ISO 组织要求编号范畴是 0~10FFFF()，也就是说用 20 位就能够示意 10FFFF 个字符，对于双码元就是每个码元各自负责 10 位，一个码元是 16 位，数字位占去 10 位后，剩下的 6 位做为前导位。当 UTF-16 应用一个码元示意的时候，Unicode 字符编号跟码元序列是等值映射的，然而当采纳双码元后，字符编号跟码元序列就须要转换了，上面是码元和 Unicode 编号值之间的计算公式：

换算码元序列(CH 高半区 /CL 低半区)

换算字符编号(CH 高半区 /CL 低半区) 立体空间 UTF-16 把编码空间 0000 ~ 10FFFF 切成了 17 个立体，其实就是划分成 17 个区块，每个立体空间码点数都是 =65536 个，第一个立体称为根本多语言立体（Basic Multilingual Plane，简称 BMP），这个立体涵盖了当今世界上最罕用的字符，固定应用定长两个字节，除此之外的字符都放到增补立体里，都是应用两个码元的定长 4 个字节，上面是各个立体的用处

增补立体的编号是采纳双码元 4 个字节来示意的，去除代理对之后有效位数是 20 位，而后将这 20 位的编号再划成 16 个立体区域，其中高半区的数字位里取出 4 位示意立体，剩下的 16 位示意每个立体能够示意的字符数也就是 2 的 16 次方 65536 个（两个字节大小）

UTF-16 可看成是 UCS- 2 的父集。在没有辅助立体前，UTF-16 与 UCS- 2 所指的是同一的意思。但当引入辅助立体字符后，就称为 UTF-16 了。字节序字节序顾名思义是指字节的程序，对于单字节编码来说，一个字符对应一个字节，也就不存在字节序问题；然而对于 UTF-16 这种定长多字节编码，就有字节程序问题了。字节序其实跟操作系统和底层硬件无关，不仅只是 UTF-16 这种多字节编码存在字节序，只有是多字节类型的数据都存在字节程序问题，比方 short、int、long。为了不便阐明，咱们这里举个例子，比方存一个整数值「305419896」对应 16 进制是 0x12345678，有人习惯从左到右按程序去存，也有人说高位当然要放到高位地址而低位放到低位地址，要从右往左存。于是就有了上面两种存取形式。

其实这两种形式没有孰优孰劣，只是咱们认知习惯有所不同最终的设计不同，说来这都是阿拉伯人的锅啊，为什么数字高位非要在右边，这也引起了驰名的大小端之争。因而字节序也就有了大端和小端的概念，也造成了各自的营垒，比方 Windows、FreeBSD、Linux 是小端序，Mac 是大端序。其实大小端序并没有技术上的好坏之分。小端序 (Little-Endian) 就是低位字节（即小端字节、尾端字节）寄存在内存的低地址，而高位字节（即大端字节、头端字节）寄存在内存的高地址。大端序 (Big-Endian) 就是高位字节（即大端字节、头端字节）寄存在内存的低地址，低位字节（即小端字节、尾端字节）寄存在内存的高地址。UTF- 8 简介 & 规定 Unicode 还是 UCS 最后都是采纳多字节定长编码，因为没有兼容现有的 ASCII 规范的文件和软件，新规范很难被推广，于是兼容 ASCII 版本的 UTF- 8 就诞生了。UTF-8（8-bit Unicode Transformation Format）是一种针对 Unicode 的可变长度字符编码，是古代字符编码模型中的第三层 CEF。它能够用一至四个字节对 Unicode 字符集中的所有无效编码点进行编码，属于 Unicode 规范的一部分，UTF-8 就是为了解决向后兼容 ASCII 码而设计，Unicode 中前 128 个字符（与 ASCII 码一一对应），应用与 ASCII 码雷同的二进制值的单个字节进行编码，这使得原来解决 ASCII 字符的软件毋庸或只须做少部分批改，即可持续应用。因而，它逐步成为电子邮件、网页及其他存储或发送文字优先采纳的编码方式。—— 维基百科 UTF- 8 须要兼容 ASCII，所以也须要有前缀码来管制，前缀规定如下：如果首字节以 0 结尾，则是单字节编码（即单个单字节码元）；如果首字节以 110 结尾，则是双字节编码（即由两个单字节码元所组成的双码元序列）；如果首字节以 1110 结尾，则是三字节编码（即由三个单字节码元所组成的三码元序列），以此类推。

实践上 UTF- 8 变长能够超过 4 个字节，只是 Unicode 联盟标准下限是 10FFFF，所以 UTF- 8 规定设计上也限度了大小。程序算法用文字不太好形容算法构造，咱们就间接来观赏一下 UTF- 8 鼻祖写的这段解析代码，这是 Ken 和 Rob 用一个早晨写进去的编解码算法，代码十分简短精炼，为了不便浏览我加了正文解读。typedef
struct
{
int cmask; // 前缀码掩码
int cval; // 前缀码
int shift; // 挪动位数
long lmask; //Unicode 值掩码
long lval; //Unicode 下限值
} Tab;

static
Tab tab[] =
{
0x80, 0x00, 06, 0x7F, 0, / 1 byte sequence */
0xE0, 0xC0, 16, 0x7FF, 0x80, / 2 byte sequence */
0xF0, 0xE0, 26, 0xFFFF, 0x800, / 3 byte sequence */
0xF8, 0xF0, 36, 0x1FFFFF, 0x10000, / 4 byte sequence */
0xFC, 0xF8, 46, 0x3FFFFFF, 0x200000, / 5 byte sequence */
0xFE, 0xFC, 56, 0x7FFFFFFF, 0x4000000, / 6 byte sequence */
0, / end of table /
};/**

把一个多字节序列转换为一个宽字符
@param p 寄存计算后的 unicode 值
@param s 须要解析的 UTF- 8 字节序列
@param n 字节长度
@return 解析的字节长度
*/
int mbtowc(wchar_t p, char s, size_t n)
{
long l; int c0, c, nc; Tab *t;
if(s == 0) return 0;
nc = 0;
// 异样校验(可不必关注)
if(n <= nc) return -1;
//c0 此处备份一下首字节，后续须要用到前缀码
c0 = *s & 0xff;
//l 保留 Unicode 后果
l = c0;
/ 遍历 tab，从单字节构造 ->2 字节构造 ->.. 顺次查看找到对应 tab /
for(t=tab; t->cmask; t++) {
// 字节数 +1，字节数和 tab 构造是对应的，也就是当 nc= 1 时 tab 构造是单字节，nc= 2 是 tab 是两字节
nc++;
/ 判断前缀码跟以后的 tab 是否统一，如果统一计算最终 unicode 值并返回/
if((c0 & t->cmask) == t->cval) {
```
// 通过 & Unicode 有效值掩码，移除高位前缀码，失去最终 unicode 值
l &= t->lmask;
  // 异样校验
if(l < t->lval) return -1;
// 保留后果并反回
*p = l;
return nc;
```
}
// 异样校验
if(n <= nc) return -1;
// 读取下个字节；如果下面判断前缀码不统一，阐明须要再读取下个字节
s++;
// 计算无效位的值，目标是去除 UTF-8 编码从第二个字节开始的高两位 10
// 例如 s=10101111、0x80=10000000 计算结果是 00101111, 这样就去除了高位前缀 10
c = (*s ^ 0x80) & 0xFF;
// 异样校验
if(c & 0xC0) return -1;
// 从新计算 unicode 值，依据 UTF- 8 规定 c 只有低 6 位无效, 所以通过移位把 c 填入到 l 的低 6 位
l = (l<<6) | c;
}
// 返回异样
return -1;
} 容错性通过下面的程序咱们晓得解析过程是一个字节一个字节往下解决的，咱们在传输过程中如果产生部分的字节谬误、失落，或者两头有一个字节规定对不上，会不会影响整个文本的解析？咱们先来看下其余编码的容错状况，从对于单字节的 ASCII 码来说，失落一个字节就失落一个字符，并不影响后续文本的内容，比方 Hello world，失落 b2 字节后内容是 Hllo world 少个 e 而已咱们再来看 GB2312 这种多字节编码，如果失落了 b2 字节那么整个文本都乱套了，这是最蹩脚的，大部分多字节编码都有相似问题，一旦呈现谬误可能导致整个文件都须要重传。

接下来咱们看看 UTF- 8 是如何防止这种“一颗老鼠屎坏了一锅粥”的状况，UTF-8 的码元序列的第一个字节指明了前面所跟字节的个数，比方首字节高位是 0 就示意单字节，110 示意总共两个字节，1110 示意三个字节顺次类推，除首字节之外后续字节都是 10 结尾。所以 UTF- 8 的前缀码具备很强的鲁棒性，即便失落、减少、扭转个别字节也不会导致后续字符全副错乱这样的传递性、连锁性的谬误问题。

总结单单一个字符编码，深刻理解之后发现也有这么浓厚的倒退历程，试想一下，如果计算机还是跟之前大型机一样，集体计算机没有井喷式倒退起来就没有这些字符编码的事了，如果 ASCII 当初就设计成多字节编码，也没有前面 UNICODE 什么事了。这是一个很典型的架构设计问题，到底好的架构是设计进去的，还是演变进去的？有人说靠演变进去的，没有设计的产品架构是没有灵魂的，倒退的路上死的很快。有人说靠设计进去的，这是一种完满主义者，你超前设计个 50 年、100 年等你设计进去了，说不定公司都曾经开张了，有很多叫好不叫做的产品、架构也亘古未有。一个好的架构是既要靠设计又要靠演变，老话说的好三分靠设计七分靠演变，咱们既要学会求实，也要懂得前瞻，至多咱们首先须要活下来。
原文链接：https://click.aliyun.com/m/10…
本文为阿里云原创内容，未经容许不得转载。

站内搜索