简介

在本文中你将理解到 Unicode 和 UTF-8,UTF-16,UTF-32 的关系，同时你还会理解变种 UTF-8，并且探讨一下 UTF- 8 和变种 UTF- 8 在 java 中的利用。

一起来看看吧。

Unicode 的发展史

在很久很久以前，东方世界呈现了一种叫做计算机的高科技产品。

初代计算机只能做些简略的算数运算，还要应用人工打孔的程序能力运行，不过随着工夫的推移，计算机的体积越来越小，计算能力越来越强，打孔曾经不存在了，变成了人工编写的计算机语言。

一切都在变动，唯有一件事件没有变动。这件事件就是计算机和编程语言只流传在东方。而东方日常交换应用 26 个字母加无限的标点符号就够了。

最后的计算机存储能够是十分低廉的，咱们用一个字节也就是 8bit 来存储所有可能用到的字符，除了最开始的 1bit 不必以外，总共有 128 中抉择，装 26 个小写 +26 个大写字母和其余的一些标点符号之类的齐全够用了。

这就是最后的 ASCII 编码，也叫做美国信息替换规范代码（American Standard Code for Information Interchange）。

前面计算机传到了寰球，人们才发现如同之前的 ASCII 编码不够用了，比方中文中罕用的汉字就有 4 千多个，怎么办呢?

没关系，将 ASCII 编码本地化，叫做 ANSI 编码。1 个字节不够用就用 2 个字节嘛，路是人走进去的，编码也是为人来服务的。于是产生了各种如 GB2312, BIG5, JIS 等各自的编码标准。这些编码尽管与 ASCII 编码兼容，然而相互之间却并不兼容。

这重大的影响了国际化的过程，这样还怎么去实现同一个地球，同一片家园的幻想？

于是国内组织出手了，制订了 UNICODE 字符集，为所有语言的所有字符都定义了一个惟一的编码，unicode 的字符集是从 U +0000 到 U +10FFFF 这么多个编码。

那么 unicode 和 UTF-8，UTF-16，UTF-32 有什么关系呢？

unicode 字符集最初是要存储到文件或者内存外面的，间接存储的话，空间占用太大。那怎么存呢？应用固定的 1 个字节，2 个字节还是用变长的字节呢？于是咱们依据编码方式的不同，分成了 UTF-8，UTF-16，UTF-32 等多种编码方式。

其中 UTF- 8 是一种变长的编码方案，它应用 1 - 4 个字节来存储。UTF-16 应用 2 个或者 4 个字节来存储，JDK9 之后的 String 的底层编码方式变成了两种：LATIN1 和 UTF16。

而 UTF-32 是应用 4 个字节来存储。这三种编码方式中，只有 UTF- 8 是兼容 ASCII 的，这也是为什么国内上 UTF- 8 编码方式比拟通用的起因（毕竟计算机技术都是西方人搞进去的）。

Unicode 详解

晓得了 Unicode 的发展史之后，接下来咱们详解解说一下 Unicode 到底是怎么编码的。

Unicode 规范从 1991 年公布 1.0 版本，曾经倒退到 2020 年 3 月最新的 13.0 版本。

Unicode 可能示意的字符串范畴是 0 到 10FFFF, 示意为 U +0000 到 U +10FFFF。

其中 U +D800 到 U +DFFF 的这些字符是预留给 UTF-16 应用的，所以 Unicode 的理论示意字符个数是 216 − 211 + 220 = 1,112,064 个。

咱们将 Unicode 的这些字符集分成 17 个立体, 各个立体的分布图如下：

以 Plan 0 为例，Basic Multilingual Plane (BMP) 基本上蕴含了大部分罕用的字符，下图展现了 BMP 中所示意的对应字符：

下面咱们提到了 U +D800 到 U +DFFF 是 UTF-16 的保留字符。其中高位 U +D800–U+DBFF 和低位 U +DC00–U+DFFF 是作为一对 16bits 来对非 BMP 的字符进行 UTF-16 编码。独自的一个 16bits 是无意义的。

UTF-8

UTF- 8 是用 1 到 4 个字节来示意所有的 1,112,064 个 Unicode 字符。所以 UTF- 8 是一种变长的编码方式。

UTF- 8 目前是 Web 中最常见的编码方式，咱们看下 UTF- 8 怎么对 Unicode 进行编码：

最开始的 1 个字节能够示意 128 个 ASCII 字符，所以 UTF- 8 是和 ASCII 兼容的。

接下来的 1,920 个字符须要两个字节进行编码，涵盖了简直所有拉丁字母字母表的其余部分，以及希腊语，西里尔字母，科普特语，亚美尼亚语，希伯来语，阿拉伯语，叙利亚语，Thaana 和 N ’Ko 字母，以及组合变音符号标记。BMP 中的其余部分中的字符须要三个字节，其中简直蕴含了所有罕用字符，包含大多数中文，日文和韩文字符。Unicode 中其余立体中的字符须要四个字节，其中包含不太常见的 CJK 字符，各种历史脚本，数学符号和表情符号（象形符号）。

上面是一个具体的 UTF- 8 编码的例子：

UTF-16

UTF-16 也是一种变长的编码方式，UTF-16 应用的是 1 个到 2 个 16bits 来示意相应的字符。

UTF-16 次要在 Microsoft Windows, Java 和 JavaScript/ECMAScript 外部应用。

不过 UTF-16 在 web 上的使用率并不高。

接下来，咱们看一下 UTF-16 到底是怎么进行编码的。

首先：U+0000 to U+D7FF 和 U+E000 to U+FFFF，这个范畴的字符，间接是用 1 个 16bits 来示意的，十分的直观。

接着是：U+010000 to U+10FFFF

这个范畴的字符，首先减去 0x10000，变成 20bits 示意的 0x00000–0xFFFFF。

而后高 10bits 位的 0x000–0x3FF 加上 0xD800，变成了 0xD800–0xDBFF，应用 1 个 16bits 来示意。

低 10bits 的 0x000–0x3FF 加上 0xDC00，变成了 0xDC00–0xDFFF，应用 1 个 16bits 来示意。

U' = yyyyyyyyyyxxxxxxxxxx  // U - 0x10000
W1 = 110110yyyyyyyyyy      // 0xD800 + yyyyyyyyyy
W2 = 110111xxxxxxxxxx      // 0xDC00 + xxxxxxxxxx

这也是为什么在 Unicode 中 0xD800–0xDFFF 是 UTF-16 保留字符的起因。

上面是一个 UTF-16 编码的例子：

UTF-32

UTF-32 是固定长度的编码，每一个字符都须要应用 1 个 32bits 来示意。

因为是 32bits，所以 UTF-32 能够间接用来示意 Unicode 字符，毛病就是 UTF-32 占用的空间太大，所以一般来说很少有零碎应用 UTF-32.

Null-terminated string 和变种 UTF-8

在 C 语言中，一个 string 是以 null character (‘0’）NUL 完结的。

所以在这种字符中，0x00 是不能存储在 String 两头的。那么如果咱们真的想要存储 0x00 该怎么办呢？

咱们能够应用变种 UTF- 8 编码。

在变种 UTF- 8 中，null character (U+0000) 是应用两个字节的：11000000 10000000 来示意的。

所以变种 UTF- 8 能够示意所有的 Unicode 字符，包含 null character U+0000。

通常来说，在 java 中，InputStreamReader 和 OutputStreamWriter 默认应用的是规范的 UTF- 8 编码，然而在对象序列化和 DataInput，DataOutput,JNI 和 class 文件中的字符串常量都是应用的变种 UTF- 8 来示意的。

本文已收录于 http://www.flydean.com/java-string-encodings/

最艰深的解读，最粗浅的干货，最简洁的教程，泛滥你不晓得的小技巧等你来发现！

欢送关注我的公众号:「程序那些事」, 懂技术，更懂你！