原创：打码日记（微信公众号ID：codelogs），欢送分享，转载请保留出处。

简介

古代编程语言都形象出了String字符串这个概念，留神它是一个高级形象，然而计算机中理论示意信息时，都是用的字节，所以就须要一种机制，让字符串与字节之间能够互相转换，这种转换机制就是字符编码，如GBK，UTF-8
所以能够这样了解字符串与字符编码的关系:

  1. 字符串是一种形象，比方java中的String类，它在概念上是编码无关的，外面蕴含一串字符，你不须要关怀它在内存中是用什么编码实现的，只管字符串在内存中存储也是须要应用编码机制的。
  2. 字节串才须要关怀编码，当咱们要将字符串保留到文件中或发送到网络上时，都须要应用字符编码机制，将字符串转换为字节串，因为计算机底层只认字节。

常见字符编码方案

ASCII

全称为American Standard Code for Information Interchange，美国信息替换规范代码，用来编码英文字符，一个字符占一个字节，只用了字节中的低7位，最高位始终为0，因而只能示意2^7=128个字符。

ISO8859-1

对ASCII的裁减，增加了西欧语言、希腊语、泰语、阿拉伯语、希伯来语对应的文字符号，也称latin-1，将ASCII中最高一位也利用起来了，能示意2^8=256个字符，当最高位是0时，编码方式就是ASCII，所以ISO8859-1是兼容ASCII码的。

GBK

全称为Chinese Internal Code Specification，于1995年制订，用来编码汉字的一种计划，一个汉字编码为两个字节，兼容ASCII码编码方案，ASCII中的英文字符编码为一个字节。

Unicode

Unicode 的全称是 universal character encoding，中文个别翻译为"对立码、万国码、繁多码"，用于定义世界上所有的字符，防止了各个国家设计的本地字符集相互不兼容的问题。晚期因为另一个组织也定义了一种与Unicode相似的计划ucs，而后与Unicode合并，故有时Unicode也称为ucs。
留神，Unicode是一种字符集，而不是一种具体的字符编码，要了解Unicode具体是什么，首先要了解字符集与字符编码的关系，一般来说，字符集定义字符与代码点(codepoint)之间的对应关系，而字符编码定义代码点(codepoint)与字节之间的对应关系。
比方ASCII字符集规定A用65示意，至于65在计算机中用什么字节示意，字符集并不关怀，而ASCII字符编码定义65应该用一个字节示意，对应为01000001，十六进制表示法为0x41，它是ASCII字符集的一种实现，也是惟一的实现。
但Unicode做为一种字符集，它没有规定Unicode中的字符该如何编码为字节，而UTF-16、UTF-32、UTF-8就都是Unicode的字符编码实现计划，它们具体定义了如何将Unicode字符转换为相应的字节。

UTF-32
UTF-32编码，也称UCS-4，是Unicode 最间接的编码方式，用 4 个字节来示意 Unicode 字符中的 code point ，比方字母A对应的4个字节为0x00000041。它也是 UTF-*编码家族中惟一的一种定长编码（fixed-length encoding），定长编码的益处是能疾速定位第N个字符，便于指针运算。但用四个字节来示意一个字符，对于英文字母来说，空间占用就太大了。
UTF-16
UTF-16编码，也称UCS-2，起码能够采纳 2 个字节示意 code point，比方字母A对应的2个字节为0x0041。须要留神的是，UTF-16 是一种变长编码（variable-length encoding），只不过对于 65535 之内的 code point，只须要应用 2 个字节示意而已。然而，很多历史代码库在实现 UTF-16 编码时，间接应用2字节存储，这导致在解决超出 65535 之外的 code point 字符时，会呈现一些问题，另外，UTF-16对于纯英文存储，也会节约1倍存储空间。

字节序与BOM
不同的计算机存储字节的程序是不一样的，比方 U+4E2D 在 UTF-16 能够保留为4E 2D，也能够保留成2D 4E，这取决于计算机是大端模式还是小端模式，UTF-32也相似。为了解决这个问题，UTF-32与UTF-16都引入了BOM机制，在文件的起始地位搁置一个特殊字符BOM(U+FEFF)，如果 UTF-16 编码的文件以FF FE开始，那么就意味着其字节序为小端模式，如果以FE FF开始，那么就是大端模式。所以UTF-16依据大小端可辨别为两种，UTF-16BE(大端)与UTF-16LE(小端)，UTF-32同理。

Unicode表示法
咱们常常会看到形如 U+XXXX 或 \uXXXX 模式的货色，它是一种示意Unicode字符的形式，俗称Unicode表示法，其中XXXX是 code point 的十六进制示意，比方 U+0041 或 \u0041 示意Unicode中的字母A。咋一看，这玩意有点相似 UTF-16 ，但要留神它是一种用英文字符串指代一个Unicode字符的形式，不是一种字符编码，字符编码是用字节串指代一个Unicode字符。

UTF-8
因为UTF-16用两个字节编码英文字符，对于纯英文存储，对空间是一种极大的节约，所以unix之父Ken Thompson又创造了一种Unicode字符编码——UTF-8，它对于ASCII范畴内的字符，编码方式与ASCII完全一致，其它字符则采纳2字节、3字节甚至4字节的形式存储，所以UTF-8是一种变长编码。对于常见的中文字符，UTF-8应用3字节存储。

蕴含关系图

乱码又是怎么回事？

乱码实质上是编码端程序与解码端程序用的字符编码不同导致的，比方一个程序(编码端)应用UTF-8存储字符串到文件中，另一个程序(解码端)读取时却用GBK解码，就会呈现乱码了。

实际-java

String.getBytes()与new String(bytes)

String str = "好";//字符串转字节，应用UTF-8byte[] bytes = str.getBytes("UTF-8");       //'好'在UTF-8下编码为3字节e5a5bd     System.out.println(Hex.encodeHexString(bytes));  //字节转字符串，应用UTF-8System.out.println(new String(bytes, "UTF-8"));  //字符串转字节，不传字符编码，默认应用操作系统的编码，我开发机是Windows，默认编码为GBKbytes = str.getBytes();            //'好'在GBK下编码为2字节bac3              System.out.println(Hex.encodeHexString(bytes));  //字节转字符串，同样应用我以后操作系统默认编码GBKSystem.out.println(new String(bytes));

对于java的String.getBytes()与new String(bytes)办法，是用来进行字符串与字节转换的，但倡议最好应用带charset版本的办法，如String.getBytes("UTF-8")与new String(bytes,"UTF-8")，因为没有指定字符编码的办法，会默认应用操作系统上设置的编码，而Windows上默认编码常常是GBK，这就导致应用linux或mac开发的程序，运行得好好的，在Windows上却乱码了。
另外，像如下的InputStreamReader与OutputStreamWriter，也有带charset与不带charset版本的，最好也应用带charset版本的办法。

//InputStreamReader与OutputStreamWriter也一样，如果不指定字符编码，就应用操作系统的InputStreamReader isr = new InputStreamReader(in, "UTF-8");OutputStreamWriter osw = new OutputStreamWriter(out, "UTF-8");

另外，在启动java我的项目时，最好带上jvm参数-Dfile. encoding=utf-8，这样能够设置jvm默认编码为UTF-8，防止程序继承操作系统编码，也能够像上面这样，在我的项目启动的第一行，手动设置编码为UTF-8，这样没有设置jvm参数的同学也不会呈现乱码了。

//设置以后jvm默认字符编码为UTF-8，防止继承操作系统编码System.setProperty("file.encoding", "UTF-8");

实际-linux

od与xxd
od与xxd是查看字节数据的工具，能够以十六进制、八进制、二进制、十进制的形式查看字节，十分不便，如下：

#查看'好'的十六进制，如下'好'输入3个字节，可见echo应用了utf-8编码$ echo -n 好|xxd 00000000: e5a5 bd# -b选项示意输入01二进制模式$ echo -n 好|xxd -b00000000: 11100101 10100101 10111101# od同样能够输入十六进制$ echo -n 好|od -t x10000000 e5 a5 bd# linux下查看ASCII码表$ man ASCII$ printf "%0.2X" {0..127}| xxd -r -ps | od -t x1d1c

iconv
iconv是用来转换字符编码的好工具，如下: 

# iconv将echo输入的utf-8字节转换为gbk字节，可见中文的gbk编码为2字节$ echo -n 好|iconv -f utf-8 -t gbk |xxd 00000000: bac3# 转换为utf-16be，可见中文的utf-16编码个别是2字节$ echo -n 好|iconv -f utf-8 -t utf-16be |xxd00000000: 597d # 转换为utf-32be，可见中文的utf-32编码是4字节，且个别前2个字节都是0$ echo -n 好|iconv -f utf-8 -t utf-32be |xxd00000000: 0000 597d

其它有用工具   

# Unicode表示法转字符串$ echo -e '\u597d'好# 字符串转Unicode表示法$ echo -n '好' | iconv -f utf-8 -t ucs-2be | od -A n -t x2 --endian=big | sed 's/\x20/\\u/g'\u597d# 猜想文件编码$ enca -L zh_CN -g -i file.txtUTF-8# 转换文件编码为UTF-8$ enca -L zh_CN -c -x UTF-8 file.txt

mysql中的utf8mb4又是啥？

UTF-8作为Unicode的一种字符编码方案，原本是能够编码Unicode中的所有字符的，但晚期mysql在实现utf-8时，实现时自行限度utf-8最多应用3个字节，也称utf8mb3，导致现在广泛呈现的emoji表情无奈存储，因为emoji表情要应用4个字节能力编码，这就导致mysql又推出了utf8mb4来补救这个缺点。 

总结

彻底了解字符编码并不容易，次要是这个在计算机书籍上素来没有重点介绍过，而在本人刚开始工作时，常常遇到各种乱码问题，而后网上一通搜寻胡乱设置来解决问题，但却始终没搞清楚为啥，直到本人摸熟iconv这个命令后，才真正了解分明。 

往期内容

真正了解可反复读事务隔离级别
Linux文本命令技巧(下)
Linux文本命令技巧(上)
原来awk真是神器啊
罕用网络命令总结