关于python:大话-Pythonpython-基础巩固-python-有多少种编码方式如何检测编码方式并完成转码

9次阅读

共计 1734 个字符,预计需要花费 5 分钟才能阅读完成。

1、ASCII 编码

计算机最开始是由美国人创造应用的,当然 ASCII 编码也是由美国人创造的。所以它的产生次要是切合了美国的 English 语言,并且反对阿拉伯数字以及英文状态的标点符号。

2、GB2312 编码

因为 ASCII 编码只能反对英文的编码应用,咱们的中文不能实现计算机信息交换,所以产生了 GB2312 编码用来实现信息交换,它是中华人民共和国国家标准简体中文字符集。

3、Unicode 编码

各个国家地区在定义了本人的编码标准之后,那么在多种编码语言的零碎中就会呈现乱码的状况。韩国有韩国的编码、日本有日本的编码,这样就造成了多语言模式的凌乱。因而,Unicode 编码就是为了解决这种状况,将所有的编码都对立到一个编码标准外面,即便是零碎中呈现多语言的解决也不会产生乱码的状况。

4、UTF-8 编码

正所谓先实现再欠缺,技术的倒退更是如此。尽管应用 Unicode 编码解决了编码统一性的问题,然而它又会占用比拟多的空间、并且在传输的过程中也会耗费相应的性能。所以,UTF-8 就随着历史的潮流诞生了,它能够应用更小的字节数实现语言编码的转换,大大的节俭了空间和传输性能。

5、检测编码

检测编码是常常要在爬虫过程中应用的形式,对网络上抓取到的内容进行编码的检测判断,为后续的内容提取、数据荡涤等提供牢靠的根据。

1# 导入 chardet 库
2import chardet
3test_str = "Python 集中营"
4# 应用 detect() 检测编码
5print chardet.detect(test_str)

为了防止大文本的转换太过消耗工夫,chardet 库还提供了另外一种检测形式,应用对象 UniversalDetector 的逐行检测形式会大大的提高效率。

 1# 导入 UniversalDetector 对象
 2from chardet.universaldetector import UniversalDetector
 3
 4# 定义获取编码函数
 5def getEncodeInfo(file):
 6    # 关上一个文件
 7    with open(file, 'rb') as f:
 8    # universaldetector 对象赋值
 9    detector = UniversalDetector()
10    for line in f.readlines():
11        # 遍历检测编码
12        detector.feed(line)
13        # 确保检测达到最小相信阈值为 True 时返回
14        if detector.done:
15            break
16    # 检测完之后敞开源文本
17    detector.close()
18    # 返回编码
19    return detector.result['encoding']

6、编码转换

个别在创立 .py 的 python 文件时,如果没有在文件头执行编码格局,则默认状况下是 ASCII 编码,这个时候咱们能够采纳从新加载编码格局的形式进行解决。

 1# 导入 sys 库
 2import sys
 3# 从新加载 sys 零碎库
 4reload(sys)
 5# 打印默认编码格局
 6print sys.getdefaultencoding() 
 7# 从新设置编码格局 UTF-8
 8sys.setdefaultencoding('utf-8')
 9# 打印从新设置的编码格局
10print sys.getdefaultencoding() 

如果是进行文本的编码格局转换时,个别的思路是先将现有文本进行解码、实现解码之后再从新编码。

1# 读取或定义文本
2content = "文本内容"
3# 文本解码 encode_info 为检测到的编码方式
4content_decode = content.decode(encode_info,'ignore')
5# 文本从新编码
6content_encode_utf8 = content_decode.encode('utf-8')

更多精彩返回微信公众号【Python 集中营】,专一后端编程实战,原创文章每天更新!

正文完
 0