- 来源 | 愿码 (ChainDesk.CN) 内容编辑
- 愿码 Slogan | 连接每个程序员的故事
- 网站 | http://chaindesk.cn
- 愿码愿景 | 打造全学科 IT 系统免费课程,助力小白用户、初级工程师 0 成本免费系统学习、低成本进阶,帮助 BAT 一线资深工程师成长并利用自身优势创造睡后收入。
- 官方公众号 | 愿码 | 愿码服务号 | 区块链部落
- 免费加入愿码全思维工程师社群 | 任一公众号回复“愿码”两个字获取入群二维码
本文阅读时长:10min
在过去的五年中,Python 已成为数据科学界的一大热门。因此,它正在慢慢接管 R –“统计学术语”– 作为许多工具的首选工具。最近发布的 Stack Overflow Developer Survey 2018 表明,Python 是下一个重要的编程语言,它在业界的应用将不断增加。Python 的崛起令人震惊,但并不令人惊讶。它的通用性,再加上效率和易用性,使您可以更轻松地构建数据科学。您还可以使用丰富的 Python 库来处理所有与数据科学相关的任务,从基本的 Web 抓取到训练深度学习模型等复杂的任务。
在本文中,我们将介绍一些最流行和最广泛使用的 Python 库及其应用领域。
网页抓取
在网络浏览器的帮助下,网络抓取是使用 HTTP 协议从网络上流行的信息提取技术。两种最常用的 Web 抓取工具是基于 Python 的。
1.Beautiful Soup
Beautiful Soup 是一个流行的 Python 库,用于从 HTML 和 XML 文件中提取信息。它提供了一种独特,简便的方法来导航,搜索和修改已分析的数据,从而可以节省您不必要的工作时间。它适用于 Python 的两个版本,即 2.7 和 3.x,并且非常易于使用。
- 愿码提示
Beautiful Soup 网址:https://pypi.org/project/beau…
2.Scrapy
Scrapy 是一个用 Python 编写的免费开源框架。虽然开发用于 Web 抓取,但它也可以用作常规 Web 爬虫程序并使用不同的 API 提取数据。遵循 Django 等框架的“不要重复自己”的理念,Scrapy 包含一组自包含的爬虫,每个爬虫都遵循具体目标的特定指令。
- 愿码提示
Scrapy 网址:https://scrapy.org/
科学计算与数据分析
可以说是最常见的数据科学任务,通过为数据处理和分析以及数学计算提供独特的库,从而证明了对数据科学家来说非常有价值。
3.NumPy
NumPy 是 Python 中最受欢迎的科学计算库,它是用于科学计算的更大的 Python 堆栈的一部分,称为 SciPy(下面讨论)。除了在线性代数和其他数学函数中的用途之外,它还可以用作具有任意数据类型的通用数据的多维容器或数组。
NumPy 集成了无缝语言(如 C / C ++),并且由于它支持多种数据类型,因此它也适用于各种数据库。
- 愿码提示
NumPy 网址:http://www.numpy.org/
4.SciPy
SciPy 是一个基于 Python 的框架,包含用于数学,科学计算和数据分析的开源库。SciPy 库是用于高级数学计算,统计等的算法和工具的集合。SciPy 堆栈包含以下库:
· NumPy – 用于数值计算的 Python 包
· SciPy – SciPy 堆栈的核心软件包之一,用于信号处理,优化和高级统计
· matplotlib – 用于数据可视化的流行 Python 库
· SymPy – 符号数学和代数库
· pandas – 用于数据操作和分析的 Python 库
· iPython – 用于运行基于 Python 的代码的交互式控制台
- 愿码提示
SciPy 网址:https://www.scipy.org/index.html
5.Pandas
pandas 是一个广泛使用的 Python 包,提供有效数据操作和分析的数据结构和工具。它是一种广泛使用的定量分析工具,在算法交易和风险分析中发现了很多应用。
拥有庞大的专用用户社区,定期更新 pandas 以获得新的 API 更改,性能更新和错误修复。
- 愿码提示
pandas 网址:https://pandas.pydata.org/
机器学习和深度学习
Python 在实现高效的机器学习和深度学习模型方面胜过所有其他语言,仅凭借其多样化,有效且易于使用的库集。在本节中,我们将看到一些最流行和最常用的 Python 库,用于机器学习和深度学习:
6.Scikit-learn
scikit-learn 是用于数据挖掘,分析和机器学习的最流行的 Python 库。它使用 NumPy,SciPy 和 matplotlib 的功能构建,并且在商业上可用。您可以使用 scikit-learn 实现各种机器学习技术,例如分类,回归,集群等且非常易于安装。
- 愿码提示
scikit-learn 网址:https://scikit-learn.org/stable/
7.Tensorflow
Tensorflow 是一个基于 Python 的框架,用于使用多个 CPU 或 GPU 进行有效的机器学习和深度学习。由 Google 支持,最初由 Google Brain 的研究团队开发,是世界上广泛使用的机器智能框架。它得到了大量活跃用户的支持,并且正在广泛应用于各种工业领域的先进机器学习,从制造和零售到医疗保健和智能汽车。
- 愿码提示
Tensorflow 网址:https://www.tensorflow.org/
8.Keras
Keras 是一个基于 Python 的神经网络 API,提供了一个简化的界面,可以轻松地训练和部署您的深度学习模型。它支持各种深度学习框架,如 Tensorflow,Deeplearning4j 和 CNTK 且非常人性化,遵循模块化方法,支持基于 CPU 和 GPU 的计算。如果您想让深度学习过程更简单有效,那么这个库绝对值得一试!
- 愿码提示
Keras 网址:https://keras.io/
9.PyTorch
PyTorch 是 Python 深度学习系列的最新成员之一,它是一个具有强大 GPU 支持的神经网络建模库。尽管仍处于测试阶段,但该项目得到了 Facebook 和 Twitter 等大人物的支持。PyTorch 建立在另一个流行的深度库 Torch 的架构之上,以实现更高效的张量计算和动态神经网络的实现。
- 愿码提示
PyTorch 网址:https://pytorch.org/
自然语言处理
自然语言处理涉及设计处理,解释和分析人类语言,口头或书面的系统。Python 提供了独特的库,用于执行各种任务,例如使用结构化和非结构化文本,预测分析等等。
10.NLTK
NLTK 是一个流行的语言处理 Python 库。它为各种 NLP 任务提供了易于使用的界面,例如文本分类,标记化,文本解析,语义推理等等。它是一个开源的,社区驱动的项目,并且支持 Python 2 和 Python 3。
- 愿码提示
NLTK 网址:http://www.nltk.org/
11.SpaCy
SpaCy 是另一个基于 Python 和 Cython 的高级自然语言处理库。它广泛支持各种深度学习库和框架,如 Tensorflow 和 PyTorch。使用 SpaCy,您可以相对轻松地为 NLP 构建复杂的统计模型。SpaCy 易于安装和使用,在大规模提取和分析文本信息方面证明是非常有用的。
- 愿码提示
SpaCy 网址:https://spacy.io/
数据可视化
数据可视化是一种广泛使用的数据科学技术,用于通过图形,图表,仪表板和报告直观地分析和传递信息和有价值的业务洞察。Python 提供了许多流行的库来进行有效的数据叙述。其中一些列表如下:
12.matplotlib
matplotlib 是最受欢迎的数据可视化 Python 库,允许进行企业级 2D 和 3D 绘图。使用 matplotlib,您可以使用几行代码构建不同类型的可视化,例如直方图,条形图,散点图等等。matplotlib 的受欢迎程度可与 R 广受好评的 ggplot2 相媲美,Matplotlib 可以在所有 Python 控制台上无缝运行,包括 iPython 和 Jupyter 笔记本电脑,为您提供创建和共享数据可视化所需的所有必要工具。
- 愿码提示
matplotlib 网址:https://matplotlib.org/
13. Seaborn
Seaborn 是一个基于 Python 的数据可视化库,它源于 matplotlib。除了提供有吸引力且富有洞察力的数据可视化之外,seaborn 还为其他 Python 库提供强大支持,例如 NumPy 和 pandas。
- 愿码提示
Seaborn 网址:https://seaborn.pydata.org/in…
14. 散景
Bokeh 是一个基于 Python 的交互式数据可视化库。它旨在提供 D3.js 风格优雅的图形和可视化,主要在现代 Web 浏览器上运行。除了能够创建各种可视化外,Bokeh 还支持实时数据集的大规模交互和可视化。
- 愿码提示
Bokeh 网址:https://bokeh.pydata.org/en/l…
15. Plotly
Plotly 是一个广泛使用的 Python 库,在世界各地用于制作出版品质的图表。使用 Plotly,您可以轻松地构建交互式仪表板,散点图,直方图,烛台图表,热图以及大量其他数据可视化。凭借出色的交互性,部署和发布功能,Plotly 可用于不同领域,主要是财务和地理空间行业,以进行有效的数据叙述。
- 愿码提示
Plotly 网址:https://plot.ly/python/
Python 为每个与数据科学相关的任务提供了一套广泛的库,每个库都配备了独特的功能,可以快速,轻松地完成任务。虽然有很多 Python 库,但我们可以根据它们的受欢迎程度,实用性以及它们带来的价值来挑选这 15 个库。