人生苦短,快学 Python!
Python 是一个很棒的语言。它是世界上倒退最快的编程语言之一。它一次又一次地证实了在开发人员职位中和跨行业的数据迷信职位中的实用性。整个 Python 及其库的生态系统使它成为全世界用户(初学者和高级用户)的适合抉择。它的胜利和风行的起因之一是它弱小的第三方库的汇合,这些库使它能够放弃生机和高效。
在本文中,咱们会钻研一些用于数据迷信工作的 Python 库,而不是常见的比方 panda、scikit-learn 和 matplotlib 等的库。只管像 panda 和 scikit-learn 这样的库,是在机器学习工作中经常出现的,然而理解这个畛域中的其它 Python 产品总是很有益处的。
一、Wget
从网络上提取数据是数据科学家的重要工作之一。Wget 是一个收费的实用程序,能够用于从网络上下载非交互式的文件。它反对 HTTP、HTTPS 和 FTP 协定,以及通过 HTTP 的代理进行文件检索。因为它是非交互式的,即便用户没有登录,它也能够在后盾工作。所以下次当你想要下载一个网站或者一个页面上的所有图片时,wget 能够帮忙你。
装置:
$ pip install wget
例子:
import wget
url = 'http://www.futurecrew.com/skaven/song_files/mp3/razorback.mp3'
filename = wget.download(url)
100% [................................................] 3841532 / 3841532
filename
'razorback.mp3'
### Pendulum
二、Pendulum
对于那些在 python 中解决日期工夫时会感到丧气的人来说,Pendulum 很适宜你。它是一个简化日期工夫操作的 Python 包。它是 Python 原生类的繁难代替。请参阅文档深刻学习。
装置:
$ pip install pendulum
例子:
import pendulum
dt_toronto = pendulum.datetime(2012, 1, 1, tz='America/Toronto')
dt_vancouver = pendulum.datetime(2012, 1, 1, tz='America/Vancouver')
print(dt_vancouver.diff(dt_toronto).in_hours())
3
三、imbalanced-learn
能够看出,当每个类的样本数量基本相同时,大多数分类算法的成果是最好的,即须要保持数据均衡。但事实案例中大多是不均衡的数据集,这些数据集对机器学习算法的学习阶段和后续预测都有很大影响。侥幸的是,这个库就是用来解决此问题的。它与 scikit-learn 兼容,是 scikit-lear-contrib 我的项目的一部分。下次当你遇到不均衡的数据集时,请尝试应用它。
装置:
pip install -U imbalanced-learn
# 或者
conda install -c conda-forge imbalanced-learn
四、FlashText
在 NLP 工作中,清理文本数据往往须要替换句子中的关键字或从句子中提取关键字。通常,这种操作能够应用正则表达式来实现,然而如果要搜寻的术语数量达到数千个,这就会变得很麻烦。Python 的 FlashText 模块是基于 FlashText 算法为这种状况提供了一个适合的代替计划。FlashText 最棒的一点是,不论搜索词的数量如何,运行工夫都是雷同的。你能够在这里理解更多内容。
装置:
$ pip install flashtext
例子:
提取关键字
from flashtext import KeywordProcessor
keyword_processor = KeywordProcessor()
# keyword_processor.add_keyword(<unclean name>, <standardised name>)
keyword_processor.add_keyword('Big Apple', 'New York')
keyword_processor.add_keyword('Bay Area')
keywords_found = keyword_processor.extract_keywords('I love Big Apple and Bay Area.')
keywords_found
['New York', 'Bay Area']
替换关键字
keyword_processor.add_keyword('New Delhi', 'NCR region')
new_sentence = keyword_processor.replace_keywords('I love Big Apple and new delhi.')
new_sentence
'I love New York and NCR region.'
Fuzzywuzzy
五、fuzzywuzzy
这个库的名字听起来很奇怪,然而在字符串匹配方面,fuzzywuzzy 是一个十分有用的库。能够很不便地实现计算字符串匹配度、令牌匹配度等操作,也能够很不便地匹配保留在不同数据库中的记录。
装置:
$ pip install fuzzywuzzy
例子:
from fuzzywuzzy import fuzz
from fuzzywuzzy import process
# 简略匹配度
fuzz.ratio("this is a test", "this is a test!")
97
# 含糊匹配度
fuzz.partial_ratio("this is a test", "this is a test!")
100
六、PyFlux
工夫序列剖析是机器学习畛域中最常见的问题之一。PyFlux 是 Python 中的一个开源库,它是为解决工夫序列问题而构建的。该库领有一系列优良的古代工夫序列模型,包含但不限于 ARIMA、GARCH 和 VAR 模型。简而言之,PyFlux 为工夫序列建模提供了一种概率办法。值得尝试一下。
装置
pip install pyflux
以上这些有用的数据迷信 Python 库都是我精心筛选进去的,不是常见的如 numpy 和 pandas 等库。如果你晓得其它库,能够增加到列表中来,请在上面的评论中提一下。另外别忘了先尝试运行一下它们。