什么是python数据科学库

　　介绍

本篇文章给大家分享的是有关什么是python数据科学库,小编觉得挺实用的,因此分享给大家学习,希望大家阅读完这篇文章后可以有所收获,话不多说,跟着小编一起来看看吧。

python是门很神奇的语言,历经时间和实践检验,受到开发者和数据科学家一致好评,目前已经是全世界发展最好的编程语言之一。简单易,用完整而庞大的第三方库生态圈,使得python成为编程小白和高级工程师的首选。

在本文中,我们会分享不同于市面上的python数据科学库(如numpy, padnas, scikit-learn, matplotlib等),尽管这些库很棒,但是其他还有一些不为人知,但同样优秀的库需要我们去探索去学习。

<强> 1,wget

从网络上获取数据被认为是数据科学家的必备基本技能,而wget是一套非交互的基于命令行的文件下载库.ta支持HTTP、HTTPS和FTP协议,也支持使用IP代理。因为ta是非交互的,即使用户未登录,助教也可以在后台运行,所以下次如果你想从网络上下载一个页面,wget可以帮到你哦。

安装

pip  isntall  wget

实例

import  wget 　　 　　时间=url  & # 39; http://www.futurecrew.com/skaven/song_files/mp3/razorback.mp3& # 39; 　　 　　filename =, wget.download (url)

运行和输出

100%,[................................................],3841532,/,3841532 　　文件名 　　& # 39;razorback.mp3& # 39;

<强> 2。摆

对于大多数python用户来说处理时期时(间)数据是一件令人抓狂的事情,好在摆专为你而来。它是python内置时间类的良好备选方案,更多内容可查看官方文档https://pendulum.eustace。io/docs/

安装

pip  install 摆

实例

import 摆 　　 　　时间=dt_toronto  pendulum.datetime (2012,, 1,, 1,, tz=& # 39;美国/多伦多# 39;) 　　时间=dt_vancouver  pendulum.datetime (2012,, 1,, 1,, tz=& # 39;美国/温哥华# 39;) 　　print (dt_vancouver.diff (dt_toronto) .in_hours ())

运行和输出

3

<强> 3。imbalanced-learn

常见的机器学习分类算法都默认输入的数据是均衡数据,即假设训练集数据有A和B两个类别,A和B数据量大体相当。如果A和B数据量差别巨大,那么训练的效果会不理想。在实际收集和整理的数据,其实绝大多数是非均衡数据,这对于机器学习分类算法真的是个很大的问题。好在有imbalanced-learn库可以很好的解决这个问题。该库兼容scikit-learn,并且是作为scikit-learn-contrib项目的一部分。当你再遇到非均衡数据,记得试试它哦!

安装

pip  install  -U  imbalanced-learn 　　#或者 　　conda  install  -c  conda-forge  imbalanced-learn

<强> 4。FlashText

在NLP任务重经常会遇到替换指代同一个意思的多个词语,或者从句子中抽取关键词。通常我们一般的做法是使用正则表达式来完成这些脏活累的活,但如果要操作的词语数量达到几千上万,使用正则这种方法就会变得很麻烦.FlashText库是基于FlashText算法,该库的最强大之处在于程序运行时间不受操作词语数量影响,即运行时间与操作的词汇数量无关。因此特别适合应用到python文本分析中去。

安装

pip  install  FlashText

实例

抽取关键词

我们都知道大苹果指代纽约。所以抽取纽约这个城市词时候,我们要考虑到相同意思的不同词语。

得到flashtext  import  KeywordProcessor 　　 　　#设置关键词处理器 　　时间=keyword_processor  KeywordProcessor () 　　 　　#设置关键词及其近义词 　　keyword_processor.add_keyword (& # 39; Big 苹果# 39;,,& # 39;New 纽约# 39;),#遇到Big 苹果就会识别为New  　　keyword_processor.add_keyword (& # 39; Bay 区域# 39;) 　　 　　时间=keywords_found  keyword_processor.extract_keywords(“小姐:love  Big  Apple 以及Bay 区域!”) 　　 　　keywords_found

运行和输出

[& # 39;New 纽约# 39;,,& # 39;Bay 区域# 39;]

<强> 5。Fuzzywuzzy

这个库的名字就有点怪,但助教拥有强大的字符串匹配功能。可以轻松实现字符串比较比率(比较比率),分词比率(令牌比率)等操作。它还可以方便地匹配保存在不同数据库中的记录。

什么是python数据科学库