数据清洗工具(python数据清洗工具)

为了提高效率,我们在工作中经常使用一些工具来提高python的效率。Python作为一种编程语言,可以实现我们日常工作中的各种自动化。为了方便项目的开发,下面给

为了提高效率,我们在工作中经常使用一些工具来提高python的效率。Python作为一种编程语言,可以实现我们日常工作中的各种自动化。为了方便项目的开发,下面给大家推荐一些Python效率工具。

Python提升效率的七个工具

Pandas 主要用于数据分析

Panda是一个分析结构化数据的强大工具集,它基于Numpy(提供高性能矩阵运算)。它用于数据挖掘和数据分析,还提供数据清洗功能。

Python提升效率的七个工具

# 1. 安装pandas pip install pandas# 2.python的交互式界面 python -i# 3.使用pandas 导入panads 命名为pd import pandas as pd df = pd.DataFrame print(df)# 4. 输出结果 Empth DataFrameColumns:Index: Selenium 自动化测试

Selenium是一个web应用程序测试工具,可以从最终用户的角度测试应用程序。您可以从最终用户的角度测试应用程序。通过在不同的浏览器中运行测试,更容易发现浏览器的不兼容性。并且适用于多种浏览器。

Python提升效率的七个工具

# 做一个简单地测试,通过打开浏览器并且打开google主页from selenium import webdriverimport timebrowser = webdriver.Chrome(executable_path ="C:\Program Files (x86)\Google\Chrome\chromedriver.exe")website_URL ="https://www.google.co.in/"brower.get(website_URL)refreshrate = int(3) #每3秒刷新一次Google主页。# 它会一直运行,直到你停掉编译器。while True:time.sleep(refreshrate)browser.refreshFlask — 微型 web 框架

Flask是一个轻量级的可定制框架,用python语言编写,相比其他同类框架更加灵活、轻便、安全、易用。Flask是目前非常流行的WEB框架。开发人员可以使用python语言快速实现网站或web服务。

Python提升效率的七个工具

from flask import Flaskapp = Flask(__name__)@app.route('/')def hello_world:return 'Hello, World!'Scrapy —页面爬取

Scrapy可以为您提供强大的支持,使您能够准确地从网站上抓取信息。很实用。

Python提升效率的七个工具

现在大部分开发者都会使用爬虫工具来实现抓取的自动化。所以写爬虫代码的时候可以用这个Scrapy。

启动Scrapy Shell也很简单:

scrapy shell

我们可以尝试提取百度首页搜索按钮的值。首先,我们需要找到按钮使用的类。inspect元素显示该类是“bt1”。

请执行以下操作:

response = fetch("https://baidu.com")response.css(".bt1::text").extract_first==> "Search"Requests—调用 API

Requests是一个强大的HTTP库。它使得发送请求变得容易。无需手动向URL添加查询字符串。除此之外,还有很多功能,比如授权处理、JSON/XML解析、会话处理等等。

Python提升效率的七个工具

例子

在下面的代码中,我们使用Request()构造函数创建一个新的请求实例(用于请求同一目录下的图片),然后返回请求的一些属性。

const myRequest = new Request('http://localhost/flowers.jpg');const myURL = myRequest.url; // http://localhost/flowers.jpgconst myMethod = myRequest.method; // GETconst myCred = myRequest.credentials; // omit

复制到剪贴板

然后,通过将请求对象作为参数传递给GlobalFetch.fetch()调用来获取此请求,例如:

fetch(myRequest) .then(response => response.blob()) .then(blob => { myImage.src = URL.createObjectURL(blob); });

复制到剪贴板

在下面的代码片段中,我们使用Request()构造函数创建一个新的请求,它包含一些初始数据和需要主体有效负载的api请求的主体内容:

const myRequest = new Request('http://localhost/api', {method: 'POST', body: '{"foo":"bar"}'});const myURL = myRequest.url; // http://localhost/apiconst myMethod = myRequest.method; // POSTconst myCred = myRequest.credentials; // omitconst bodyUsed = myRequest.bodyUsed;

复制到剪贴板

注意:body类型只能是blob、BufferSource (en-us)、Formdata、urlsearchparams、usvstring或ReadableStream类型,所以添加JSON对象的有效负载需要字符串化对象。

例如,您可以通过将请求对象作为参数传递给GlobalFetch.fetch()调用并获得响应来获得此api请求:

fetch(myRequest) .then(response => { if (response.status === 200) { return response.json(); } else { throw new Error('Something went wrong on api server!'); } }) .then(response => { console.debug(response); // ... }).catch(error => { console.error(error); });Faker— 主要用于创建假的数据

Faker是一个为你生成假数据的Python包。无论你需要引导数据库,创建一个漂亮的XML文档,填写你的持久性以强调测试它,还是从一个生产服务中获取同名数据,Faker都适合你。

Python提升效率的七个工具

使用pip安装:

pip install Faker

用faker。Factory.create()来创建和初始化faker生成器,它可以通过访问根据所需数据类型命名的属性来生成数据。

from faker import Factoryfake = Factory.create()fake.name()fake.address()fake.text()

每次调用fake.name()方法都会产生不同的(随机)结果。这是因为faker向faker调用了faker . generator . format(method _ name)。Generator.method_name()。

for _ in range(10): print(fake.name())---------------------------------------------------------------C:\Python27\python.exe "D:/Python Projects/paydayloan/aaa.py"Leslie MckinneyThomas WhiteAnna McdowellWilliam Allen MDKelly HouseMrs. Yolanda MyersWhitney RichardErika DavisEthan HarperMonique TerryPillow —进行图像的处理

枕头库(有时称为PIL库)是Python图像处理的基本库。它是由一群Python社区志愿者使用Python语言开发的免费开源第三方库(主要贡献者:Alex Clark)。Pillow提供了非常强大的图像处理功能,它可以轻松完成一些图像处理任务。与Python中的其他图像处理库(OpenCV、Scikit-image等)相比,),枕头库很好用,非常适合初学者学习。

Python提升效率的七个工具

linux和windows下两种不同的安装方法:

Python提升效率的七个工具

Python提升效率的七个工具

给我点个赞[谢谢][谢谢][谢谢][眼泪]

从以下位置学习:

链接:https://www.jianshu.com/p/8f2e9d42caa6

免责声明:本站所有文章内容,图片,视频等均是来源于用户投稿和互联网及文摘转载整编而成,不代表本站观点,不承担相关法律责任。其著作权各归其原作者或其出版社所有。如发现本站有涉嫌抄袭侵权/违法违规的内容,侵犯到您的权益,请在线联系站长,一经查实,本站将立刻删除。

作者:美站资讯,如若转载,请注明出处:https://www.meizw.com/n/170367.html

发表回复

登录后才能评论