python爬蟲方面需要學(xué)什么模塊？

對(duì)于很多20歲左右的小伙伴來說，Python可選的領(lǐng)域更多，人工智能、web開發(fā)、自動(dòng)化運(yùn)維測試、數(shù)據(jù)分析等等。python爬蟲方面需要學(xué)什么模塊?小編下邊就簡單列舉幾種!

爬蟲方面：

•grab – 爬蟲框架

•scrapy – 網(wǎng)絡(luò)爬蟲框架，不支持Python3

•pyspider –爬蟲系統(tǒng)。

•cola – 爬蟲框架

•portia – 可視化爬蟲

Python常用第三方庫總結(jié)(部分)

自動(dòng)化測試

• SeleniumWebUI自動(dòng)化測試。同上。

• Pytest The pytest framework makes it easy to write small tests, yet scales to support complex functional testing for applications and libraries. python測試框架。

• UnitTest/PyUnit the standard unit testing framework for Pytho,受到了JUnit啟發(fā)的UnitTest/PyUnit，也是一種標(biāo)準(zhǔn)化的針對(duì)單元測試的Python類自動(dòng)化測試框架。

應(yīng)用程序守護(hù)

• supervisor Supervisor is a client/server system that allows its users to control a number of processes on UNIX-like operating systems. 可以很方便的監(jiān)聽、啟動(dòng)、停止、重啟一個(gè)或多個(gè)進(jìn)程。用Supervisor管理的進(jìn)程，當(dāng)一個(gè)進(jìn)程意外被殺死，supervisort監(jiān)聽到進(jìn)程死后，會(huì)自動(dòng)將它重新拉起，很方便的做到進(jìn)程自動(dòng)恢復(fù)的功能，不再需要自己寫shell腳本來控制。

圖表繪制

• Matplotlib Matplotlib is a comprehensive library for creating static, animated, and interactive visualizations in Python.

• pyecharts Echarts 是一個(gè)由百度開源的數(shù)據(jù)可視化，憑借著良好的交互性，精巧的圖表設(shè)計(jì)，得到了眾多開發(fā)者的認(rèn)可。而 Python 是一門富有表達(dá)力的語言，很適合用于數(shù)據(jù)處理。當(dāng)數(shù)據(jù)分析遇上數(shù)據(jù)可視化時(shí)，pyecharts 誕生了。