python爬蟲方面需要學什么模塊？

對于很多20歲左右的小伙伴來說，Python可選的領域更多，人工智能、web開發(fā)、自動化運維測試、數(shù)據(jù)分析等等。python爬蟲方面需要學什么模塊?小編下邊就簡單列舉幾種!

爬蟲方面：

•grab – 爬蟲框架

•scrapy – 網(wǎng)絡爬蟲框架，不支持Python3

•pyspider –爬蟲系統(tǒng)。

•cola – 爬蟲框架

•portia – 可視化爬蟲

Python常用第三方庫總結(jié)(部分)

自動化測試

• SeleniumWebUI自動化測試。同上。

• Pytest The pytest framework makes it easy to write small tests, yet scales to support complex functional testing for applications and libraries. python測試框架。

• UnitTest/PyUnit the standard unit testing framework for Pytho,受到了JUnit啟發(fā)的UnitTest/PyUnit，也是一種標準化的針對單元測試的Python類自動化測試框架。

應用程序守護

• supervisor Supervisor is a client/server system that allows its users to control a number of processes on UNIX-like operating systems. 可以很方便的監(jiān)聽、啟動、停止、重啟一個或多個進程。用Supervisor管理的進程，當一個進程意外被殺死，supervisort監(jiān)聽到進程死后，會自動將它重新拉起，很方便的做到進程自動恢復的功能，不再需要自己寫shell腳本來控制。

圖表繪制

• Matplotlib Matplotlib is a comprehensive library for creating static, animated, and interactive visualizations in Python.

• pyecharts Echarts 是一個由百度開源的數(shù)據(jù)可視化，憑借著良好的交互性，精巧的圖表設計，得到了眾多開發(fā)者的認可。而 Python 是一門富有表達力的語言，很適合用于數(shù)據(jù)處理。當數(shù)據(jù)分析遇上數(shù)據(jù)可視化時，pyecharts 誕生了。