• 環(huán)境： Python3 + windows。
• 開發(fā)工具：Anaconda + Jupyter / VS Code。
• 學習效果：

1.認識爬蟲 / Robots協(xié)議

2.了解瀏覽器開發(fā)者工具

3.動態(tài)加載頁面的處理

4.手機客戶端頁面的數(shù)據(jù)采集

Robots.txt 協(xié)議

Robots協(xié)議，也稱為爬蟲協(xié)議

網(wǎng)站通過Robots協(xié)議告訴搜索引擎哪些頁面可以抓取，哪些頁面不能抓取。Robots是一個協(xié)議，而不是一個命令。Robots.txt文件是一個文本文件，是放置在網(wǎng)站根目錄下，使用任何一個常見的文本編輯器，就可以創(chuàng)建和編輯它。Robots.txt是搜索引擎中訪問網(wǎng)站的時候要查看的第一個文件，其主要的作用就是告訴蜘蛛程序在服務(wù)器上什么文件是可以被查看的。Robots協(xié)議是國際互聯(lián)網(wǎng)界通行的道德規(guī)范。約定俗成。

Python代碼

• 導入模塊

• 反爬

Python發(fā)展方向

數(shù)據(jù)分析/數(shù)據(jù)挖掘

關(guān)聯(lián)分析【啤酒與尿布】,聚類分 ,判別分析 ,隨機森林 .

人工智能

一種能以人類智能相似的方式做出反應(yīng)的智能機器，該領(lǐng)域的研究包括機器人、語言識別、圖像識別、自然語言處理等。例如AlphaGo , AlphaGo Zero.

Python運維

不會開發(fā)的運維終將被淘汰！！！

WEB開發(fā)

開發(fā)網(wǎng)站，例如豆瓣網(wǎng)。側(cè)重于實戰(zhàn)！！！

Python爬蟲

采集網(wǎng)絡(luò)數(shù)據(jù)，為數(shù)據(jù)分析或大數(shù)據(jù)等提供支持，大型的比如Google，百度等。側(cè)重于實戰(zhàn)！！！

以上就是實現(xiàn)Python爬取門戶論壇評論過程的詳細內(nèi)容，更多關(guān)于Python爬取門戶論壇評論的資料請關(guān)注腳本之家其它相關(guān)文章！