亚洲综合原千岁中文字幕_国产精品99久久久久久久vr_无码人妻aⅴ一区二区三区浪潮_成人h动漫精品一区二区三

主頁 > 知識庫 > Python爬取你好李煥英豆瓣短評生成詞云的示例代碼

Python爬取你好李煥英豆瓣短評生成詞云的示例代碼

熱門標簽:正安縣地圖標注app 遼寧智能外呼系統需要多少錢 螳螂科技外呼系統怎么用 電銷機器人系統廠家鄭州 地圖地圖標注有嘆號 400電話申請資格 舉辦過冬奧會的城市地圖標注 qt百度地圖標注 阿里電話機器人對話

爬取過程:

你好,李煥英 短評的URL:

https://movie.douban.com/subject/34841067/comments?start=20limit=20status=Psort=new_score

分析要爬取的URL;
34841067:電影ID
start=20:開始頁面
limit=20:每頁評論條數

代碼:

url = 'https://movie.douban.com/subject/%s/comments?start=%slimit=20sort=new_scorestatus=P % (movie_id, (i - 1) * 20)

在谷歌瀏覽器中按F12進入開發者調試模式,查看源代碼,找到短評的代碼位置,查看位于哪個div,哪個標簽下:

可以看到評論在div[id=‘comments']下的div[class=‘comment-item']中的第一個span[class=‘short']中,使用正則表達式提取短評內容,即代碼為:

url = 'https://movie.douban.com/subject/%s/comments?start=%slimit=20sort=new_scorestatus=P' \

     % (movie_id, (i - 1) * 20)

   req = requests.get(url, headers=headers)
   req.encoding = 'utf-8'
   comments = re.findall('span class="short">(.*)/span>', req.text)

背景圖:

生成的詞云:

完整代碼:

import re
from PIL import Image
import requests
import jieba
import matplotlib.pyplot as plt
import numpy as np

from os import path

from wordcloud import WordCloud, STOPWORDS

headers = {
  'User-Agent': 'Mozilla/5.0 (Windows NT 10.0; Win64; x64; rv:64.0) Gecko/20100101 Firefox/64.0'
}

d = path.dirname(__file__)

def spider_comment(movie_id, page):
 """
 爬取評論
 :param movie_id: 電影ID
 :param page: 爬取前N頁
 :return: 評論內容
 """
 comment_list = []
 for i in range(page):
  url = 'https://movie.douban.com/subject/%s/comments?start=%slimit=20sort=new_scorestatus=Ppercent_type=' \

    % (movie_id, (i - 1) * 20)

  req = requests.get(url, headers=headers)
  req.encoding = 'utf-8'
  comment_list = re.findall('span class="short">(.*)/span>', req.text)


  print("當前頁數:%s,總評論數:%s" % (i, len(comment_list)))

 return comment_list

def wordcloud(comment_list):

 wordlist = jieba.lcut(' '.join(comment_list))
 text = ' '.join(wordlist)

 print(text)

 # 調用包PIL中的open方法,讀取圖片文件,通過numpy中的array方法生成數組
 backgroud_Image = np.array(Image.open(path.join(d, "wordcloud.png")))

 wordcloud = WordCloud(
  font_path="simsun.ttc",
  background_color="white",

  mask=backgroud_Image, # 設置背景圖片
  stopwords=STOPWORDS,
  width=2852,
  height=2031,
  margin=2,
  max_words=6000, # 設置最大顯示的字數
  #stopwords={'企業'}, # 設置停用詞,停用詞則不再詞云圖中表示
  max_font_size=250, # 設置字體最大值
  random_state=1, # 設置有多少種隨機生成狀態,即有多少種配色方案
  scale=1) # 設置生成的詞云圖的大小

 # 傳入需畫詞云圖的文本
 wordcloud.generate(text)

 wordcloud.to_image()
 wordcloud.to_file("cloud.png")

 plt.imshow(wordcloud)
 plt.axis("off")
 plt.show()

# 主函數
if __name__ == '__main__':
 movie_id = '34841067'
 page = 11
 comment_list = spider_comment(movie_id, page)
 wordcloud(comment_list)

WordCloud各含義參數如下:

font_path : string #字體路徑,需要展現什么字體就把該字體路徑+后綴名寫上,如:font_path = '黑體.ttf'

width : int (default=400) #輸出的畫布寬度,默認為400像素

height : int (default=200) #輸出的畫布高度,默認為200像素

prefer_horizontal : float (default=0.90) #詞語水平方向排版出現的頻率,默認 0.9 (所以詞語垂直方向排版出現頻率為 0.1 )

mask : nd-array or None (default=None) #如果參數為空,則使用二維遮罩繪制詞云。如果 mask 非空,設置的寬高值將被忽略,遮罩形狀被 mask 取代。除全白(#FFFFFF)的部分將不會繪制,其余部分會用于繪制詞云。如:bg_pic = imread('讀取一張圖片.png'),背景圖片的畫布一定要設置為白色(#FFFFFF),然后顯示的形狀為不是白色的其他顏色。可以用ps工具將自己要顯示的形狀復制到一個純白色的畫布上再保存,就ok了。

scale : float (default=1) #按照比例進行放大畫布,如設置為1.5,則長和寬都是原來畫布的1.5倍

min_font_size : int (default=4) #顯示的最小的字體大小

font_step : int (default=1) #字體步長,如果步長大于1,會加快運算但是可能導致結果出現較大的誤差

max_words : number (default=200) #要顯示的詞的最大個數

stopwords : set of strings or None #設置需要屏蔽的詞,如果為空,則使用內置的STOPWORDS

background_color : color value (default=”black”) #背景顏色,如background_color='white',背景顏色為白色

max_font_size : int or None (default=None) #顯示的最大的字體大小

mode : string (default=”RGB”) #當參數為“RGBA”并且background_color不為空時,背景為透明

relative_scaling : float (default=.5) #詞頻和字體大小的關聯性

color_func : callable, default=None #生成新顏色的函數,如果為空,則使用 self.color_func

regexp : string or None (optional) #使用正則表達式分隔輸入的文本

collocations : bool, default=True #是否包括兩個詞的搭配

colormap : string or matplotlib colormap, default=”viridis” #給每個單詞隨機分配顏色,若指定color_func,則忽略該方法

random_state : int or None #為每個單詞返回一個PIL顏色


fit_words(frequencies) #根據詞頻生成詞云
generate(text) #根據文本生成詞云
generate_from_frequencies(frequencies[, ...]) #根據詞頻生成詞云
generate_from_text(text) #根據文本生成詞云
process_text(text) #將長文本分詞并去除屏蔽詞(此處指英語,中文分詞還是需要自己用別的庫先行實現,使用上面的 fit_words(frequencies) )
recolor([random_state, color_func, colormap]) #對現有輸出重新著色。重新上色會比重新生成整個詞云快很多
to_array() #轉化為 numpy array
to_file(filename) #輸出到文件

到此這篇關于Python爬取你好李煥英豆瓣短評生成詞云的文章就介紹到這了,更多相關Python爬取豆瓣短評內容請搜索腳本之家以前的文章或繼續瀏覽下面的相關文章希望大家以后多多支持腳本之家!

您可能感興趣的文章:
  • 教你如何用python爬取王者榮耀月收入流水線
  • python爬取企查查企業信息之selenium自動模擬登錄企查查
  • python爬取梨視頻生活板塊最熱視頻
  • Python爬取動態網頁中圖片的完整實例
  • python爬取之json、pickle與shelve庫的深入講解
  • python爬取股票最新數據并用excel繪制樹狀圖的示例
  • Python爬取酷狗MP3音頻的步驟
  • python爬取2021貓眼票房字體加密實例
  • 使用Python爬取小姐姐圖片(beautifulsoup法)
  • python爬蟲之教你如何爬取地理數據

標簽:淘寶好評回訪 昭通 合肥 隨州 阜新 信陽 興安盟 濟源

巨人網絡通訊聲明:本文標題《Python爬取你好李煥英豆瓣短評生成詞云的示例代碼》,本文關鍵詞  Python,爬取,你好,李煥英,;如發現本文內容存在版權問題,煩請提供相關信息告之我們,我們將及時溝通與處理。本站內容系統采集于網絡,涉及言論、版權與本站無關。
  • 相關文章
  • 下面列出與本文章《Python爬取你好李煥英豆瓣短評生成詞云的示例代碼》相關的同類信息!
  • 本頁收集關于Python爬取你好李煥英豆瓣短評生成詞云的示例代碼的相關信息資訊供網民參考!
  • 推薦文章
    精品美女| 欧美1卡一卡二卡三新区| 沈樵在线观看福利| 99色播| 国产视频在线免费观看| 成人在免费观看视频国产| 可以在线看黄的网站| 999久久久免费精品国产牛牛| 国产网站麻豆精品视频| 日韩免费在线视频| 天天做人人爱夜夜爽2020 | 国产视频一区二区在线播放| 欧美大片毛片aaa免费看| 四虎影视精品永久免费网站 | 九九干| 99色播| 黄视频网站在线看| 国产91素人搭讪系列天堂| 国产伦久视频免费观看视频| 国产欧美精品午夜在线播放| 毛片成人永久免费视频| 欧美激情一区二区三区在线播放 | 九九干| 免费一级生活片| 深夜做爰性大片中文| 91麻豆精品国产自产在线观看一区| 亚洲 男人 天堂| 国产a视频| 色综合久久天天综合绕观看| 久久精品大片| 天天做人人爱夜夜爽2020 | 日韩综合| 欧美激情中文字幕一区二区| 精品国产一区二区三区久久久狼| 韩国毛片免费大片| 99久久网站| 韩国三级香港三级日本三级| 韩国妈妈的朋友在线播放| 99久久视频| 91麻豆国产级在线| 一级毛片视频在线观看| 免费国产在线观看不卡| 欧美爱爱网| 亚欧乱色一区二区三区| 99色播| 高清一级淫片a级中文字幕| 日韩一级黄色片| 国产成+人+综合+亚洲不卡| 久久久久久久网| 二级片在线观看| 欧美激情中文字幕一区二区| 韩国毛片免费大片| 久久精品成人一区二区三区| 国产亚洲免费观看| 成人高清视频免费观看| 国产精品123| 欧美激情一区二区三区视频 | 你懂的国产精品| 天天做日日干| 欧美a级片免费看| 亚欧乱色一区二区三区| 一 级 黄 中国色 片| 美女免费精品高清毛片在线视 | 91麻豆高清国产在线播放| 国产精品自拍在线| 欧美国产日韩久久久| 欧美a级片免费看| 精品视频在线观看视频免费视频| 黄色短视频网站| 国产伦久视频免费观看视频| 久久精品免视看国产成人2021| 韩国三级视频网站| 国产不卡在线播放| 黄视频网站免费看| 一级女性全黄生活片免费| 精品在线视频播放| 精品美女| 欧美激情一区二区三区在线播放 | 精品毛片视频| 黄视频网站免费| 国产成a人片在线观看视频| 成人免费网站视频ww| 国产麻豆精品免费密入口| 国产一区二区精品久久91| 91麻豆精品国产高清在线| 午夜在线影院| 四虎论坛| 亚洲 男人 天堂| 日韩一级黄色| 九九久久国产精品大片| 国产原创中文字幕| 精品在线观看一区| 青青久久精品| 麻豆系列 在线视频| 青草国产在线| 欧美激情一区二区三区中文字幕| 国产一区二区精品久久| 国产福利免费视频| 久久久久久久网| 日本在线不卡视频| 国产91素人搭讪系列天堂| 欧美α片无限看在线观看免费| 99色视频在线观看| 国产伦精品一区三区视频| 亚州视频一区二区| 精品久久久久久中文| 精品国产一区二区三区精东影业 | 韩国毛片 免费| 精品视频免费看| 国产亚洲男人的天堂在线观看| 91麻豆国产| 亚欧视频在线| 97视频免费在线| 日韩一级黄色| 欧美日本韩国| 韩国三级视频网站| a级毛片免费观看网站| 国产精品1024永久免费视频| 国产伦久视频免费观看 视频| 国产麻豆精品| 午夜激情视频在线观看| 91麻豆爱豆果冻天美星空| 青青久久国产成人免费网站| 久久国产影院| 欧美夜夜骑 青草视频在线观看完整版 久久精品99无色码中文字幕 欧美日韩一区二区在线观看视频 欧美中文字幕在线视频 www.99精品 香蕉视频久久 | 韩国三级香港三级日本三级la| 美女免费精品高清毛片在线视 | 欧美爱爱网| 久草免费在线色站| 四虎影视库国产精品一区| 精品在线观看国产| 日韩中文字幕在线亚洲一区| 免费毛片播放| 久久久久久久免费视频| 美国一区二区三区| 国产一级生活片| 免费一级片在线观看| 欧美国产日韩久久久| 国产麻豆精品| 日韩综合| 日韩中文字幕在线观看视频| 精品视频在线观看一区二区三区| 国产视频久久久久| 久久精品成人一区二区三区| 91麻豆tv| 99久久精品国产高清一区二区| 欧美α片无限看在线观看免费| 日韩在线观看视频网站| 成人高清护士在线播放| 欧美爱色| 精品国产一区二区三区久 | 美国一区二区三区| 亚洲www美色| 国产91视频网| 免费毛片播放| 精品久久久久久免费影院| 久久精品人人做人人爽97| 一级毛片视频播放| 天天做日日干| 日韩av东京社区男人的天堂| 毛片电影网| 精品国产亚洲一区二区三区| 免费毛片播放| 一级女人毛片人一女人| 欧美国产日韩久久久| 国产伦久视频免费观看视频| 99久久精品国产麻豆| 国产麻豆精品免费视频| 日韩中文字幕一区| 成人影院一区二区三区| 国产综合成人观看在线| 亚洲 欧美 91| 精品国产亚洲人成在线| 成人影视在线播放| 午夜久久网| 日本久久久久久久 97久久精品一区二区三区 狠狠色噜噜狠狠狠狠97 日日干综合 五月天婷婷在线观看高清 九色福利视频 | 韩国毛片 免费| 欧美激情在线精品video| 亚洲精品中文字幕久久久久久| 99热精品一区| 日日日夜夜操| 国产国语在线播放视频| 国产一区二区精品| 精品视频免费在线| 午夜在线亚洲| 四虎影视久久| 精品久久久久久中文字幕一区 | 色综合久久久久综合体桃花网| 国产伦理精品| 四虎影视久久久| 在线观看成人网 | 日韩av片免费播放| 国产精品自拍一区| 国产不卡在线看| 青青久久精品| 国产视频久久久| 国产综合成人观看在线| 99热精品在线| 99热热久久| 国产视频久久久|