暑期是學生放假的時候，也是院線神仙打架的時候，各色電影亮相大熒屏，高潮迭起，好不精彩。

今年的暑期《我不是藥神》一騎絕塵，而姜文的《邪不壓正》卻褒貶不一，雖然上映當天豆瓣評分便由8.2跌到7.1，但單日票房卻依舊過億。

作為掌握技術Pythoner，我們除了關注彭于晏的屁股，還應該關注許晴的臀部，啊不是，應該透過現象去看清本質。

那么咱們來通過爬取豆瓣影評獲取數據進行分析。

數據的獲取

對于數據的獲取，本文采用的是Python爬蟲的方式獲取的數據。用到的主要是requests包與正則包re。(注意：該程序并未對驗證碼進行處理。爬取內容少不會遇到驗證碼，但上萬評論可能會跳出驗證碼)

爬取的內容主要是：用戶名，是否看過，評論的星星點數，評論時間，認為有用的人數，評論內容。參看下圖(用戶名已隱藏)：

以下是Python爬蟲的代碼: 

import requests  
import re  
import pandas as pd  
 
url_first='https://movie.douban.com/subject/26366496/comments?start=0'  
 
head={'User-Agent':'Mozilla/5.0 (X11; Linux x86_64) AppleWebKit/537.36 (KHTML, like Gecko) Ubuntu Chromium/59.0.3071.109 Chrome/59.0.3071.109 Safari/537.36'}  
 
cookies={'cookie':'你自己的cookie'} #也就是找到你的賬號對應的cookie  
 
html=requests.get(url_first,headers=head,cookies=cookies) reg=re.compile(r'<a href="(.*?)&amp;.*?class="next">') #下一頁  
 
ren=re.compile(r'<span>(.*?)</span>.*?comment">(.*?)</a>.*?</span>.*?<span.*?class="">(.*?)</a>.*?<span>(.*?)</span>.*?title="(.*?)"></span>.*?title="(.*?)">.*?class=""> (.*?) ',re.S) #評論等內容  
 
while html.status_code==200: url_next='https://movie.douban.com/subject/26366496/comments'+re.findall(reg,html.text)[0]  
zhanlang=re.findall(ren,html.text)  
data=pd.DataFrame(zhanlang)  
data.to_csv('/home/wajuejiprince/文檔/zhanlang/zhanlangpinglun.csv', header=False,index=False,mode='a+') #寫入csv文件,'a+'是追加模式 data=[] zhanlang=[] html=requests.get(url_next,cookies=cookies,headers=head)  

△注意設置你自己的User-Agent，Cookie，CSV保存路徑等

爬取的內容保存成CSV格式的文件，如下所示： 

數據的處理

雖然在爬取的時候已經非常注意爬取內容的結構了，但是還是不可避免的有一些值不是我們想要的，比如有的評論內容會出現在評論者這一項中。比如評論重復，所以還是首先有必要進行一下數據的清洗。

接下來就可以進行數據淺析，比如通過星星數判定評論質量：

plot_ly(my_dt[,.(.N),by=.(五星數)],type = 'bar',x=~五星數,y=~N) 

對評論結果的云圖展示：

♦首先我們應該先進行評論的分詞 

wk <- worker() 
sw<-function(x){wk<=x}  
segwords<-lapply(my_dt[,評論內容],sw)  
my_segwords<-unlist(segwords) #不要列表  
#去除停止詞 
st<-readLines(file.choose())  
#讀取停止詞stopwords<-c(NULL)  
for(i in 1:length(st))  
{  stopwords[i]<-st[i]} 
seg_Words<-filter_segment(my_segwords,stopwords)  #去除中文停止詞 

♦總體評論云圖展示 

words<-table(seg_Words)%>%data.table()setnames(words,"N","pinshu")  
words[pinshu>1000] #去除較低頻數的詞匯（小于1000的）wordcloud2(words[pinshu>1000], size = 2, fontFamily = "黑體",color = "random-light", backgroundColor = "grey") 

由于數據太多，防止卡頓，所以在制作云圖的時候去掉了頻數低于1000的詞匯。

云圖結果如下：

可以看出，排名靠前的熱詞分別是姜文、不錯、好看、彭于晏、劇情、看不懂等，評論確實是五花八門，當然這也是姜文電影的特點吧。

最后送大家一張希臘雕塑般美好的肉體福利

[[237840]]