作者：徐麟，某互联网公司数据分析师，个人公众号数据森麟
前言：随着电影行业的蓬勃发展，越来越多的电影出现在了观众的视野中，丰富了大家的生活，好的电影也能让大家在放松自我的同时收获一些对人生的思考。
然而，也有那么一些“烂片”，让大家在看过之后“添堵”，后悔为这种“烂片”贡献票房，白白被收割了“智商税”，今天，我们就用Python来纪念那些被烂片收割走的智商税。

数据获取
这次的数据源也是大家的老朋友，被亲切地称之为“马蜂窝”的豆瓣网，现在有很多平台会对电影进行打分，包括了猫眼和淘票票，但是相较之下，豆瓣的评分更加全面，一些冷门的“烂片”只能在豆瓣中被大家挖掘出来。
诚然，豆瓣的评分会存在一些“文艺滤镜”，对文艺片比较宽容，对此我们认为，“豆瓣评分高的不一定是真的高，但是被豆瓣打了低分的是真的低”。此次选择的影片范围是2010年至今的国产影片：
最终获取到了3000多部电影的数据，代码如下：
## 爬取剧集列表，并输出成为excel表格
driver = webdriver.Chrome()
driver.maximize_window()
driver.close()
driver.switch_to_window(driver.window_handles[0])
url = 'https://movie.douban.com/tag/#/?sort=U&range=2,10&tags=%E7%94%B5%E5%BD%B1,2010%E5%B9%B4%E4%BB%A3,%E4%B8%AD%E5%9B%BD%E5%A4%A7%E9%99%86'
js='window.open("'+url+'")'
driver.execute_script(js)
driver.close()
driver.switch_to_window(driver.window_handles[0])
while True:
try:
js="var q=document.documentElement.scrollTop=10000000"
driver.execute_script(js)
driver.find_element_by_class_name('more').click()
time.sleep(2)
except:
break
name = [k.text for k in driver.find_elements_by_class_name('title')]
score = [k.text for k in driver.find_elements_by_class_name('rate')]
url = [k.get_attribute('href') for k in driver.find_elements_by_class_name('item')]
pd.DataFrame({'name':name,'score':score,'url':url}).to_excel('电影名称.xlsx')

整体数据
首先要做的事情就是看一下豆瓣对国产电影的整体打分情况，以此确定之后对“烂片”的划分依据，首先看一下整体评分的柱形图：

搞快点