Python 基于豆瓣电影的可视化分析系统_基于python的电影影评分析与词云展示

一、项目介绍

1、系统简述
首先通过网页开发者工具分析豆瓣电影网站，然后使用抓包工具拦截数据，从中找出api接口，接下来使用Python爬虫进行数据的下载。数据下载完后，使用pandas模块处理csv电影数据文件，之后可以选用各种数据分析的方法对数据进行挖掘，包括但不限于关键词提炼、词频统计、相关性探索、电影分类，再通过matplotlib绘制数据统计图如条形图、饼状图，亦或是wordCloud绘制评论词云。
2、数据来源
豆瓣电影官方网站：https://movie.douban.com/
3、系统架构图

4、项目目录结构

5、开发环境及SDK
开发环境：Windows10操作系统，Python3.7.4
开发工具：Pycharm, jupyter notebook，Fiddler
依赖库：pyecharts
matplotlib== 3.1.1
numpy== 1.19.5
pandas== 1.1.5
lxml== 4.4.1
fake_useragent== 0.1.11
requests== 2.22.0
wordcloud== 1.7.0
jieba== 0.42.1
Pillow== 8.2.0

6、项目代码
项目代码比较多，这里就不无脑贴。代码已开源到Gitee上：
https://gitee.com/reganzhx/douban-movie-system ，直接下载运行即可食用。

二、效果展示

1、爬虫运行效果

2、针对某部电影的分析结果
千与千寻千と千尋の神隠し为例：
a. 不同时间影评人数

b. 影评推荐指数

c. 短评内容词云

3、随机多部电影的综合分析结果
调整过后的dashboard.html

这个静态网页是可以动态点击的，查看统计结果非常方便，不过整齐的样式需要自己布置这也是致命缺点，没法动态绑定数据。

三、项目分析

1、豆瓣电影爬虫的分析
豆瓣电影官网虽然没有令人窒息的反爬操作，但是接口较为隐蔽，需要通过Fiddler抓包工具辅助，才能找到电影数据接口。编写爬虫时使用xpath对网页数据进行提取，使用正则表达式过滤冗余文本数据并对文本进行清洗。爬虫运行过程中要控制爬取速度，否则在运行时不会出现爬取问题，但经过一段时间后豆瓣官网检测到本台主机IP的不正常请求，就会对IP进行封锁，阻止下一次大规模爬取。通过登录豆瓣账号获得Cookie可以减缓这一点，并且可以访问到更多的数据量，不过并不能保证不会被封号。最后将爬取数据保存为csv文件，方便后期使用pandas等做数据处理。
2、针对某部电影的数据分析
从不同时期影评人数、影评推荐指数、短评内容三个角度入手分析，不同时期的影评人数可以间接反映电影的热度，因为大多数人都是在电影刚上映观影完后写的影评；影评推荐指数可以直接看出观众对电影的喜好程度，对最热门的评论的汇总更能体现这部电影在大众中的影响力，而不是单靠官方给出的豆瓣评分；短评词云可以体现电影的许多要素，比如演员、题材、主要情节剧情、观众评价，可以让影迷马上把握该电影脉搏，从而决定这部电影是否值得一看。
3、随机多部电影的综合数据分析
如果说针对某部电影的分析是让影迷决定是否看该部电影，那么随机多部电影的综合分析结果就是指引影迷去观看哪部电影。使用随机序号生成器在热门电影列表中任意选择电影，然后可视化出电影评分排行榜、电影Top20高分排行榜，电影上映时间线和电影类型分布，多方位直观俯瞰热门电影行情。对于大众来说可以得知哪些电影近期更受欢迎，哪些电影评分高，电影在哪个时间段上映，从而发现自己喜欢的电影和属于自己的电影偏好。对于电影制作方，可以针对电影类型分布，保持哪些电影类型的产出，加大哪类电影的制作投入以顺应大众口味，甚至可以决策在什么时候上映哪些类型的电影能获得最大收益。

麻雀虽小五脏俱全，这个项目还有很多改进可扩展的地方，比如设计一个前端网页进行展示，提供更多的爬虫选项定制爬取的电影数据，制作动态数据展示等。这期间我更体会到开发离不开官方文档的事实，有很多问题在官方文档里都可以得到解决。

Pyecharts官方文档
 matplotlib绘制直方图、条形图和饼图
 用pyecharts生成仪表盘——将多张图片汇总到一个页面，大屏可视化数据展示
 豆瓣电影页面爬虫2020版

Python ;MySQL1.1 研究背景近些年，随着中国经济发展，人民的生活质量逐渐提高，对网络的依赖性越来越高，通过网络处理的事务越来越多。随着 豆瓣电影 数据分析 可视化 管理的常态化，如果依然采用传统的管理方式，将会为工作人员带来庞大的工作量，这将是一个巨大考验，需要投入大量人力开展对 豆瓣电影 数据分析 可视化 信息等相关工作进行管理，单一且反复的操作容易出错且不易被察觉，工作人员对此风险并不能完全归避。平台部分主要是hadoop分布式系统，基于该系统融合了组件Spark，Hbase，Hive，Sqoop，Mahout等。继而进行相关的 数据分析 该项目主要分为以下几部分: 1:数据采集主要是基于 豆瓣电影 的数据，进行分析，所以首先要爬取相关的电影数据，对应的源代码在DouBan_Spider目录下，主要是采用 Python + BeautifulSoup + urllib进行数据采集 2:E... 一、项目背景电影逐渐成为人们生活的不可或缺的一部分，而了解一部电影的可以通过电影评分与大众推荐度，但以上的方式都太过于片面，了解一部电影的方法是通过已经观看完电影的人群的反馈，虽然电影评分和大众推荐度在一定程度上是观影人群的反馈，但是并没有电影评论的反馈真实。评论对影视剧的好坏与特色可以更加充分的体现。所以了解一部影视作品的最好方式是通过评论。出于对评论的大量且参差不齐的考虑，通过出现的高频词来分析，是通过评论了解影视剧较为便捷的方式。将高频词整合，通过词云图是极好的方式。所以项目基于以上背景决定基于网络本文主要介绍了影视系统的爬虫与分析。影视是人们娱乐、放松心情的重要方式之一，因此对影视的分析具有重要的现实意义。通过采用 Python 编程语言，使用Django框架搭建影视系统，并使用相关技术实现对豆瓣网站的爬取、数据存储和 可视化 分析，可以更好地了解影视市场的状况和人们对影视的喜好，为影视制作和推广提供参考。在技术实现方面，我们采用了Django框架和相关技术实现影视系统的爬虫与分析。 2.独立完成 可视化 项目，熟悉内容数据及业务流程； 3.完成豆瓣影评自主数据集处理，并形成 可视化 面板及 数据分析 结论。虽然电影的数量在逐年递增，但是质量却是下滑，可以看到电影行业重量而不重质的现状；也反映了人们对于电影的要求不断提高。中国大陆电影质量良莠不齐，高分电影不少，但低分电影占多数，在提升电影质量上还有很长的路要走。本次实验通过使用爬虫获取2016年-2023年的电影数据，并 可视化 分析的得出以下结论：1.2016年-2019年电影数量逐渐增大，2019年达到最大值，从2020年开始迅速逐年下降。2.发布电影数量最多的国家是中国和美国。3. 电影类型最多的剧情片。4. 电影片长呈正态分布，且片长和评分呈正相关关系。 python GUI ItemCF算法界面 豆瓣电影 推荐系统完整代码详细教程毕业设计设计出图形用户界面（GUI）进行交互，封装成电影推荐软件，针对数据集中的用户推荐相关电影。主要分为三大模块： 1. 爬虫模块：request 库、json 库、MySQL 2. 推荐系统模块：基于物品的协同过滤算法（ItemCF 算法） 3. GUI 模块：PyQt5 运行 GUI 文件夹中的 main.py 文件即可。 ItemCF 算法不利用物品的内容属性计算物品之间的相似度，而是通过分析用户的行为记录计算物品之间的相似度。ItemCF 算法认为，物品 A 和物品 B 具有很大的相似度是因为喜欢物品 A 的用户大都也喜欢物品 B。 ItemCF 算法步骤： • 计算物品之间的相似度。 • 根据物品的相似度和用户的历史行为给用户生成推荐列表。简单来说，ItemCF 算法给用户推荐那些和他们之前喜欢的物品相似的物品。举个例子：基于 Python 的电影 数据可视化 分析系统 .zip 电影 可视化 系统（ python +flask+mysql+pyecharts+layuiAdmin）基于 Python 的电影 数据可视化 分析系统 .zip 电影 可视化 系统（ python +flask+mysql+pyecharts+layuiAdmin）基于 Python 的电影 数据可视化 分析系统 .zip 电影 可视化 系统（ python +flask+mysql+pyecharts+layuiAdmin）基于 Python 的电影 数据可视化 分析系统 .zip 电影 可视化 系统（ python +flask+mysql+pyecharts+layuiAdmin）基于 Python 的电影 数据可视化 分析系统 .zip 电影 可视化 系统（ python +flask+mysql+pyecharts+layuiAdmin）基于 Python 的电影 数据可视化 分析系统 .zip 电影 可视化 系统（ python +flask+mysql+pyecharts+layu

一、项目介绍

二、效果展示

三、 项目分析

三、项目分析