微博热搜榜、热点、帖子、评论爬虫

提示：主要提供思路和内容参考，不提供完整资料；文章内容有许多瑕疵的地方（由于内容量太大），请理解。如果遇到不了解的地方，可以联系小编，尽个人所能解答。文章内容有错误的地方，希望第一时间能指点出来，小编可以及时完善。

作者：Irain QQ：2573396010 微信：18802080892

Ajax内容了解链接

pip install scrapy -i https://pypi.douban.com/simple/ pip install selenium -i https://pypi.douban.com/simple/ pip install pymysql -i https://pypi.douban.com/simple/ pip install requests -i https://pypi.douban.com/simple/ pip install lxml -i https://pypi.douban.com/simple/

下载webdriver链接

Mysql 5.5.36下载 Mysql-Front下载 数据库搭建链接

创建Scrapy爬虫 在DOC窗口创建scrapy项目和爬虫 设置配置 scrapy爬虫项目设置settings.py参数 代理IP、user-agent 中间件、请求头代理、IP代理

分析微博网页（热搜榜、热点、热点帖子、帖子互动评论）

热搜榜榜单的热点数据都是通过Ajax动态加载的。浏览器访问热搜榜网页，所有热点全部加载出来，不需要进行下一步操作。访问热搜榜网页不需要登陆微博。在开发者调试工具（在浏览器中按下F12）中进过多次访问、分析，热搜榜Ajax的url是不变的。这里用get访问方式，直接获取热搜榜Ajax内容。

热搜榜链接

详细分析Ajax内容：把Ajax内容在json.cn网页分析，发现热搜榜热点在json中存储的规律。使用json加载获取的Ajax中的热点内容（主题、链接、热度）。 http://json.cn/

与热搜榜网页分析方式和内容很像。热点网页的帖子都是通过Ajax动态加载的。浏览器访问热点网页，加载部分帖子， 通过滑动滚动条置底端，更新动态Ajax内容。也是不需要登陆微博。在开发者调试工具（在浏览器中按下F12）中进过多次访问、分析，发现热点帖子Ajax的url与热点URL相关联，可以相互转换。每个Ajax 的URL以页数page区别开来。访问方式仍然是get，循环获取热点帖子的Ajax内容，结束标志是没有帖子。没有反爬虫，容易爬取。

修改热点链接，获取热点帖子的Ajax的URL。在python IDLE下，测试把热点URL转换为Ajax的URL。

把Ajax内容在json.cn网页分析，发现热搜榜热点在json中存储的规律。 http://json.cn/

不是所有的热点都有导语，社会事件一般才有导语。

分别在cards和card_group下的帖子

在DOS使用Scrapy Shell命令，获得热点帖子的Ajax，提取某个帖子的内容。

用get获取热点帖子Ajax的代码。使用json加载Ajax中的热点帖子内容，提取帖子内容、作者ID等信息。 从热点帖子Ajax中提取热点页面帖子的相关代码

从热点帖子Ajax中获取导语的内容和链接。使用get方式，访问导语链接，进入导语页面，获取相关信息（分类、阅读、讨论、原创次数）。在热搜榜热点数据表更新热点的导语等信息。不是所有的热点都有导语，社会事件一般才有导语页面。

与热点帖子网页分析方式和内容很像。帖子正文的评论都是通过Ajax动态加载的。在开发者调试工具（在浏览器中按下F12）中进过多次访问、分析，帖子正文页面的url只跟作者的ID有关，作者ID在爬取热点帖子（第二步骤）中获得。 帖子链接：https://m.weibo.cn/detail + 帖子作者ID

https://m.weibo.cn/detail/4513513248445166

评论分成两类：互动评论和非互动评论。如果是非互动评论，则直接提取，全部存入到一个字符串中。 Ajax中评论者的ID，内容，互动评论次数等。

访问Ajax需要登录身份，所以，用模拟浏览器访问Ajax，不在帖子正文页面中爬取评论，更加方便，不用下拉滚动条。而且，这样也容易通过互动评论次数，分辨出评论类型。

https://m.weibo.cn/detail/4513513248445166?cid=4513515199698214 帖子链接：https://m.weibo.cn/detail + 帖子作者ID + cid= + 首次互动评论者ID。在上一步（热点帖子页面的Ajax中获取了所有互动评论的首发者ID）中，把帖子正文页的URL与互动评论的首发者ID连接起来，得到互动评论页面的URL。 进入该页面后，互动评论的Ajax每次最多有20条评论。模拟浏览器下拉滚动条的次数 = 所有互动评论次数/20。页面加载所有互动评论后，获得网页代码，抽取互动评论。 https://m.weibo.cn/detail/4513130259258563?cid=4513131202918552

观看评论，都要登陆微博。所以，考虑使用Selenium模拟浏览器爬取评论。总是用同一个账号访问微博服务器，很容易被封号。可以去第三平台（百度、知乎搜索）购买微博小号，价格不贵。有2元以内，一个账号。 微博登录链接：https://passport.weibo.cn/signin/login

最简单的验证方式是点击验证按钮，即可完成验证。 登录代码：输入账号、密码，点击确认和验证。

高难度的验证方式：只能手动操作。点击验证按钮后，可能还有恶心的验证操作，如下面图。 拉条验证可能可以解决：通过图像识别，识别出凹槽的位置，然后模拟浏览器操控鼠标拖拉滚动条，完成验证。下面的字体验证恶心，肉眼很难识别。用机器识别，需要费多大的代价。

退出账号的正常操作：进入微博个人设置页面，点击退出账号。用模拟浏览器直接访问退出账号的url，即退出当前账号。 https://m.weibo.cn/home/logout

四张数据包、用户账号表、热搜榜表、热点帖子表、帖子评论表。思维图大致解释清楚每张数据表的内容。

https://www.cnblogs.com/bk9527/p/10504883.html https://blog.csdn.net/ayouleyang/article/details/104306270 https://blog.csdn.net/Eastmount/article/details/104995419

流程图绘画不佳（没有清楚、完整地表达出来）：流程图链接

总结：项目的出发点很重要，除了锻炼自己，还有随时以高精炼地了解社会热点；为以后词云、情感分析、主题分类的学习提供了充足、优质的来源；在更好方面，做成运营（爬虫模块负责采集优质数据，数据处理模块（词云、情感分析、主题分类、数据分析等）、宣传模块（公众号、小程序、Web、邮箱等渠道））。在这三个模块有序合作，每天自动化、不断推送当日社会情况。 缺陷：前期完成了重要的分析与设计，后期编写代码时，时不时地适当地构思和修改设计框架，加大了难度；爬虫的验证模块没有做到完全自动化，这个难度较大；整体爬取效率低，耗时间；需要强化爬虫伪装性。 建议：（强烈）把大部分时间放在分析需求与设计思路方面，这方面做得越好，代码编写过程就越轻松。如果在分析与设计中，出现了大错误，造成的结果很严重。大面积修改以前的代码是很难避免的；重新分析和设计；重新编写代码。 期望：完善IP代理池（爬取免费IP代理网站）、User-Agent代理池（考虑使用第三方库）、强化爬虫伪装性、爬取效率、完全自动化爬虫、尽量使用Scrapy架构优化。

发布：2020年6月9日