绝了！Python定时爬取微博热搜+pyecharts动态图展示 |
您所在的位置：网站首页 › 微博热搜榜下载安装 › 绝了！Python定时爬取微博热搜+pyecharts动态图展示 |
绝了！Python定时爬取微博热搜+pyecharts动态图展示
|
作者：叶庭云 来源：凹凸数据 本文介绍了可以实现定时执行任务的schedule模块，利用它实现定时爬取微博热搜数据，保存到CSV文件里。 讲解pyehcarts绘制基本时间轮播图，最后利用pyehcarts实现数据的动态图可视化。
以下开始干货实战之旅 ↓ schedule模块定时执行任务python中有一个轻量级的定时任务调度的库：schedule。他可以完成每分钟，每小时，每天，周几，特定日期的定时任务。因此十分方便我们执行一些轻量级的定时任务。 # 安装 pip install schedule -i http://pypi.douban.com/simple --trusted-host pypi.douban.com import schedule import time def run(): print("I'm doing something...") schedule.every(10).minutes.do(run) # 每隔十分钟执行一次任务 schedule.every().hour.do(run) # 每隔一小时执行一次任务 schedule.every().day.at("10:30").do(run) # 每天的10:30执行一次任务 schedule.every().monday.do(run) # 每周一的这个时候执行一次任务 schedule.every().wednesday.at("13:15").do(run) # 每周三13:15执行一次任务 while True: schedule.run_pending() # run_pending：运行所有可以运行的任务 爬取微博热搜数据
这样的网页结构可以用 pd.read_html() 方法来爬取数据 # -*- coding: UTF-8 -*- """ @File ：微博热搜榜.py @Author ：叶庭云 @Date ：2020/9/18 15:01 """ import schedule import pandas as pd from datetime import datetime import logging logging.basicConfig(level=logging.INFO, format='%(asctime)s - %(levelname)s: %(message)s') count = 0 def get_content(): global count # 全局变量count print('----------- 正在爬取数据 -------------') url = 'https://s.weibo.com/top/summary?cate=realtimehot&sudaref=s.weibo.com&display=0&retcode=6102' df = pd.read_html(url)[0][1:11][['序号', '关键词']] # 获取热搜前10 time_ = datetime.now().strftime("%Y/%m/%d %H:%M") # 获取当前时间 df['序号'] = df['序号'].apply(int) df['热度'] = df['关键词'].str.split(' ', expand=True)[1] df['关键词'] = df['关键词'].str.split(' ', expand=True)[0] df['时间'] = [time_] * len(df['序号']) if count == 0: df.to_csv('datas.csv', mode='a+', index=False) count += 1 else: df.to_csv('datas.csv', mode='a+', index=False, header=False) # 定时爬虫 schedule.every(1).minutes.do(get_content) while True: schedule.run_pending()微博热搜一般是1分钟更新一次，所以再给代码加个定时器即可。让程序跑一会儿，微博热搜变动数据就保存到了CSV文件里。 pyehcarts动态图可视化 基本时间轮播图 from pyecharts import options as opts from pyecharts.charts import Bar, Timeline from pyecharts.faker import Faker from pyecharts.globals import CurrentConfig, ThemeType CurrentConfig.ONLINE_HOST = 'D:/python/pyecharts-assets-master/assets/' tl = Timeline(init_opts=opts.InitOpts(theme=ThemeType.LIGHT)) for i in range(2015, 2020): bar = ( Bar() .add_xaxis(Faker.choose()) .add_yaxis("商家A", Faker.values()) .add_yaxis("商家B", Faker.values()) .set_global_opts(title_opts=opts.TitleOpts("商店{}年商品销售额".format(i))) ) tl.add(bar, "{}年".format(i)) tl.render("timeline_multi_axis.html")运行效果如下：
运行效果如下：
运行结果如下：
2020-2021中国开发者调查报告重磅来袭，直接扫码或微信搜索「CSDN」公众号，后台回复关键词「开发者」，快速获取完整的报告内容！ =推荐阅读=
|
【本文地址】
公司简介
联系我们
今日新闻 |
点击排行 |
|
推荐新闻 |
图片新闻 |
|
专题文章 |