推特Twitter数据采集(内容,粉丝,关键字等) | 您所在的位置:网站首页 › 如何看粉丝数量 › 推特Twitter数据采集(内容,粉丝,关键字等) |
(有需求可以私信我,24小时在线蟹蟹) 最近因为工作需要爬虫了一段时间推特。 Twitter网站是用AJAX异步加载的,用request请求到json文件的数据url也是拒绝的 所以只能慢慢模拟浏览器下滑慢慢加载json文件咯(当然我没有用类似于selenium一类的库,效率太低) 举个例子: 我们需要爬trump的1000条推特,输入以下命令就行了 GetOldTweets3 --usename "realDonaldTrump" --toptweets --maxtweets 100 爬虫结果如下(因为用windows系统需要fanqiang,所以直接在linux下使用了) 用python代码读一下csv文档(穷苦民众只能买没有图形界面的服务器): import csv import pandas as pd df=pd.read_csv("/opt/test/output_got.csv") print(df)
再比如,我们想检索在推特上搜索 “changsha”的新闻 GetOldTweets3 --qsearch " changsha " --maxtweets 10 没什么问题,如果在windows系统下不能使用可以私信我或者应该是被墙住了吧。 优秀的程序员我觉得就是要一键和兼容 ,具体怎么使用看看我写的readme就行了 具体github地址如下: Solin1998/SearchTTgithub.com https://github.com/Solin1998/SearchTT
希望各位有需要的老哥可以fork我一下,谢谢!!!!对我蛮重要的,感恩!
当然,情感分析,事件抽取一类的事情我也做不来,只是做了一部分原始数据的来源爬虫, 有时间应该会更新看有没有办法绕过twitter开发者账号比如爬取关注的人,多级关注等 有个老哥私信我好几次了,你先用这个代码爬一下关注者和评论信息吧,json格式的 import ssl import json import urllib.request from bs4 import BeautifulSoup from urllib.request import urlopen ssl._create_default_https_context = ssl._create_unverified_context import tweepy #这个账号自己去申请,不好意思哦 consumer_key = 'lr7GQ6kTaSBkjQV' consumer_secret = 'oxrXDT8TxsYRqIfk0k7vsX6zHyHSZ7fwZR' access_token = '3388759955-FOU7cDJApQLDRjIbvICPCJtT5' access_token_secret = 'qEvay5uQUxt0sTlHclSeI1KrblHJR8X' auth = tweepy.OAuthHandler (consumer_key, consumer_secret) auth.set_access_token (access_token, access_token_secret) api = tweepy.API (auth) api = tweepy.API(auth, wait_on_rate_limit=True) results=api.friends(id="markturnery2k") #id就是你要查的user_id print(results) 最后,本人还整理了一推特粉丝排名,如中文用户排名,热点事件参与等等.. 有需求可以私信本人邮箱:[email protected] chat:374572744 |
CopyRight 2018-2019 实验室设备网 版权所有 |