用Python抓取微博评论

【Part1——理论篇】

试想一个问题,如果我们要抓取某个微博大V微博的评论数据,应该怎么实现呢?最简单的做法就是找到微博评论数据接口,然后通过改变参数来获取最新数据并保存。首先从微博api寻找抓取评论的接口,如下图所示。

但是很不幸,该接口频率受限,抓不了几次就被禁了,还没有开始起飞,就凉凉了。

接下来小编又选择微博的移动端网站,先登录,然后找到我们想要抓取评论的微博,打开浏览器自带流量分析工具,一直下拉评论,找到评论数据接口,如下图所示。

之后点击“参数”选项卡,可以看到参数为下图所示的内容:

可以看到总共有4个参数,其中第1、2个参数为该条微博的id,就像人的身份证号一样,这个相当于该条微博的“身份证号”,max_id是变换页码的参数,每次都要变化,下次的max_id参数值在本次请求的返回数据中。

【Part2——实战篇】

有了上文的基础之后,下面我们开始撸代码,使用Python进行实现。

1、首先区分url,第一次不需要max_id,第二次需要用第一次返回的max_id。

2、请求的时候需要带上cookie数据,微博cookie的有效期比较长,足够抓一条微博的评论数据了,cookie数据可以从浏览器分析工具中找到。

3、然后将返回数据转换成json格式,取出评论内容、评论者昵称和评论时间等数据,输出结果如下图所示。

4、为了保存评论内容,我们要将评论中的表情去掉,使用正则表达式进行处理,如下图所示。

5、之后接着把内容保存到txt文件中,使用简单的open函数进行实现,如下图所示。

6、重点来了,通过此接口最多只能返回16页的数据(每页20条),网上也有说返回50页的,但是接口不同、返回的数据条数也不同,所以我加了个for循环,一步到位,遍历还是很给力的,如下图所示。

7、这里把函数命名为job。为了能够一直取出最新的数据,我们可以用schedule给程序加个定时功能,每隔10分钟或者半个小时抓1次,如下图所示。

8、对获取到的数据,做去重处理,如下图所示。如果评论已经在里边的话,就直接pass掉,如果没有的话,继续追加即可。

这项工作到此就基本完成了。

(0)

相关推荐

  • 自动抓取163新闻的Python爬虫源码_Python基础

    Python爬虫的学习,自动抓取163新闻的Python爬虫源码,这是一个用Python语言编写的,自动抓取网易新闻的python爬虫实现方法一文. 抓取思路 01 Python爬虫的抓取思路是:(1 ...

  • 微商相册怎么抓取淘宝、阿里、天猫、微博的图片

    微商相册是一款非常强大的工具,他能很方面的把图片抓取,然后上传到自己的朋友圈,下面我们来介绍一下这款工具怎么使用. 操作方法 01 1,下载好微信和微商相册,打开微商相册 02 打开微商相册之后,点击 ...

  • 微信中怎么把抓取的图片转发到自己的朋友圈动态中

    今天,小编给大家分享微信中把抓取的图片转发到自己的朋友圈动态中的方法,希望对大家有所帮助.具体如下:1. 首先,请大家打开手机,然后来到如图所示的主界面,接着找到有关的功能位置并进入.2. 第二步,如 ...

  • 一键抓取网站图片(在线网页图片提取)

    爬取网页图片,怎么爬取网页图片,大家一看到爬取应该就想到python.但是为了爬取一些数据,花上几个月的时间去学习python编程技术,时间也浪费了还不一定能爬取成功.今天给大家分享一款免费的免费爬取 ...

  • 如何使用WPS2012文字工具抓取网页素材和素材库

    上网冲浪看到精彩文章想保存下来怎么办?选中、复制、运行WORD,粘贴再整理格式?太??铝恕S?PS Office 2012文字工具,我们可以很轻松地将网页内容保存到WPS的在线素材中,一键操作,非常方 ...

  • 如何在固定区域快速抓图将固定区域内的图片抓取下来

    我们经常可以看到软件或网页的固定区域内动态地显示了一组图片,可是软件或网页不提供图片保存功能,如何快速将这些图片抓取下来呢?下面系统之家就为大家介绍一下如何在固定区域快速抓图。 我们常见到在网页的某个 ...

  • Linux抓取批量下载地址

    视频网站在线播放列表如下图所示: 查看源代码: <div class="fj1"><span>第1集</span><a href="/eschool/vide ...

  • RealPlayer的抓取速度提高的方法

    最近有网友询问如果有大量CD需要RealOne进行转换时候比较慢,能否可以加快转换速度。这里我就回答一下,你可以通过设置快速编码来加快CD的复制进程。那如何提高RealPlayer的抓取速度呢: 方法 ...

  • 微博评论支持插入图片了

    一直传言微博将加入图片评论功能,这次传言终于成真,不过看起来,大家应该还没发现微博评论已经支持插入图片了,用图片来评论的功能在场景上容易让人联想到贴吧里贴图盖楼的用户行为,假如一个热点事件,一个有主题 ...