Ajax加载页面采集

2024-11-27 10:19:19

相信很多朋友在采集的时候碰到过一些网页是需要不停下拉才会加载新的数据，在设置好采集规则，进行采集时总是少采或者采不到数据。像这种类型的网站，通常都是运用了Ajax网页加载技术，这是网站为了防止采集进行的设置，为了应对这一类网站Ajax加载的网页，我们可以通过下面的操作来避免数据少采或者采集不到的情况：

操作方法

01

我们通过新浪微博的页面来进行演示在下图中可以看到当我们把微博的页面下拉至底部的时候就会出现正在加载中的字样，随着我们的下拉，页面会有新的数据加载出来。
02

在八爪鱼创建好新的采集任务后，我们打开微博页面，建立一个抓取微博信息的循环列表，在图中的红色方框中我们可以看到建立的列表中只有未下拉页面时所显示的微博
03

当我们进行采集的时候运行这个规则进行采集的时候采集到的只有页面中显示的14条信息
04

要解决这个情况，我们需要回到我们的规则编辑界面，点击流程编辑器中的打开网页步骤，选择右侧的高级选项，勾选页面加载完成向下滚动，设置好滚动方式：滚动到底部、滚动次数和每次滚动的间隔（滚动次数和间隔需要根据不同的网页和网络的速度进行设置）如下图所示：
05

这里是我根据自己的情况进行的设置，完成后点击保存，进行采集
06

进过设置后，这一次我们就可以将这一页微博的信息都完成的采集了下来
07

今后大家遇到这类Ajax下拉加载的网页就可以参考这个示例的方法进行采集规则的设置

赞 (0)

win10系统的microsoft store打不开弹出无法加载页面如何解决

今天给大家介绍一下win10系统的microsoft store打不开弹出无法加载页面的具体解决方法.1. 打开我们的电脑之后,在桌面找到"我的电脑"双击打开,然后在我的电脑页面, ...
王者荣耀加载页面怎么看段位

在游戏的开局加载页面中,我们可以通过查看队友的段位边框来看出队友的排位段位级别,以下给出了查看的方法,希望对各位玩家有所帮助. 操作方法 01 在游戏内,不管是参加匹配模式.娱乐模式或者排位模式,在开 ...
windows10应用商店无法加载页面（win10应用商店打不开无法加载页面）

Win11应用商店无法加载页面怎么解决?1.首先右击左下角的微软徽标,选择设置.2.接着在设置中搜索Internet 选项5.最后单击选项中的高级选项卡,勾选"使用TLS1.1和1.2&qu ...
如何解决电脑中的微软商城无法加载页面的问题

在使用win10系统电脑的时候,如果电脑中的微软商店无法加载的话,应如何处理呢?接下来就由小编来告诉大家.具体如下:1. 第一步,打开电脑后,通过快捷键win+R,调出运行窗口.2. 第二步,在运行窗 ...
windows10应用商店无法加载页面（win10无法加载页面）

很多用户都升级了Win11系统,升级了系统就想要下载一些新的软件来丰富自己的系统.但是升级了Win11系统之后就无法加载应用商店的界面了,打不开微软的应用商店该怎么办呢?小编给大家带来了一个解决办法, ...
qq群文件正在加载页面

出现此种情况有三个原因:第一QQ上传的文件已破损,即被官方删除,第二上传过程中网络断开连接导致上传失败,第三接收方网络较慢,无法缓冲. 解决方法: 首先:建议取消登录QQ,重新登录再下载试试! 方法二 ...
microsoft store无法加载页面怎么办

Microsoft Store是在Windows旗下商城.由Windows Store.Xbox Store整合更名而来,是微软的应用商店.当我们打不开Microsoft时怎么办呢? 操作方法 01 ...
win10的应用商店打不开怎么办（win10应用商店打不开无法加载页面）

可能有一些用户升级Win10之后遇到了应用商店.应用打不开或闪退的问题,此时可尝试通过下面的一些方法来解决.1.点击任务栏的搜索(Cortana小娜)图标,输入Powershell,在搜索结果中右键单 ...
页面加载功能设计总结

去年我写过一篇文章返回功能应该怎么设计,今年反其道而行,来聊聊产品中的"前进"功能.关于"前进",我们很难给出一个准确的定义.狭义上的"前进" ...