网站多页数据抓取

xx20142014

Yalishanda30 发表于 2023-8-2 14:07
请问大佬用的哪个http组件？我这里页码改变了还是获取第一页的。。。。

1. Set xmlhttp = CreateObject("msxml2.xmlhttp")
   
2.     url = "http://query.bjeea.cn/queryService/rest/plan/115"
   
3.     '参数变量储存pageFlag=true&token=1690908247946&pageSize=50&pageNo=2
   
4.      postData = "pageFlag=true&token=" & tokenvalue & "&pageSize=" & Pag & "&pageNo=" & i
   
5.     xmlhttp.Open "POST", url, False
   
6.     xmlhttp.setRequestHeader "Content-Type", "application/x-www-form-urlencoded"
   
7.     xmlhttp.send postData

复制代码

你再试试

xx20142014

sxl1973 发表于 2023-8-2 15:13
大师，能给个附件吗？谢谢，我还是整不了 谢谢

这个爬取很简单的，你先自己做哪一步卡壳留言帮你解决

fengbao008

xx20142014 发表于 2023-8-2 09:57
很简单的，简单说下原理及实现：

1.通过网抓获取token值

大哥，发下代码，我应该能看懂。

zxsea_7426

网页通过改变页码能提取信息，代码中提取的永远是第一页。

第一页和第二次翻页有改变，后面不变，是不是需要在第二翻页时需要提供这个??咱也不懂。
第一页：

第二页：

第三页:

wanao2008

都是来学习的，为什么就不能像二楼一样大大方方的呢？

我在二楼的代码的基础上改的，能用：

抓图如下：


希望能够帮助到你，如果能用，请给红花：
抓取学校信息.rar (38.94 KB, 下载次数: 48)

2023-8-2 18:31 上传

点击文件名下载附件

xx20142014

zxsea_7426 发表于 2023-8-2 18:17
网页通过改变页码能提取信息，代码中提取的永远是第一页。

第一页和第二次翻页有改变，后面不变，是不 ...

第一次get网站返回的数据里面有token pagesize pageno 数据
第二次用post参数循环遍历页数，每次post返回的数据里面包含了当前访问页的所有数据
提取数据数组保存
依次post循环所有页码（for 1 to 12）数据，最后整合放置指定区域就可以了哇
pageno=1   1就是访问第一页数据 2就是第二页数据，searchGotoPage(12)>尾页 最大12页
<div id="pageHideDiv" style="display:none" url="/queryService/rest/plan/115" token="1690972294275" pageSize="50" pageNo="1"></div>
<a href="javascript:void(0)" onclick="searchGotoPage(12)">尾页</a>

sxl1973

xx20142014 发表于 2023-8-2 16:56
你再试试

谢谢大神！你们的知识和辛苦，帮助了我们这些需要而能力又不高的人

xx20142014

sxl1973 发表于 2023-8-2 19:44
谢谢大神！你们的知识和辛苦，帮助了我们这些需要而能力又不高的人

我建议还是多学学，以后有困难了自己搞得来，而不是一有问题就问别人，这样对自己不好，能接触vba那说明对 编程还是感兴趣的，而不是玩玩而已，希望能学到东西

zxsea_7426

wanao2008 发表于 2023-8-2 18:31
都是来学习的，为什么就不能像二楼一样大大方方的呢？

我在二楼的代码的基础上改的，能用：

?连接前后
学到了。

sxl1973

wanao2008 发表于 2023-8-2 18:31
都是来学习的，为什么就不能像二楼一样大大方方的呢？

我在二楼的代码的基础上改的，能用：

大神 要是选专业院校 全部专业 如何改代码？谢谢