ExcelHome技术论坛

 找回密码
 免费注册

QQ登录

只需一步,快速开始

快捷登录

搜索
EH技术汇-专业的职场技能充电站 妙哉!函数段子手趣味讲函数 Excel服务器-会Excel,做管理系统 效率神器,一键搞定繁琐工作
HR薪酬管理数字化实战 Excel 2021函数公式学习大典 Excel数据透视表实战秘技 打造核心竞争力的职场宝典
让更多数据处理,一键完成 数据工作者的案头书 免费直播课集锦 ExcelHome出品 - VBA代码宝免费下载
用ChatGPT与VBA一键搞定Excel WPS表格从入门到精通 Excel VBA经典代码实践指南
查看: 534|回复: 4

关于网抓数据不一样的的问题求教;

[复制链接]

TA的精华主题

TA的得分主题

发表于 2022-9-26 20:01 | 显示全部楼层 |阅读模式
各位老师好,
想练习网抓数据,但是使用如下代码抓出的和在网页查看的HTM数据不一样呢,求指教
  1. Sub main1()
  2.     Dim strText As String
  3.     With CreateObject("WinHttp.WinHttpRequest.5.1")
  4.         .Open "GET", "https://www.baidu.com/s?wd=你好&ie=UTF-8", False
  5.       
  6.          .setRequestHeader "Accept", "text/html,application/xhtml+xml,application/xml;q=0.9,image/avif,image/webp,image/apng,*/*;q=0.8,application/signed-exchange;v=b3;q=0.9"""
  7. '         .setRequestHeader "Accept-Encoding", "gzip , deflate, br"
  8.          .setRequestHeader "Accept-Language", "zh-CN,zh;q=0.9"
  9.          .setRequestHeader "Cache-Control", "Max -age = 0"
  10.          .setRequestHeader "Connection", "keep -alive"
  11.          .setRequestHeader "Cookie", "BIDUPSID=888C9534F545E23EFA69539A181351D1; PSTM=1651968877; BAIDUID=21C54EDE086C240D41B53A411348F8E6:FG=1;"
  12.          .setRequestHeader "Host", "www.baidu.com"
  13.          .setRequestHeader "sec-ch-ua", """ Not A;Brand"";v=""99"",""Chromium"";v=""99"",""google Chrome"";v=""99"""
  14.          .setRequestHeader "Sec-ch-ua-mobile", "?0"
  15.          .setRequestHeader "sec-ch-ua-platform", """Windows"""
  16.          .setRequestHeader "Sec-Fetch-Dest", "document"
  17.          .setRequestHeader "Sec-etch-Mode", "navigate"
  18.          .setRequestHeader "Sec-Fetch-Site", "same-site"
  19.          .setRequestHeader "Sec-Fetch-User", "?1"
  20.          .setRequestHeader "Upgrade-Insecure-Requests", "1"
  21.          .setRequestHeader "User-Agent", "Mozilla/5.0 (Windows NT 10.0; Win64; x64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/95.0.4638.69 Safari/537.36"
  22.          .send
  23.    Debug.Print .responseText

  24.     End With

  25. End Sub

复制代码


TA的精华主题

TA的得分主题

 楼主| 发表于 2022-10-16 14:55 | 显示全部楼层
能顶起来么

TA的精华主题

TA的得分主题

发表于 2022-10-16 15:28 | 显示全部楼层
立即窗口并不能全部显示出来的,能显示256行左右应该
把结果复制到 剪切板 ,txt 查看即可,不会用到所有RequestHeader,里面一些重要的用得到
剪切板参考:https://club.excelhome.net/thread-1611306-1-1.html

111.png

TA的精华主题

TA的得分主题

 楼主| 发表于 2023-1-7 16:25 | 显示全部楼层
perfect131 发表于 2022-10-16 15:28
立即窗口并不能全部显示出来的,能显示256行左右应该
把结果复制到 剪切板 ,txt 查看即可,不会用到所有R ...

谢谢,我在试试

TA的精华主题

TA的得分主题

发表于 2023-1-7 16:50 | 显示全部楼层
[广告] VBA代码宝 - VBA编程加强工具 · VBA代码随查随用  · 内置多项VBA编程加强工具       ★ 免费下载 ★      ★使用手册
perfect131 发表于 2022-10-16 15:28
立即窗口并不能全部显示出来的,能显示256行左右应该
把结果复制到 剪切板 ,txt 查看即可,不会用到所有R ...

打开网页从80行左右才开始显示代码:
[现在不能截图上传了吗??]
20230107.png
您需要登录后才可以回帖 登录 | 免费注册

本版积分规则

手机版|关于我们|联系我们|ExcelHome

GMT+8, 2024-11-19 22:25 , Processed in 0.034073 second(s), 11 queries , Gzip On, MemCache On.

Powered by Discuz! X3.4

© 1999-2023 Wooffice Inc.

沪公网安备 31011702000001号 沪ICP备11019229号-2

本论坛言论纯属发表者个人意见,任何违反国家相关法律的言论,本站将协助国家相关部门追究发言者责任!     本站特聘法律顾问:李志群律师

快速回复 返回顶部 返回列表