正常的网页突然抓不到数据

marchwen01 · 发表于 2024-9-3 13:48

原来抓包的代码，是可以正常拿到数据的
Public Async Function GetHistoricalWeatherData() As Task(Of String)
Dim fullUrl As String = "https://lishi.tianqi.com/xinyi/20240320.html"
Using client As New HttpClient()
      Try
         '使用HttpClient发送GET请求
         Dim response As HttpResponseMessage = Await client.GetAsync(fullUrl)
         '确保请求成功
         response.EnsureSuccessStatusCode()
         '读取响应内容作为字符串
         Dim responseBody As String = Await response.Content.ReadAsStringAsync()
         '返回响应内容
         Return responseBody
      Catch ex As HttpRequestException
         '处理异常，如网络错误、无效的响应等
         Throw New Exception("获取历史天气数据时出错: " + ex.Message)
      End Try
End Using
End Function

现在拿到的是

W3C//DTD XHTML 1.0 Transitional//EN" "http://www.w3.org/TR/xhtml1/DTD/xhtml1-transitional.dtd">
<head>
<meta http-equiv="Content-Type" content="text/html; charset=utf-8">
<link rel="stylesheet" href="/static/css/404.css" type="text/css">
<title>首页</title>
</head>
<body>
<div class="blank40"></div>
<div class="main">
<div class="error">
<div class="blank50"></div>
<div class="blank70"></div>
<div class="ct1"><img src="/static/images/error.png"></div>
<div class="blank50"></div>
<p>啊哦~一不小心闯进了未知领域，请点击下面按钮返回首页……</p>
<div class="blank50"></div>
<a class="btn" href="//lishi.tianqi.com">返回首页</a>
<div class="blank70"></div>
</div>
</div>
<div class="blank50"></div>
</body>
</html>

复制代码

这是什么原因？

Enocheasty · 发表于 2024-9-4 18:19

虽然不怎么搞网络，但是我觉得你应该去那个网站看看，可能不是代码问题，是人家网站改版了。我猜以前是可以一天一天显示的，现在似乎不是一天天显示了，而是整页整页的显示了。所以获取的信息的地址不正确了。我没验证，猜的，我的Excel VBA都运行不了你的代码，可能缺少引用。

屏幕截图 2024-09-04 181755.png

marchwen01 · 发表于 2024-9-5 00:06

Enocheasty 发表于 2024-9-4 18:19
虽然不怎么搞网络，但是我觉得你应该去那个网站看看，可能不是代码问题，是人家网站改版了。我猜以前是可以 ...

用浏览器打开页面还是正常，也没有改版。VBA抓的还能正常，这个.net的拿不到正常的页面源码，只有一个404源码。

xjl565135022 · 发表于 2024-9-6 16:18

请求头加上user-Agent

		自动登录	找回密码
密码			免费注册

[求助] 正常的网页突然抓不到数据