求助如何抓取这种网页的多页数据？

jimswang · 发表于 2019-10-9 16:31

http://spf.szfcweb.com/szfcweb/(S(kkgdz22qi2nebibnsaxvrz2q))/DataSerach/CanSaleHouseSelectIndex.aspx
参考了论坛以往的，好像都不太管事，哪位大侠帮帮忙

我在天外 · 发表于 2019-10-9 19:12

用Selenium吧，vba有包。python更好弄

changhong8 · 发表于 2019-10-9 21:14

http://club.excelhome.net/thread-894527-1-1.html
看下前辈的帖子，找找灵感

vbexcelhome · 发表于 2019-10-10 07:34

这种需求看到过，发布需求的人出价是5千元。
这种用在做生意赚钱上的技术，建议自己好好学学，把技术掌握在自己手里，免得受制于人。

duquancai · 发表于 2019-10-10 09:23

技术掌握在自己手里，挣自己的钱，呵呵

chis3 · 发表于 2019-10-11 19:13

我把fiddler原整的參數 post出去,結果還是第一頁的查詢頁
全部能模仿都模了,始終是只抓到查詢頁,為什麼?

Kaohsing · 发表于 2019-10-11 21:01

自己好好学，万事不求人。

qcw911 · 发表于 2019-10-11 22:49

vba中使用Selenium
http://club.excelhome.net/thread-1452021-1-1.html
(出处: ExcelHome技术论坛)

qcw911 · 发表于 2019-10-11 22:50

Sub tttt()
Dim cb As New ChromeDriver
Dim ele As Selenium.WebElement
Dim eles As WebElements
URL = "http://spf.szfcweb.com/szfcweb/(S(bqdau055doh4ss55zi4la5f0))/DataSerach/CanSaleHouseSelectIndex.aspx"
cb.Start "chrome", URL
cb.Wait 1000
cb.Get URL
Set ele = cb.FindElementById("ctl00_MainContent_bt_select")
ele.Click
For i = 1 To 10
Set tb = cb.FindElementById("ctl00_MainContent_PageGridView1").AsTable
lstrow = Range("A" & Rows.Count).End(xlUp).Row
tb.ToExcel Range("A" & lstrow)
Set ele = cb.FindElementById("ctl00_MainContent_PageGridView1_ctl22_Next")
ele.Click
Next i
cb.Quit
End Sub

复制代码

chis3 · 发表于 2019-10-11 23:34

這個網的首頁是S(kkgdz22qi2nebibnsaxvrz2q) 這部份是重定向取的
每次都不同,試著把重定向關了,取連結再一步步向下取參數
最終它會傳來資料在重定向後的網址中, 第一步既重定向關了取網址,最終導致沒能觸發重定向
好像是困局, winhttp 有 getrequestheader 之類方法,把現在的網址顯示出來嗎?

純粹是學習, 只是想試試從頭抓起

在chrome 開發人員工具把整個抓到參數post 可抓到第一頁,有第一頁就有第二頁參數了
好像怎樣都要經過一次重定向,後網址不變

		自动登录	找回密码
密码			免费注册

[求助] 求助如何抓取这种网页的多页数据？

最新热点 /1