关于网页数据抓取，为什么网页上能看到但是源码木有

snailzlf

各位好，我在试着抓些房产数据，其他基本信息都能抓到，但是为什么如下图的那些数据网页上能看到，但是源码里面木有，这个要怎么抓取呀，求大神帮忙看下，谢谢
http://shanghai.anjuke.com/community/view/106  网页地址

snailzlf

有木有遇到同样问题的兄弟呀

snailzlf

看来要沉了 刚试了下火狐的零时查看源代码 是可以看到的，但是get得不到数据

592rmb

顶一下，希望大神看见能讲解一下，我也遇到了这个问题

blanksoul12

留個位置先.
另外樓主有沒有用IE法找呢?

snailzlf

刚在大神的帖子看到
2、IE/webbrowser法：
创建IE控件或webbrowser控件，结合htmlfile对象的方法和属性，模拟浏览器操作，获取浏览器页面的数据。
优点：这个方法可以模拟大部分的浏览器操作。所见即所得，浏览器能看到的数据就能用代码获取。
缺点：各种弹窗相当烦人，兼容性也确实是个很伤脑筋的问题。
不知还有其他方法？

blanksoul12

XMLHTTP 或 WINHTTP 我自己也學習中,初試還找不到你要的東西,等大神吧

snailzlf

还是我自己来 结贴吧   看到上面有个很火的大神贴  用fiddler查看了下网页包 ，发现这个未显示的数据还是从其他网页调用的  而且调用网站也在里面的  多搜索下http://shanghai.anjuke.com/v3/ajax/nearby/?commid=16655

onlycxb

snailzlf 发表于 2014-10-29 14:26
还是我自己来 结贴吧   看到上面有个很火的大神贴  用fiddler查看了下网页包 ，发现这个未显示的数据还是从 ...

1. Sub test()
   
2.     Dim DB, js
   
3.      With CreateObject("MSXML2.XMLHTTP")
   
4.         .Open "GET", "http://shanghai.anjuke.com/v3/ajax/nearby/?commid=106&cityid=11&callback=life_url_callback&J1415845726403 ", False
   
5.         .Send
   
6.     End With
   
7.     Set js = CreateObject("scriptcontrol")
   
8.     js.Language = "jscript"
   
9.     js.addcode ("var dy=" & Split(w.ResponseText, "life_url_callback")(1))
   
10.     Set DB = js.eval("dy.result")
    
11.     Debug.Print CallByName(DB.school, "name", VbGet) & "：" _
    
12.     & CallByName(DB.school, "distance", VbGet) / 1000 & "公里内学校，包括：" _
    
13.     & CallByName(DB.school.attr, "nursery", VbGet) & "所幼儿园，" _
    
14.     & CallByName(DB.school.attr, "junior", VbGet) & "所小学，" _
    
15.     & CallByName(DB.school.attr, "middlel", VbGet) & "所中学"
    
16.    
    
17. End Sub

复制代码

引子玄

从理论上来说————这就牵涉到“源文件”（在浏览器）和“缓存文件”（在服务器）的问题了，源文件和缓存文件是两个不同的概念，以前我在网抓的帖子里，特意提到这个问题。楼主说的问题是——只看到浏览器的网页代码，没看到服务器的文件代码，如此问题罢了。