网页抓取特定对象数据求助

闪存不足

小弟需要抓取下面这个网址中,图片中红色圈圈所示处的数据, 但是碰到两个问题:
1. 等待网页加载完成有问题, 可能因为是JAVA控件, 虽然网页已经加载完了, 但是它的控件还没有完全打开. 请问这里该怎么判断该控件已经完全打开?
2. 要抓取的数据对象我定位不了, 因为找不到它的ID和name之类的东西, 所以用不了MSHTML.HTMLDocument.all("XX")这种方法,  另外我试过用item(?)去遍历对象, 可是好像也没用. 不知道是哪里出问题.
http://iport.sctcn.com/portal/page/portal/PG_IPort/Tab_OI?p_parametertype=ContainerInfo&p_parametervalue=OOLU7530910

liucqa

1、看这个http://club.excelhome.net/forum. ... 805&pid=5596186

2、你给的网页半天打不开

闪存不足

liucqa 发表于 2012-2-8 15:50
1、看这个http://club.excelhome.net/forum.php?mod=redirect&goto=findpost&ptid=815805&pid=5596186

2 ...

谢谢你, 你介绍的例子网页我也打不开, 只看了一下代码, 好像不太适用, 我是引用IE为object去的, 也没有用自定义窗体去打开网址, 因为有些网页提交后会有弹出另一个结果网页, 所以我没有去这样写.

附上代码:

1. IE.Visible = True
   
2. IE.Navigate URL:="http://iport.sctcn.com/portal/page/portal/PG_IPort/Tab_OI?p_parametertype=ContainerInfo&p_parametervalue=" & "OOLU7530910"
   
3. 
   
4. Do While IE.Busy Or IE.readyState <> READYSTATE_COMPLETE
   
5.    DoEvents
   
6. Loop
   

复制代码

下面就不知道怎么继续了.

闪存不足

有人帮忙吗？听说只要显示出来的东西都能用Webbrowser抓取啊？用IE抓不了吗？

northwolves

1. 
   
2. Sub Test()
   
3.     With CreateObject("microsoft.xmlhttp")
   
4.             .Open "get", "http://iport.sctcn.com/oi/action/Inquery/oiQuery?parameterType=ContainerInfo&parameterValue=OOLU7530910&appModuleName=OI&appFunctionName=ContainerInfo", False
   
5.             .send
   
6.           MsgBox Split(Split(.responsetext, "实际到泊信息")(1), "实际离泊信息")(0)
   
7.     End With
   
8. End Sub
   

复制代码

xmyjk

northwolves 发表于 2012-2-9 21:47

对了，狼版，请教下，如果用webbrowser，怎么解决跨域访问的问题（特别是上述那个会禁止访问的这种模式）。

xmyjk

借狼版的改下

1. 
   
2. Option Explicit
   
3. 
   
4. Sub Test()
   
5. Dim cookie
   
6.     With CreateObject("WinHttp.WinHttpRequest.5.1")
   
7.             .Open "GET", "http://iport.sctcn.com/oi/action/Inquery/oiQuery?parameterType=ContainerInfo&parameterValue=OOLU7530910&appModuleName=OI&appFunctionName=ContainerInfo", False
   
8.             .setRequestHeader "Cookie", "JSESSIONID=0254e1b04f3c624ddbf771b4bd255f1ed74a95532b7107a7f51e56d8b5e82e93"
   
9.             .SEND
   
10.             Debug.Print .RESPONSETEXT
    
11.             MsgBox Split(Split(.RESPONSETEXT, "实际到泊信息")(1), "实际离泊信息")(0)
    
12.     End With
    
13. End Sub
    

复制代码

闪存不足

xmyjk 发表于 2012-2-10 13:59
借狼版的改下

谢谢狼版和下弦月，我刚刚开始学习这方面的东西，原来网页查询还可以这样写，不过你们两位的代码到了Split处都说下标越界，看了一下.Responsetext, 找不到用于拆分的关键字，是不是该网页有什么定期随机变换的东西导至收到的数据不一样了？

xmyjk

闪存不足 发表于 2012-2-11 14:13
谢谢狼版和下弦月，我刚刚开始学习这方面的东西，原来网页查询还可以这样写，不过你们两位的代码到了Spli ...

应该可以了，你自行继续完善，把你要查询的单号用变量替换就可以当工具用。
说明下：网页有3个防护机制，第一个是转向时，URL里面有个SSOTOKEN的防盗。
第二个是最后一个取数的COOIKE防盗。
第三个是框架的判断，如果没有执行倒数第二步的框架内存加载，就不能取得数据。

[code=vb]
Option Explicit
Sub Test1()
    Dim xmlhttp As Object, Cookie As String, stok As String, s As String
    Set xmlhttp = CreateObject("WinHttp.WinHttpRequest.5.1")
    With xmlhttp
        .Open "GET", "http://iport.sctcn.com/portal/page/portal/PG_IPort/P_OI?p_parametertype=ContainerInfo&p_parametervalue=OOLU7530910", False
        .send
        stok = Replace(Replace(Replace(Split(Split(.RESPONSETEXT, "SSOToken"" value=""")(1), """>")(0), "~", "%7E"), "=", "%3D"), "+", "%2B")
        .Open "GET", "http://iport.sctcn.com/oi/?p_action=oi&p_langcode=zhs&SSOToken=" & stok & "&ParameterType=ContainerInfo&ParameterValue=OOLU7530910&debug=", False
        .send
        Cookie = Split(.getResponseHeader("Set-Cookie"), ";")(0)
        .Open "GET", "http://iport.sctcn.com/oi/action?SSOToken=" & stok & "&ParameterType=ContainerInfo&ParameterValue=OOLU7530910&LocaleCode=zhs&moduleName=oi&logout=&loginUrl=", False
        .send
        .Open "GET", "http://iport.sctcn.com/oi/action/Inquery/oiQuery?parameterType=ContainerInfo&#182;meterValue=OOLU7530910&appModuleName=OI&appFunctionName=ContainerInfo", False
        .setRequestHeader "Cookie", Cookie
        .send
        s = Split(Split(Split(.RESPONSETEXT, "实际到泊信息")(1), "实际离泊信息")(0), "</td></tr><tr><td>")(0)
        MsgBox Split(s, ">")(UBound(Split(s, ">")))
    End With
    Set xmlhttp = Nothing
End Sub
[/code]

闪存不足

xmyjk 发表于 2012-2-12 13:04
应该可以了，你自行继续完善，把你要查询的单号用变量替换就可以当工具用。
说明下：网页有3个防护机制， ...

谢谢下弦月，刚才试了一下，还是提示下标越界，看了一下最后返回的信息里有“系统繁忙中，请稍候再试”和“处理中”等字段，你看是不是需要加个延迟等待？另外想问一下要看懂这种网页代码，除了HTML外，需要学习JAVA知识吗？