关于网页数据抓取的问题

yahaa_L · 发表于 2014-10-10 00:33

本帖最后由 yahaa_L 于 2014-10-10 00:34 编辑

大虾们好，本人在做一个网页数据抓取的时候出现无法读取网页数据的问题，具体如下：
1、目标网页首页：http://www.gzgczj.com:8080/costRegulatory/user.do?method=changeIndex&fareaId=1
2、目标数据网页（首页中的“控制价备案”选项）：http://www.gzgczj.com:8080/costRegulatory/project.do?method=showProjectList&isVisitor=1&f_id=11011
当访问数据网页时，却提示“不允许这样操作”，不能进行数据解析和数据提取。
但在IE通过：网页首页→数据网页，是可以打开数据网页的，在打开的数据网页通过右键“查看源文件”时，是可以看到网页的具体数据的（如：工程名称、招标控制价等）

如要对目标数据网页提取，应该怎么设置提取数据的目标路径呢？
劳烦各位老师不吝赐教，谢谢！

ghostjiao · 发表于 2014-10-10 09:32

Mark一下先

likeslh · 发表于 2014-10-10 11:27

感觉可能有加密，xmlhttp方法抓不到。建议用InternetExplorer.Application方法，直接操作网页，打开目标页面之后抓内容。

yahaa_L · 发表于 2014-10-10 23:17

likeslh 发表于 2014-10-10 11:27
感觉可能有加密，xmlhttp方法抓不到。建议用InternetExplorer.Application方法，直接操作网页，打开目标页面 ...

用InternetExplorer.Application试过也不行

ghostjiao · 发表于 2014-10-11 17:40

楼主看下吧

PS：由吴姐进行指导才做出来，非常感谢吴姐！
         {@}
      {@} * {@}
   {@} * {@} * {@}
{@}* {@} * {@} * {@}
   \ {@} * {@} * {@} /
      \ \ \ l / / /
      \\ \ Y / //
         \\ l //
         \\Y//
         >=<
         //*\\

lk19910225 · 发表于 2014-10-11 18:43

ghostjiao 发表于 2014-10-11 17:40
楼主看下吧

半年没见着吴阿姨了,她近来可好...

引子玄 · 发表于 2014-10-11 18:56

不知所云。。。。。

HHAAMM · 发表于 2014-10-11 21:32

ghostjiao 发表于 2014-10-11 17:40
楼主看下吧

好！！
这个题我也看过，也知道网站是通过Referer看你的来路。
也想过怎么欺骗下，但不知道有WinHttp.WinHttpRequest.5.1这么个东东可用

yahaa_L · 发表于 2014-10-12 00:50

ghostjiao 发表于 2014-10-11 17:40
楼主看下吧

谢谢，方案可行

VBA万岁 · 发表于 2014-10-12 16:58

ghostjiao 发表于 2014-10-11 17:40
楼主看下吧

Mark如附件：

广州市建筑造价监督管理系统.zip (681.75 KB, 下载次数: 138)

		自动登录	找回密码
密码			免费注册

[求助] 关于网页数据抓取的问题

评分

评分