如何抓取网页数据

正宗新手 · 发表于 2016-1-8 16:25

各位大神：

小弟需要做一个工具。

需要从http://123.59.47.114/b2c 这个地址里抓取数据。

从这地址进入后输入用户名和密码。

用户名：yanghuijie
密码：123456

进入后选择商品管理，然后选择门店库存预警，然后点击查询。

等数据出来后，把所有数据复制到excel中，数据有多少页就复制多少页。假设我第一页数据是20条，那我第二页数据就复制下来来然后从第二十一行开始复制，以此类推，直到黏贴全部数据结束。

正宗新手 · 发表于 2016-1-8 18:00

大神们帮忙忙啊

huang1314wei · 发表于 2016-1-8 21:39

本帖最后由 huang1314wei 于 2016-1-8 21:45 编辑

今天时间有点晚，先给你一个代码一,后续再通过代码二抓取数据
代码一功能说明：运行代码，实现自动填入用户名和密码登陆到网站
代码一运行要求：1、需要把IE设置成默认浏览器 2、工具--引用---需要勾选Microsoft Internet Controls 和 Microsoft HTML ObjectLibrary

代码一如下

Sub 代码一()
Dim ie As InternetExplorer
Dim doc As HTMLDocument
On Error Resume Next
Set ie = CreateObject("internetexplorer.application")
ie.navigate "http://123.59.47.114/b2c/"
ie.Visible = True
Do Until ie.readyState = 4
DoEvents
Loop
Set doc = ie.document
doc.getElementById("username").Value = "yanghuijie"
doc.getElementsByName("password").Item(0).Value = "123456"
doc.all.Item("rememberme").Checked = 1
doc.getElementById("submit_btn").Click
End Sub

复制代码

onlycxb · 发表于 2016-1-8 22:32

也弄一下简单登陆的。

Sub login()
With CreateObject("winhttp.winhttprequest.5.1")
.Open "POST", "http://123.59.47.114/b2c/login", False
.setrequestheader "Content-Type", "application/x-www-form-urlencoded"
.send "username=yanghuijie&password=123456"
If InStr(.responsetext, "欢迎页面") Then MsgBox "登陆成功！" Else MsgBox "登陆未成功！"
End With
End Sub

复制代码

skyzxh · 发表于 2016-1-8 22:38

我也有这个问题，如何抓取数据？

skyzxh · 发表于 2016-1-9 10:55

浮华、缠绕指尖发表于 2016-1-9 00:29
附件。。。

太强大了，这是怎么弄出来的？

onlycxb · 发表于 2016-1-9 14:42

浮华、缠绕指尖发表于 2016-1-9 00:26
have a look if help you

超人出手，什么都有

正宗新手 · 发表于 2016-1-11 17:04

huang1314wei 发表于 2016-1-8 21:39
今天时间有点晚，先给你一个代码一,后续再通过代码二抓取数据
代码一功能说明：运行代码，实现自动填入用 ...

大神，那个自动抓取的代码有吗？

huang1314wei · 发表于 2016-1-11 17:14

正宗新手发表于 2016-1-11 17:04
大神，那个自动抓取的代码有吗？

我看到已经有人帮你写了，我就没写

正宗新手 · 发表于 2016-1-11 17:15

huang1314wei 发表于 2016-1-11 17:14
我看到已经有人帮你写了，我就没写

没看到啊，我前两天有事情没登陆，我刚刚登陆，看到大神你的，但是写了个登陆的，能麻烦写个抓取的吗，感谢了，

		自动登录	找回密码
密码			免费注册

[已解决] 如何抓取网页数据