解析网页源码，获得所需数据。

Kaohsing · 发表于 2017-11-16 08:34

五指山888 发表于 2017-11-15 22:31
沪深a股公告，卡在这一句：Pages = Split(Split(.responsetext, "pages"":")(1), ",""")(0)，第一次可以 ...

只需在.Open "GET", sURL, False之后添加
.setrequestheader "Referer", "http://data.eastmoney.com/notices/"

Kaohsing · 发表于 2017-11-16 09:12

港股公告的几个子数据

废话不多说，如图：

五指山888 · 发表于 2017-11-16 12:08

本帖最后由五指山888 于 2017-11-16 12:22 编辑

Kaohsing 发表于 2017-11-16 08:34
只需在.Open "GET", sURL, False之后添加
.setrequestheader "Referer", "http://data.eastmoney. ...

加进去了，还是老问题,第一次能运行，第二次就不可以了。

Kaohsing · 发表于 2017-11-16 19:41

五指山888 发表于 2017-11-16 12:08
加进去了，还是老问题,第一次能运行，第二次就不可以了。

现在正常的人工登陆页面，都不ok,更不用说代码了。（可能网站增加了反扒措施）

五指山888 · 发表于 2017-11-16 19:55

本帖最后由五指山888 于 2017-11-16 19:59 编辑

Kaohsing 发表于 2017-11-16 19:41
现在正常的人工登陆页面，都不ok,更不用说代码了。（可能网站增加了反扒措施）

我这儿360浏览器较慢，用ie浏览器就很好，登录没问题，可能是网络不太好，我这儿第一次抓取很快，第二次就不能用了，不好弄就算了，老师做到这程度很不容易的

Kaohsing · 发表于 2017-11-17 08:05

五指山888 发表于 2017-11-16 19:55
我这儿360浏览器较慢，用ie浏览器就很好，登录没问题，可能是网络不太好，我这儿第一次抓取很快，第二次 ...

不能运行的原因：

百度的结果：

2秒左右的时间内1000*50条数据，抓取到手，再次运行时，服务器就判定这是爬虫在运行，就不提供数据，严重时封你ip.
我们的目的是返回数据，所以要牺牲点时间，中间适当的休息，稍作修改，代码还是可以继续运行的。

五指山888 · 发表于 2017-11-17 10:30

Kaohsing 发表于 2017-11-17 08:05
不能运行的原因：
百度的结果：

老师找到原因了，原来是老师的采集太厉害了，所以第一次很快，第二次就不能采集了。

Kaohsing · 发表于 2017-11-19 15:51

56楼代码稍微优化一下
网站是不喜欢爬虫爬取数据的，所以你了频繁运行代码，它就给你个403页面，严重的封你IP，
所以有时放慢代码运行速度也是一种方法。冗语不言。

五指山888 · 发表于 2017-11-19 19:03

Kaohsing 发表于 2017-11-19 15:51
56楼代码稍微优化一下
网站是不喜欢爬虫爬取数据的，所以你了频繁运行代码，它就给你个403页面， ...

老师修改的代码我抄了半天也抄不好，能上传代码文本吗？

Kaohsing · 发表于 2017-11-19 21:00

五指山888 发表于 2017-11-19 19:03
老师修改的代码我抄了半天也抄不好，能上传代码文本吗？

不用抄了，有失效了。

		自动登录	找回密码
密码			免费注册

[讨论] 解析网页源码，获得所需数据。