VBA抓取网页表格数据

mail249120 · 发表于 2019-1-28 16:45

mail249120 发表于 2019-1-28 13:27
会不会是因为有多个链接循环的原因？因为我单独调试这个链接貌似没有问题

逐句调试了下，发现一旦出现这种错误的时候，出来的strhtml2内容是有问题的，但是可以确定上面的NewURL是没问题的，怎么破？

mail249120 · 发表于 2019-1-28 16:57

而且每次出错是对应的URL都是随机的，请大神快帮忙看看，谢谢

duquancai · 发表于 2019-1-28 20:27

mail249120 发表于 2019-1-28 16:57
而且每次出错是对应的URL都是随机的，请大神快帮忙看看，谢谢

# -*- coding: utf-8 -*-
# version: Python 3.7.0
import requests
from urllib.parse import urljoin
from lxml import etree
baise_url = 'https://www.ccmn.cn/bxg/201/'
headers = {'User-Agent': 'Mozilla/5.0 (Windows NT 6.3; Win64; x64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/67.0.3396.99 Safari/537.36'}
def crawl_url():
#请求列表页并获取链接！
r = requests.get(url=baise_url, headers=headers)
tree = etree.HTML(r.text)
trs = tree.xpath('//table[@class="purchase"]/tr')
url_list = [urljoin(baise_url, tr.xpath('./td[2]/a/@href')[0]) for tr in trs if len(tr.xpath('./td[2]/a/@href'))]
crawl_detail(url_list)
def crawl_detail(url_list):
#请求详情页！
for url in url_list:
r = requests.get(url=url,headers=headers)
parse_detail(r.text)
break
def parse_detail(html):
# 解析详情页，这里不再赘述！
print(html)
if __name__ == '__main__':
crawl_url()

复制代码

mail249120 · 发表于 2019-1-29 13:07

duquancai 发表于 2019-1-28 20:27

这个代码是VBA代码吗？看起来很陌生，

onlycxb · 发表于 2019-1-29 17:03

private static void 论坛简单的登陆采集()
{
//http://club.excelhome.net/thread-1458465-1-2.html
crawler = new SimpleCrawler();
string url = "https://www.ccmn.cn/a/login";
string sd = "username=pnrsandy&password=PNR123456";
//登陆
crawler.Start(url, HttpMethodModel.POST, sd).Wait();
url = "https://www.ccmn.cn/historyprice/getCorpQuotationsList";
//注册事件
crawler.OnCompleted += (s, e) =>
{
var ms = crawler.GetJsonRoot<PriceRoot>(e.PageSource);
foreach (var m in ms.body.marketPriceList)
{
Console.WriteLine($"{m.cityName } {m.publishDate}{ m.productSortName} {m.price} ");
}
};
//采集价格列表，仅一页
crawler.Start(url, HttpMethodModel.POST, "pageNo=1&pageSize=20&cityCode=119900&productSortName=%E7%82%89%E6%96%99").Wait();
Console.ReadLine();
}

复制代码

mail249120 · 发表于 2019-1-29 19:42

onlycxb 发表于 2019-1-29 17:03

这是VBA代码？

mail249120 · 发表于 2019-1-30 15:09

duquancai 发表于 2019-1-28 20:27

大侠，请百忙之中帮忙看看啊，感谢感谢！

duquancai · 发表于 2019-1-30 15:37

mail249120 发表于 2019-1-30 15:09
大侠，请百忙之中帮忙看看啊，感谢感谢！

Python语言的代码都写给你了，还看什么？

samsinn · 发表于 2019-1-30 17:28

mail249120 发表于 2019-1-28 12:31
有个错误麻烦帮忙看看，
我查看了下，对应链接https://www.ccmn.cn/bxg/feibxg/2019-01-28/79523cd764ce ...

备注说明你没看懂吗？不要从i=1开始遍历
for i = 0 to ...

Kaohsing · 发表于 2019-1-30 19:09

mail249120 发表于 2019-1-30 15:09
大侠，请百忙之中帮忙看看啊，感谢感谢！

kaohsing.zip (43.73 KB, 下载次数: 79)

		自动登录	找回密码
密码			免费注册

[求助] VBA抓取网页表格数据