获取网页数据

志65

hi，我想要统计这19页评价出现的颜色及颜色出现的次数，如截图。因为按照平时的话，都是要每页点开来查看。所以想直接用宏来操作，能做到吗？多谢。要操作的网页如下链接：

https://www.amazon.co.uk/4sold-R ... ws&pageNumber=1

duquancai

能做到            

志65

duquancai 发表于 2018-9-3 18:37
能做到

那代码怎么写？能帮忙写一下代码吗？多谢

719404338

1. Sub t()
   
2. Dim arr(1 To 190), brr, i%, p&, d
   
3. Set d = CreateObject("Scripting.Dictionary")
   
4. With CreateObject("Microsoft.XMLHTTP")
   
5. For p = 1 To 19
   
6.                 .Open "POST", "https://www.amazon.co.uk/4sold-Rita-Womens-Knitted-Snowboard/product-reviews/B01LDCDDOS/ref=cm_cr_getr_d_paging_btm_1?ie=UTF8&reviewerType=all_reviews&pageNumber=" & p, False
   
7.          .Send
   
8.          brr = Split(.responsetext, "Colour: ")
   
9.          For i = 4 To UBound(brr)
   
10.          arr(i - 3) = Split(brr(i), "<")(0)
    
11.          d(arr(i - 3)) = d(arr(i - 3)) + 1
    
12.          Next i, p
    
13.       End With
    
14.        [a1].Resize(d.Count, 1) = Application.Transpose(d.keys)
    
15.        [b1].Resize(d.Count, 1) = Application.Transpose(d.Items)
    
16. End Sub
    

复制代码

志65

719404338 发表于 2018-9-3 19:51

非常多谢，可以了。能麻烦解释一下数字“4”，“3”和“<”这3个地方是代表什么吗？如截图。多谢

志65

719404338 发表于 2018-9-3 19:51

还有一个问题，能让它显示的时候，直接按次数降序排序？

刘伶醉0

厉害了，这是字典么

719404338

首先说那个"4"，用“colour:”第一次分割后，第一个颜色出现在brr(4)中；
再说那个小余符号“<”,第二次分割时，颜色后面都有“<”;
最后说"i-3",i是从4开始循环的，i-3=1，数组从1开始装入。

懂了，就点个花嘛。

任飘渺

结果：{'Dark Grey': 20, 'Beige': 21, 'White': 13, 'Dark Red': 9, 'Olive': 3, 'Gray': 36, 'Pink': 12, 'Black': 37, 'Ecru': 4, 'Navy': 24, 'Fuchsia': 2}


import requests
from lxml import etree
headers = {
    'User-Agent': 'Mozilla/5.0 (Windows NT 6.1) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/67.0.3396.87 Safari/537.36'
}
colors=[]
def parser_page(url):
    try:
        resp = requests.get(url,headers=headers)
        text = resp.text
        html = etree.HTML(text)
        data = html.xpath('//div[@id="cm_cr-review_list"]//a[@data-hook]/span/text()')

        for color in data:
            color = color.split(":")[1].strip()
            colors.append(color)
        print(colors)
    except Exception as e:
        print("出现异常-->"+str(e))



def main():
    base_url='https://www.amazon.co.uk/4sold-Rita-Womens-Knitted-Snowboard/product-reviews/B01LDCDDOS/?ie=UTF8&reviewerType=all_reviews&pageNumber={}'
    for x in range(1,20):
        url=base_url.format(x)
        parser_page(url)

    d = {}
    for color in colors:
        if not color in d:
            d[color]=1
        else:
            d[color]=d[color]+1
    print(d)


if __name__ =='__main__':
    main()