JSA爬虫新玩法-更少的代码，更快的速度，更便捷的选择

sunya_0529

一江春水1688 发表于 2024-7-8 12:53
补充说一下：
您的异步函数查询数据的2个函数，直接在循环中使用async/await，效率比较低。
循环调用了 ...

请教一下，Promise.all怎么用？

一江春水1688

sunya_0529 发表于 2024-7-8 15:42
请教一下，Promise.all怎么用？

参考如下：

1. async function 获取中考成绩1(){
   
2.     let tb1 = ThisWorkbook.Sheets(1).Cells(1).CurrentRegion.Columns(1).Cells
   
3.     tb1 = tb1.Offset(1, 0).Resize(tb1.Rows.Count - 1, tb1.Columns.Count);
   
4.     let arr = await Promise.all([...tb1].map((_, i) => {
   
5.         let rng = tb1.Cells(i + 1).Resize(1, 3);
   
6.         const url="http://cx.jzsjyksy.com/queryPost";
   
7.         const data=`id=24&code=${rng.Value2.flat().join('|')}`;
   
8.         const options={
   
9.             method: "POST",
   
10.             headers: {
    
11.                 "Content-Type": "application/x-www-form-urlencoded; charset=UTF-8"            
    
12.             },
    
13.             body: data
    
14.         }
    
15.         return fetch(url,options)
    
16.     }));
    
17.     let htmltext_arr = await Promise.all(arr.map(r => r.text()));
    
18.     let res = [];
    
19.     for (let htmltext of htmltext_arr) {
    
20.         res.push(htmltext.match(/(?<=var data = ")(.+)(?=";)/)[0].split(',').slice(3));
    
21.     }
    
22.     tb1.Offset(0, 3).Resize(res.length, res[0].length).Value2 = res;
    
23. }

复制代码

sunya_0529

一江春水1688 发表于 2024-7-8 21:53
参考如下：

谢谢分享，等我学习消化一下

sunya_0529

一江春水1688 发表于 2024-7-8 21:53
参考如下：

对比测试了一下——

一江春水1688

sunya_0529 发表于 2024-7-9 23:03
对比测试了一下——

0.006秒，不是真实的耗时。没等网络请求返回数据，就已经先执行了耗时计算及显示。
另外，重新审视了您的代码，发现我的理解有误，您的代码，也类似于并发执行（跟Promise.all处理的时间相当），即没等待返回结果，就循环到下一次调用，不过，最终返回结果的时序很有趣，有可能后面的数据先返回
下面的代码可以证实：

1. async function GetHTMLAsync(rng, t1){
   
2.         const url = "http://cx.jzsjyksy.com/queryPost";
   
3.         const data = `id=24&code=${rng.Value2.flat().join('|')}`;
   
4.         const options = {
   
5.                 method: "POST",
   
6.                 headers: {
   
7.                         "Content-Type": "application/x-www-form-urlencoded"                        
   
8.                 },
   
9.                 body: data
   
10.         }
    
11.         let response = await fetch(url,options);
    
12.         let htmltext = await response.text();
    
13.         let res = htmltext.match(/(?<=var data = ")(.+)(?=";)/)[0].split(',').slice(3);
    
14. //        rng.Offset(0, 3).Resize(1,res.length).Value2 = res;
    
15.         rng.Offset(0, 3).Resize(1, 1).Value2 = (new Date() - t1); //耗时写入单元格，单位毫秒数
    
16. 
    
17. async function 获取中考成绩(){
    
18.         console.clear();
    
19.         let t1 = new Date();
    
20.         for(let rng of ThisWorkbook.Sheets(1).Cells(1).CurrentRegion.Columns(1).Cells){
    
21.                 if(rng.Row>1) GetHTMLAsync(rng.Resize(1,3), t1);
    
22.         }
    
23.         console.log(`耗时：${new Date() - t1} 毫秒`)
    
24. }
    

复制代码

【 function 获取中考成绩() 】函数改写如下，即为串行执行了，不改变返回结果的时序，但运行时间慢于并行（并发）执行的时间：

1. async function 获取中考成绩(){
   
2.         console.clear();
   
3.         let t1 = new Date();
   
4.         for(let rng of ThisWorkbook.Sheets(1).Cells(1).CurrentRegion.Columns(1).Cells){
   
5.                 if(rng.Row>1) await GetHTMLAsync(rng.Resize(1,3), t1);
   
6.         }
   
7.         console.log(`耗时：${new Date() - t1} 毫秒`)
   
8. }
   

复制代码

其实用网络请求并返回数据来检验，并不准确，更准确的办法，应使用 [color=var(--code-token-attribute-name)]setTimeout 来模拟。另外，并发执行可以显著提高效率，但效率也没有我之前说的那么夸张，跟运行环境和应用场景有关。

参考：https://developer.mozilla.org/zh-CN/docs/Web/JavaScript/Reference/Statements/async_function#%E7%A4%BA%E4%BE%8B