PHP中curl_multi并发详解

PHP中的curl_multi系列函数可以实现同时请求多个URL来实现并发，而不是像普通curl函数那样请求后会阻塞，直到结果返回才进行下一个请求。因此在批量请求URL时可通过curl_multi系列函数提升程序的运行效率。

curl普通请求

1. $startTime = microtime(true); 
2.  
3. $chArr = []; 
4.  
5. $optArr = [ 
6.  
7.     CURLOPT_URL => 'http://www.httpbin.org/ip', 
8.  
9.     CURLOPT_HEADER => 0, 
10.  
11.     CURLOPT_RETURNTRANSFER => 1, 
12.  
13. ]; 
14.  
15. $result = []; 
16.  
17. //创建多个curl资源并执行 
18.  
19. for ($i=0; $i<10; $i++) { 
20.  
21.     $chArr[$i] = curl_init(); 
22.  
23.     curl_setopt_array($chArr[$i], $optArr); 
24.  
25.     $result[$i] = curl_exec($chArr[$i]); 
26.  
27.     curl_close($chArr[$i]); 
28.  
29. } 
30.  
31. $endTime = microtime(true); 
32.  
33. echo sprintf("use time: %.3f s".PHP_EOL, $endTime - $startTime);use time: 6.080 s 
34.  
35. use time: 6.080 s 

curl_multi并发请求

1. $startTime = microtime(true); 
2.  
3. $chArr = []; 
4.  
5. $optArr = [ 
6.  
7.     CURLOPT_URL => 'http://www.httpbin.org/ip', 
8.  
9.     CURLOPT_HEADER => 0, 
10.  
11.     CURLOPT_RETURNTRANSFER => 1, 
12.  
13. ]; 
14.  
15. $result = []; 
16.  
17. //创建多个curl资源 
18.  
19. for ($i=0; $i<10; $i++) { 
20.  
21.     $chArr[$i] = curl_init(); 
22.  
23.     curl_setopt_array($chArr[$i], $optArr); 
24.  
25. } 
26.  
27. //创建批处理curl句柄 
28.  
29. $mh = curl_multi_init(); 
30.  
31. //将单个curl句柄添加到批处理curl句柄中 
32.  
33. foreach ($chArr as $ch) { 
34.  
35.     curl_multi_add_handle($mh, $ch); 
36.  
37. } 
38.  
39. //判断操作是否仍在执行的标识的引用 
40.  
41. $active = null; 
42.  
43. /** 
44.  
45.  * 本次循环第一次处理 $mh 批处理中的 $ch 句柄，并将 $mh 批处理的执行状态写入 $active， 
46.  
47.  * 当状态值等于 CURLM_CALL_MULTI_PERFORM 时，表明数据还在写入或读取中，执行循环， 
48.  
49.  * 当第一次 $ch 句柄的数据写入或读取成功后，状态值变为 CURLM_OK ，跳出本次循环，进入下面的大循环中。 
50.  
51.  */ 
52.  
53. do { 
54.  
55.     //处理在批处理栈中的每一个句柄 
56.  
57.     $mrc = curl_multi_exec($mh, $active); 
58.  
59. } while ($mrc == CURLM_CALL_MULTI_PERFORM); 
60.  
61. /** 
62.  
63.  * 上面这段代码中，是可以直接使用 $active > 0 来作为 while 的条件，如下： 
64.  
65.  * do { 
66.  
67.  *   $mrc = curl_multi_exec($mh, $active); 
68.  
69.  * } while ($active > 0); 
70.  
71.  * 此时如果整个批处理句柄没有全部执行完毕时，系统会不停的执行 curl_multi_exec 函数，从而导致系统CPU占用会很高， 
72.  
73.  * 因此一般不采用这种方案，可以通过 curl_multi_select 函数来达到没有需要读取的程序就阻塞住的目的。 
74.  
75.  */ 
76.  
77. /** 
78.  
79.  * $active 为 true 时，即 $mh 批处理之中还有 $ch 句柄等待处理， 
80.  
81.  * $mrc == CURLM_OK，即上一次 $ch 句柄的读取或写入已经执行完毕。 
82.  
83.  */ 
84.  
85. while ($active && $mrc == CURLM_OK) { 
86.  
87.     /**  
88.  
89.      * 程序进入阻塞状态，直到批处理中有活动连接（即 $mh 批处理中还有可执行的 $ch 句柄）， 
90.  
91.      * 这样执行的好处是 $mh 批处理中的 $ch 句柄会在读取或写入数据结束后（$mrc == CURLM_OK）进入阻塞阶段， 
92.  
93.      * 而不会在整个 $mh 批处理执行时不停地执行 curl_multi_exec 函数，白白浪费CPU资源。 
94.  
95.      */ 
96.  
97.      if (curl_multi_select($mh) != -1) { 
98.  
99.         //程序退出阻塞状态继续执行需要处理的 $ch 句柄 
100.  
101.         do { 
102.  
103.             $mrc = curl_multi_exec($mh, $active); 
104.  
105.         } while ($mrc == CURLM_CALL_MULTI_PERFORM); 
106.  
107.     } 
108.  
109. } 
110.  
111. foreach ($chArr as $i=>$ch) { 
112.  
113.     //获取某个curl句柄的返回值 
114.  
115.     $result[$i] = curl_multi_getcontent($ch); 
116.  
117.     //移除批处理句柄中的某个句柄资源 
118.  
119.     curl_multi_remove_handle($mh, $ch); 
120.  
121. } 
122.  
123. //关闭一组curl句柄 
124.  
125. curl_multi_close($mh); 
126.  
127. $endTime = microtime(true); 
128.  
129. echo sprintf("use time: %.3f s".PHP_EOL, $endTime - $startTime); 
130.  
131. use time: 0.599 s 

通过对比上述程序的运行时间可以得知，使用curl_multi系列函数并发请求要比普通的curl函数依次请求效率高很多。

Tags: curl_multi PHP并发

分享到：