当前位置:首页 > PHP教程 > php高级应用 > 列表

解决php curl_multi批处理造成CPU负载过高问题

发布:smiling 来源: PHP粉丝网  添加日期:2014-08-27 08:52:12 浏览: 评论:0 

今天在利用curl_multi函数来获取一些外网内容时发现只要一运行curl_multi函数我的cpu就占得非常的高,后来看一站长分享了此问题解决方法我也整理一下与各位分享一下,希望对大家有帮助.

简单的cURL处理如下,代码如下:

  1. $ch = curl_init(); 
  2. curl_setopt($ch, CURLOPT_URL, 'http://www.phpfensi.com'); 
  3. curl_setopt($ch, CURLOPT_RETURNTRANSFER, TRUE); 
  4. $con = curl_exec($ch); 
  5. curl_close($ch); 

cURL还提供了批量处理会话,下面是cURL批量处理相关函数:

curl_multi_init — 返回一个新cURL批处理句柄

curl_multi_add_handle — 向curl批处理会话中添加单独的curl句柄

curl_multi_exec — 解析一个cURL批处理句柄

curl_multi_getcontent — 如果设置了CURLOPT_RETURNTRANSFER,则返回获取的输出的文本流

curl_multi_select — 等待所有cURL批处理中的活动连接

curl_multi_info_read — 获取当前解析的cURL的相关传输信息

curl_multi_remove_handle — 移除curl批处理句柄资源中的某个句柄资源

curl_multi_close — 关闭一组cURL句柄

看下面使用curl multi批处理的例子,代码如下:

  1. /** 
  2.  * cURL multi批量处理 
  3.  *  
  4.  * @author mckee 
  5.  * @link http://www.phpfensi.com 
  6.  *  
  7.  */ 
  8.  
  9. $url_array = array
  10.     'http://www.phpfensi.net/'
  11.     'http://www.phpfensi.net/php/627.html'
  12.     'http://www.phpfensi.net/php/258.html' 
  13. ); 
  14.  
  15. $handles = $contents = array();  
  16.  
  17. //初始化curl multi对象 
  18. $mh = curl_multi_init(); 
  19.  
  20. //添加curl 批处理会话 
  21. foreach($url_array as $key => $url
  22.     $handles[$key] = curl_init($url); 
  23.     curl_setopt($handles[$key], CURLOPT_RETURNTRANSFER, 1); 
  24.     curl_setopt($handles[$key], CURLOPT_TIMEOUT, 10); 
  25.      
  26.     curl_multi_add_handle($mh$handles[$key]); 
  27. }//开源代码phpfensi.com 
  28.  
  29. //======================执行批处理句柄================================= 
  30. $active = null; 
  31. do { 
  32.     $mrc = curl_multi_exec($mh$active); 
  33. while ($mrc == CURLM_CALL_MULTI_PERFORM); 
  34.  
  35.  
  36. while ($active and $mrc == CURLM_OK) { 
  37.      
  38.     if(curl_multi_select($mh) === -1){ 
  39.         usleep(100); 
  40.     } 
  41.     do { 
  42.         $mrc = curl_multi_exec($mh$active); 
  43.     } while ($mrc == CURLM_CALL_MULTI_PERFORM); 
  44.  
  45. //==================================================================== 
  46.  
  47. //获取批处理内容 
  48. foreach($handles as $i => $ch
  49.     $content = curl_multi_getcontent($ch); 
  50.     $contents[$i] = curl_errno($ch) == 0 ? $content : ''
  51.  
  52. //移除批处理句柄 
  53. foreach($handles as $ch
  54.     curl_multi_remove_handle($mh$ch); 
  55.  
  56. //关闭批处理句柄 
  57. curl_multi_close($mh); 
  58.  
  59. print_r($contents); 

上面这段程序重点是执行批处理的那段,普通的处理,代码如下:

do { $n=curl_multi_exec($mh,$active); } while ($active); 

会造成CPU Loading过高,因为$active要等全部url数据接受完毕才变成false,所以这里用到了curl_multi_exec的返回值判断是否还有数据,当有数据的时候就不停调用curl_multi_exec,没有执行数据就会sleep,如此就会避免CPU Loading 100%了.

Tags: php curl_multi CPU负载过高

分享到: