当前位置:首页 > PHP教程 > php高级应用 > 列表

十分钟带你了解PHP实现爬虫的过程

发布:smiling 来源: PHP粉丝网  添加日期:2022-07-09 09:57:59 浏览: 评论:0 

文字信息

我们尝试获取表的信息,这里,我们就用某校的课表来代替:

十分钟带你了解PHP实现爬虫的过程

接下来我们就上代码:

a.php

  1. <?php  header( "Content-type:text/html;Charset=utf-8" );  
  2.  
  3. $ch = curl_init();        $url ="表的链接"
  4.  
  5.         curl_setopt ( $ch , CURLOPT_USERAGENT ,"Mozilla/5.0 (Windows NT 10.0; Win64; x64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/53.0.2785.113 Safari/537.36" ); 
  6.  
  7.         curl_setopt($ch,CURLOPT_URL,$url); 
  8.  
  9.         curl_setopt($ch, CURLOPT_RETURNTRANSFER, 1);        $content=curl_exec($ch); 
  10.  
  11.         preg_match_all("/<td rowspan=\"\d\">(.*?)<\/td>\n<td rowspan=\"\d\">(.*?)<\/td><td rowspan=\"\d\" align=\"\w+\">(.*?)<\/td><td rowspan=\"\d\" align=\"\w+\">(.*?)<\/td><td>(.*?)<\/td>\n<td>(.*?)<\/td><td>(.*?)<\/td>/",$content,$matchs,PREG_SET_ORDER);//匹配该表所用的正则 
  12.  
  13.         var_dump($matchs); 

然后咱们就运行一下:

十分钟带你了解PHP实现爬虫的过程

成功获取到课表;

图片获取

绝对链接

我们以百度图库的首页为例

十分钟带你了解PHP实现爬虫的过程

b.php

  1. <?php  header( "Content-type:text/html;Charset=utf-8" );   
  2.  
  3.   $ch = curl_init();    $url="http://image.baidu.com/"
  4.  
  5.   curl_setopt ( $ch , CURLOPT_USERAGENT ,"Mozilla/5.0 (Windows NT 10.0; Win64; x64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/53.0.2785.113 Safari/537.36" ); 
  6.  
  7.   curl_setopt($ch,CURLOPT_URL,$url); 
  8.  
  9.   curl_setopt($ch, CURLOPT_RETURNTRANSFER, 1);    $content=curl_exec($ch);    $string=file_get_contents($url);  
  10.  
  11.   preg_match_all("/<img([^>]*)\s*src=('|\")([^'\"]+)('|\")/",  
  12.  
  13.                   $string,$matches);    $new_arr=array_unique($matches[3]);     foreach($new_arr as $key){  
  14.  
  15.       echo "<img src=$key>"
  16.  
  17.    } 

然后,我们就获得了下面的页面:

十分钟带你了解PHP实现爬虫的过程

相对链接

百度图库的图片的链接大部分是绝对链接,那么当我们遇到网页图片为相对链接的时候,我们该怎么处理呢?其实很简单,我们只需要将循环那部分改为

十分钟带你了解PHP实现爬虫的过程

那么我们就可以同样在浏览器中输出图片了;

Tags: PHP爬虫过程

分享到: