最近需要收集资料，在浏览器上用另存为的方式实在是很麻烦，而且不利于存储和检索。所以自己写了一个小爬虫，在网上爬东西，迄今为止，已经爬了近百 万张网页。现在正在想办法着手处理这些数据。

爬虫的结构:

爬虫的原理其实很简单，就是分析下载的页面，找出其中的连接，然后再下载这些链接，再分析再下载，周而复始。在数据存储方面，数据库是首选，便于检索，而 开发语言，只要支持正则表达式就可以了，数据库我选择了mysql，所以，开发脚本我选择了php。它支持perl兼容正则表达式，连接mysql很方 便，支持http下载，而且windows系统和linux系统都可以部署。

正则表达式:

正则表达式是处理文字的基本工具，要取出html中的链接和图片，使用的正则表达式如下。

1. "#<a[^>]+href=(['\"])(.+)\\1#isU"   处理链接 
2.  "#<img[^>]+src=(['\"])(.+)\\1#isU" 处理图片 

其他问题:

写爬虫还需要注意的一个问题是，对于已经下载过的url，不能重复进行下载，而有些网页的链接会形成环路，所以需要处理这个问题，我的处理方法是计算已经 处理的url的MD5 值，并存入数据库，这样就可以检验是否已经下载过。当然还有更好的算法，有兴趣的话，可以在网上找一下。

相关协议:

爬虫也有自己的协议，有个robots.txt文件定义了那些是网站允许遍历的，但是由于我的时间有限，没有实现这个功能。

其他说明:

php支持类编程,我写的爬虫主要的类.

1.url处理web_site_info，主要用处理url，分析域名等。

2.数据库操作mysql_insert.php,处理和数据库相关的操作。

3.历史记录处理，记录已经处理的url。

4.爬虫类。

存在的问题和不足

这个爬虫在小数据量的情况下，运行良好，但是在大数据量的情况下，历史记录处理类的效率就不是很高，通过在数据库结构中，对相关字段进行了索引，速度有了 提高，但是需要不断得读取数据，可能和php本身的array实现有关系，如果一次加载10万条历史记录，速度非常慢。

不支持多线程，每次只能处理一个url。

php运行本身有内存使用量限制，有一次在抓取深度为20的页面的时候，内存用尽程序被杀。

下面的url是源码下载。

http://xiazai.jb51.net/201506/other/net_spider.rar

使用的时候，先在mysql中创建net_spider数据库，然后用db.sql创建相关表。再在config.php中设置mysql 的用户名口令。

最后:

php -f spider.php 深度(数值) url

就可以开始工作。如

php -f spider.php 20 http://news.sina.com.cn

现在感觉下来，其实做个爬虫没那么复杂，难的是数据的存储和检索。我现在的数据库，最大一个数据表已经15G，正在想办处理这些数据，mysql进 行查询已经感觉有点力不从心了。这点上还真佩服google.

1. <?php 
2. #加载页面 
3. functioncurl_get($url){ 
4.     $ch=curl_init(); 
5.     curl_setopt($ch,CURLOPT_URL,$url); 
6.     curl_setopt($ch, CURLOPT_RETURNTRANSFER, 1); 
7.     curl_setopt($ch,CURLOPT_HEADER,1); 
8.     $result=curl_exec($ch); 
9.     $code=curl_getinfo($ch,CURLINFO_HTTP_CODE); 
10.     if($code!='404'&&$result){ 
11.      return$result; 
12.     } 
13.     curl_close($ch); 
14. } 
15. #获取页面url链接 
16. functionget_page_urls($spider_page_result,$base_url){ 
17.   $get_url_result=preg_match_all("/<[a|A].*?href=[\'\"]{0,1}([^>\'\"\]*).*?>/",$spider_page_result,$out); 
18.   if($get_url_result){ 
19.     return$out[1]; 
20.   }else{ 
21.     return; 
22.   } 
23. } 
24. #相对路径转绝对路径 
25. functionxdtojd($base_url,$url_list){ 
26.  if(is_array($url_list)){ 
27.   foreach($url_listas$url_item){ 
28.     if(preg_match("/^(http:\/\/|https:\/\/|javascript：)/",$url_item)){ 
29.       $result_url_list[]=$url_item; 
30.     }else{ 
31.      if(preg_match("/^\//",$url_item)){ 
32.       $real_url=$base_url.$url_item; 
33.      }else{ 
34.       $real_url=$base_url."/".$url_item; 
35.      } 
36.      #$real_url='http://www.sumpay.cn/'.$url_item; 
37.      $result_url_list[] =$real_url; 
38.     } 
39.   } 
40.    return$result_url_list; 
41.  }else{ 
42.    return; 
43.  } 
44. } 
45. #删除其他站点url 
46. functionother_site_url_del($jd_url_list,$url_base){ 
47.  if(is_array($jd_url_list)){ 
48.   foreach($jd_url_listas$all_url){ 
49.     echo$all_url; 
50.     if(strpos($all_url,$url_base)===0){ 
51.      $all_url_list[]=$all_url; 
52.     }  
53.   } 
54.   return$all_url_list; 
55.  }else{ 
56.   return; 
57.  } 
58. } 
59. #删除相同URL 
60. functionurl_same_del($array_url){ 
61.    if(is_array($array_url)){ 
62.      $insert_url=array(); 
63.      $pizza=file_get_contents("/tmp/url.txt"); 
64.      if($pizza){ 
65.         $pizza=explode("\r\n",$pizza); 
66.         foreach($array_urlas$array_value_url){ 
67.          if(!in_array($array_value_url,$pizza)){ 
68.           $insert_url[]=$array_value_url; 
69.          } 
70.         } 
71.         if($insert_url){ 
72.            foreach($insert_urlas$key=>$insert_url_value){ 
73.              #这里只做了参数相同去重处理 
74.              $update_insert_url=preg_replace('/=[^&]*/','=leesec',$insert_url_value); 
75.              foreach($pizzaas$pizza_value){ 
76.                 $update_pizza_value=preg_replace('/=[^&]*/','=leesec',$pizza_value); 
77.                 if($update_insert_url==$update_pizza_value){ 
78.                    unset($insert_url[$key]); 
79.                    continue; 
80.                 } 
81.              } 
82.            } 
83.         }     
84.      }else{ 
85.         $insert_url=array(); 
86.         $insert_new_url=array(); 
87.         $insert_url=$array_url; 
88.         foreach($insert_urlas$insert_url_value){ 
89.          $update_insert_url=preg_replace('/=[^&]*/','=leesec',$insert_url_value); 
90.          $insert_new_url[]=$update_insert_url;  
91.         } 
92.         $insert_new_url=array_unique($insert_new_url); 
93.         foreach($insert_new_urlas$key=>$insert_new_url_val){ 
94.           $insert_url_bf[]=$insert_url[$key]; 
95.         } 
96.         $insert_url=$insert_url_bf; 
97.      } 
98.      return$insert_url; 
99.    }else{ 
100.     return; 
101.    } 
102. } 
103.    
104. $current_url=$argv[1]; 
105. $fp_puts=fopen("/tmp/url.txt","ab");//记录url列表 
106. $fp_gets=fopen("/tmp/url.txt","r");//保存url列表 
107. $url_base_url=parse_url($current_url); 
108. if($url_base_url['scheme']==""){ 
109.   $url_base="http://".$url_base_url['host']; 
110. }else{ //phpfensi.com 
111.   $url_base=$url_base_url['scheme']."://".$url_base_url['host']; 
112. } 
113. do{ 
114.   $spider_page_result=curl_get($current_url); 
115.   #var_dump($spider_page_result); 
116.   $url_list=get_page_urls($spider_page_result,$url_base); 
117.   #var_dump($url_list); 
118.   if(!$url_list){ 
119.    continue; 
120.   } 
121.   $jd_url_list=xdtojd($url_base,$url_list); 
122.   #var_dump($jd_url_list); 
123.   $result_url_arr=other_site_url_del($jd_url_list,$url_base); 
124.   var_dump($result_url_arr); 
125.   $result_url_arr=url_same_del($result_url_arr); 
126.   #var_dump($result_url_arr); 
127.   if(is_array($result_url_arr)){ 
128.     $result_url_arr=array_unique($result_url_arr); 
129.        foreach($result_url_arras$new_url) { 
130.          fputs($fp_puts,$new_url."\r\n"); 
131.        } 
132.   } 
133. }while($current_url=fgets($fp_gets,1024));//不断获得url 
134. preg_match_all("/<a[^>]+href=[\"']([^\"']+)[\"'][^>]+>/",$spider_page_result,$out); 
135. #echoa href 
136. #var_dump($out[1]); 
137. ?> 

Tags: 爬虫 轻量级

分享到：