当前位置:首页 > PHP教程 > php高级应用 > 列表

PHP简单实现定时监控nginx日志文件功能示例

发布:smiling 来源: PHP粉丝网  添加日期:2018-10-19 11:07:21 浏览: 评论:0 

本文实例讲述了PHP简单实现定时监控nginx日志文件功能。分享给大家供大家参考,具体如下:

此功能是为了实现,定时监控nginx生成的日志数据,并将新增的数据提交到一个接口(比如大数据的接口,让大数据来进行分析)。

  1. define("MAX_SHOW", 8192*5); //新增数据提交阈值 
  2. define("LOG_NAME", ""); //读取的日志文件 
  3. define("LOG_SIZE", ""); //保留上次读取的位置 
  4. define("LOG_URL", ""); //日志提交地址 
  5. //运行时log文件原始大小 
  6. $log_size    = get_filesize(); 
  7. $file_size     = filesize(LOG_NAME); 
  8. if(emptyempty($log_size)){//没有记录上次位置,则从当前位置开始 
  9.   $file_size = $file_size; 
  10. }else if($log_size > $file_size){ //说明是第二天的日志文件,指针放到文件头 
  11.   $file_size = 0; 
  12. }else{ //从上次记录的位置开始 
  13.   $file_size = $log_size; 
  14. } 
  15. $file_size_new   = 0; 
  16. $add_size     = 0; 
  17. $ignore_size   = 0; 
  18. $fp = fopen(LOG_NAME, "r"); 
  19. while(1){ 
  20.   clearstatcache(); 
  21.   $read_num = 0; 
  22.   $file_size_new = filesize(LOG_NAME); 
  23.   $add_size = $file_size_new - $file_size; 
  24.   $add_data = array(); 
  25.   $add_log = ''; 
  26.   if($add_size > 0){ 
  27.     //大于一个阈值提交数据 
  28.     if($add_size > MAX_SHOW){ 
  29.       fseek($fp, $file_size); 
  30.       //当增加量超过8192,需要分页读取增加量 
  31.       $page = ceil($add_size/8192); 
  32.       for($i=1; $i<=$page; $i++){ 
  33.         if($i == $page){//最后一页 
  34.           $end_add = $add_size - ($page -1) * 8192; 
  35.           $add_log .= fread($fp, $end_add); 
  36.         }else{ 
  37.           $add_log .= fread($fp, 8192); 
  38.           $file_size_step = $file_size + $i * 8192; 
  39.           fseek($fp, $file_size_step); 
  40.         } 
  41.       } 
  42.       $add_data['add_log'] = $add_log; 
  43.       $add_data['add_log'] = base64_encode($add_data['add_log']); 
  44.       http_post(LOG_URL, $add_data); 
  45.       $file_size = $file_size_new; 
  46.       //记录当前位置 
  47.       save_filesize($file_size); 
  48.     } 
  49.   }else if($add_size < 0){ //第二天从头部开始 
  50.     $file_size = 0; 
  51.   } 
  52.   sleep(2); 
  53. } 
  54. fclose($fp); 
  55. /** 
  56.  * 每次启动时获取上次打开文件位置 
  57.  */ 
  58. function get_filesize(){ 
  59.   $size = file_get_contents(LOG_SIZE); 
  60.   return $size; 
  61. } 
  62. /** 
  63.  * 每次提交后保存这次读取文件的位置 
  64.  */ 
  65. function save_filesize($size){ 
  66.   return file_put_contents(LOG_SIZE, $size); 
  67. } 
  68. /** 
  69.  * http请求 
  70.  * @param array $data 
  71.  * @return boolean 
  72.  */ 
  73. function http_post($url = '', $data = array()) 
  74. { 
  75.   if(emptyempty($url)){ 
  76.     return FALSE; 
  77.   } 
  78.   if($data){ 
  79.     $data = http_build_query($data); 
  80.   } 
  81.   $ch = curl_init (); 
  82.   curl_setopt ( $ch, CURLOPT_URL, $url ); 
  83.   curl_setopt ( $ch, CURLOPT_POST, 1 ); 
  84.   curl_setopt ( $ch, CURLOPT_HEADER, 0 ); 
  85.   curl_setopt ( $ch, CURLOPT_TIMEOUT, 5 ); 
  86.   curl_setopt ( $ch, CURLOPT_RETURNTRANSFER, 1 ); 
  87.   curl_setopt ( $ch, CURLOPT_POSTFIELDS, $data ); 
  88.   $return = curl_exec ( $ch ); 
  89.   curl_close ( $ch );//phpfensi.com 
  90.   return $return; 
  91. } 

备注:由于日志文件过了凌晨会切割,所以需要做一下判断,判断是第二天的日志需要从日志文件头部进行读取。

需要优化的逻辑:当中间进程挂了,停了一段时间,再启动时,从上次的位置重新读取,提交的数据会比较大,可能会超过提交数据大小的限制。

Tags: 示例 功能 文件

分享到: