php中CURL实现模拟登录并采集数据
发布:smiling 来源: PHP粉丝网 添加日期:2014-08-28 11:04:35 浏览: 评论:0
在php中采集我们用的是简单的采集方式,例如file_get_contents就无法做到了,但是如果想模拟登录用户并采集利用它就没办法了,我们可利用CURL函数来实现模拟登录并采集数据.
这里要说一些,默认情况下,PHP的CURL功能是没有开启的,所以你要自己去开启这个功能,需要在php.ini中把 ;extension= php_curl.dll 前面的 " ; " 号去掉!!!
我讲讲昨天晚上的程序吧,虽然最后没有成功,但是还是学习到一些东西的,代码如下:
- $login="http://www.phpfensi.com/index.php?action=login";
- $post_file="user=××&pw=××";
- $cookie_file = tempnam('./temp','cookie');
- //创建一个具有唯一文件名的临时文件,若成功,则该函数返回新的临时文件名,若失败,则返回 false,代码如下:
- $ch=curl_init($login_url); /////初始化一个CURL对象
- curl_setopt($ch,CURLOPT_HEADER,0);
- //开源代码phpfensi.com
- //如果你想把一个头包含在输出中,设置这个选项为一个非零值。
- curl_setopt($ch,CURLOPT_RETURNTRANSFER,1); ///设置不输出在浏览器上
- curl_setopt($ch,CURLOPT_POST,1);
- //如果你想PHP去做一个正规的HTTP POST,设置这个选 项为一个非零值。这个POST是普通的 application/x-www-from-urlencoded 类型,多数被HTML表单使用。
- curl_setopt($ch,CURLOPT_POSTFIELDS,$post_file); ////传递一个作为HTTP "POST"操作的所有数据的字符串。
- curl_setopt($ch, CURLOPT_COOKIEJAR, $cookie_file); /////把返回来的cookie信息保存在$cookie_jar文件中
- curl_exec($ch);///执行
- curl_close($ch);////关闭
上面已经完成了模拟登录的过程,下面要做的就是进入具有权限的页面了,要记得你现在已经登录了,你应该把登录的凭证cookie保存了起来,代码如下:
- $url="http://www.phpfensi.com/admin/××";
- $ch = curl_init($url);
- curl_setopt($ch, CURLOPT_HEADER, 0);
- curl_setopt($ch, CURLOPT_RETURNTRANSFER, 0);
- //把这个页面显示在浏览器上,这里要特别注意!!就是如果把它显示在浏览器上的时候 下面的$contents 就会变成 一个布尔类型 true
- curl_setopt($ch, CURLOPT_COOKIEFILE, $cookie_file);
- $contents = curl_exec($ch);
例2,代码如下:
- <?php
- $cookie_path = './'; //设置cookie保存路径
- //-----登录要提交的表单数据---------------
- $vars['username'] = '张三';
- $vars['pwd'] = '123';
- //-------------------------------------
- $method_post = true;
- //登录提交的url地址(表单中的action的绝对地址)
- $url = 'http://****.com/login';
- //----------------------------
- $ch = curl_init();
- $params[CURLOPT_URL] = $url; //请求url地址
- $params[CURLOPT_HEADER] = true; //是否返回响应头信息
- $params[CURLOPT_RETURNTRANSFER] = true; //是否将结果返回
- $params[CURLOPT_FOLLOWLOCATION] = true; //是否重定向
- $params[CURLOPT_USERAGENT] = 'Mozilla/5.0 (Windows NT 5.1; rv:9.0.1) Gecko/20100101 Firefox/9.0.1';
- $postfields = '';
- foreach ($vars as $key => $value){
- $postfields .= urlencode($key) . '=' . urlencode($value) . '&';
- }
- $params[CURLOPT_POST] = true;
- $params[CURLOPT_POSTFIELDS] = $postfields;
- //判断是否有cookie,有的话直接使用
- if (isset($_COOKIE['cookie_jar']) && ($_COOKIE['cookie_jar'] || is_file($_COOKIE['cookie_jar'])))
- {
- $params[CURLOPT_COOKIEFILE] = $_COOKIE['cookie_jar']; //这里判断cookie
- }
- else
- {
- $cookie_jar = tempnam($cookie_path, 'cookie'); //产生一个cookie文件
- $params[CURLOPT_COOKIEJAR] = $cookie_jar; //写入cookie信息
- setcookie('cookie_jar', $cookie_jar); //保存cookie路径
- }
- curl_setopt_array($ch, $params); //传入curl参数
- $content = curl_exec($ch); //执行
- echo '
- '; echo $content; //输出登录结果
- /*
- //---------登录成功后再次请求其他地址,如果有多个可以循环执行---------
- echo '
- --------------------------------------------------------------------------------
- ';
- $nexturl = 'http://****.com/test';
- $params[CURLOPT_URL] = $nexturl;
- $params[CURLOPT_POSTFIELDS] = '';
- curl_setopt_array($ch, $params); //传入curl参数
- $content = curl_exec($ch); //执行
- echo $content; //输出请求结果
- //-------------------------------------------------
- */
- curl_close($ch); //关闭连接
- ?>
注:如果遇到无法请求https站点的情况,可能是因为无法验证证书或者域名,只要在curl_setopt_array前增加以下两项就可以了,代码如下:
$params[CURLOPT_SSL_VERIFYPEER] = false;
$params[CURLOPT_SSL_VERIFYHOST] = false;
Tags: CURL模拟登录 php采集数据
相关文章
- ·PHP利用Curl模拟登录并获取数据例子(2014-06-21)
- ·PHP Curl模拟登录微信公众平台、新浪微博实例代码(2021-07-07)
推荐文章
热门文章
最新评论文章
- 写给考虑创业的年轻程序员(10)
- PHP新手上路(一)(7)
- 惹恼程序员的十件事(5)
- PHP邮件发送例子,已测试成功(5)
- 致初学者:PHP比ASP优秀的七个理由(4)
- PHP会被淘汰吗?(4)
- PHP新手上路(四)(4)
- 如何去学习PHP?(2)
- 简单入门级php分页代码(2)
- php中邮箱email 电话等格式的验证(2)