php的curl可以实现模拟http的各种请求，这也是php做网络爬虫的基础，也多用于接口api的调用。这个时候有人就要发问了：为什么你特么不用file_get_contents?
curl的性能比它好，而且可以完成更多复杂的操作，不仅仅只是获取页面数据。
下面先分别介绍一些常用的函数。
curl_init 初始化一个curl对话
curl_setopt 设置curl参数，即传输选项
curl_exec 执行请求
curl_close 关闭一个curl对话
主要是上面四个
curl_errno 返回最后一次错误码,php已经定义了诸多错误枚举编码
curl_errror 返回一个保护当前会话最近一次错误的字符串
下面直接上实例吧，相关解释都在注释里面
1. 在网络上下载一个网页并把内容中的“百度”替换为“屌丝”之后输出
<?php/** * 实例描述：在网络上下载一个网页并把内容中的“百度”替换为“屌丝”之后输出 */$curlobj = curl_init(); // 初始化curl_setopt($curlobj, curlopt_url, "http://www.baidu.com"); // 设置访问网页的urlcurl_setopt($curlobj, curlopt_returntransfer, true); // 执行之后不直接打印出来$output=curl_exec($curlobj); // 执行curl_close($curlobj); // 关闭curlecho str_replace("百度","屌丝",$output);?>
2. 通过调用webservice查询北京的当前天气
<?php/** * 实例描述：通过调用webservice查询北京的当前天气 */$data = 'thecityname=北京';$curlobj = curl_init(); curl_setopt($curlobj, curlopt_url, "http://www.webxml.com.cn/webservices/weatherwebservice.asmx/getweatherbycityname"); curl_setopt($curlobj, curlopt_header, 0); curl_setopt($curlobj, curlopt_returntransfer, 1); curl_setopt($curlobj, curlopt_post, 1); curl_setopt($curlobj, curlopt_postfields, $data); curl_setopt($curlobj, curlopt_httpheader, array("application/x-www-form-urlencoded; charset=utf-8", "content-length: ".strlen($data) )); $rtn = curl_exec($curlobj); if(!curl_errno($curlobj)){ // $info = curl_getinfo($curlobj); // print_r($info); echo $rtn; } else { echo 'curl error: ' . curl_error($curlobj); } curl_close($curlobj);?>
3. 模拟需要登录的网址并抓取网页的内容
<?php/** * 实例描述：模拟需要登录的网址并抓取网页的内容 */$data=array('username' => 'promonkey', 'password' => '1q2w3e', 'remember'=>1);$data='username=zjzhoufy@126.com&password=1q2w3e&remember=1';$curlobj = curl_init(); // 初始化curl_setopt($curlobj, curlopt_url, "http://www.imooc.com/user/login"); // 设置访问网页的urlcurl_setopt($curlobj, curlopt_returntransfer, true); // 执行之后不直接打印出来// cookie相关设置，这部分设置需要在所有会话开始之前设置date_default_timezone_set('prc'); // 使用cookie时，必须先设置时区curl_setopt($curlobj, curlopt_cookiesession, true); curl_setopt($curlobj, curlopt_header, 0); curl_setopt($curlobj, curlopt_followlocation, 1); // 这样能够让curl支持页面链接跳转curl_setopt($curlobj, curlopt_post, 1); curl_setopt($curlobj, curlopt_postfields, $data); curl_setopt($curlobj, curlopt_httpheader, array("application/x-www-form-urlencoded; charset=utf-8", "content-length: ".strlen($data) )); curl_exec($curlobj); // 执行curl_setopt($curlobj, curlopt_url, "http://www.imooc.com/space/index"); curl_setopt($curlobj, curlopt_post, 0); curl_setopt($curlobj, curlopt_httpheader, array("content-type: text/xml" )); $output=curl_exec($curlobj); // 执行curl_close($curlobj); // 关闭curlecho $output;?>
4. 登录网站的信息抓取并下载个人空间页面 + 自定义实现页面链接跳转抓取
<?php/** * 实例描述：登录网站的信息抓取并下载个人空间页面 * 自定义实现页面链接跳转抓取 * */$data='username=demo_peter@126.com&password=123qwe&remember=1';$curlobj = curl_init(); // 初始化curl_setopt($curlobj, curlopt_url, "http://www.imooc.com/user/login"); // 设置访问网页的urlcurl_setopt($curlobj, curlopt_returntransfer, true); // 执行之后不直接打印出来// cookie相关设置，这部分设置需要在所有会话开始之前设置date_default_timezone_set('prc'); // 使用cookie时，必须先设置时区curl_setopt($curlobj, curlopt_cookiesession, true); curl_setopt($curlobj, curlopt_header, 0); // 注释掉这行，因为这个设置必须关闭安全模式 以及关闭open_basedir，对服务器安全不利//curl_setopt($curlobj, curlopt_followlocation, 1); curl_setopt($curlobj, curlopt_post, 1); curl_setopt($curlobj, curlopt_postfields, $data); curl_setopt($curlobj, curlopt_httpheader, array("application/x-www-form-urlencoded; charset=utf-8", "content-length: ".strlen($data) )); curl_exec($curlobj); // 执行curl_setopt($curlobj, curlopt_url, "http://www.imooc.com/space/index"); curl_setopt($curlobj, curlopt_post, 0); curl_setopt($curlobj, curlopt_httpheader, array("content-type: text/xml" )); $output=curl_redir_exec($curlobj); // 执行curl_close($curlobj); // 关闭curlecho $output;/** * 自定义实现页面链接跳转抓取 */function curl_redir_exec($ch,$debug="") { static $curl_loops = 0; static $curl_max_loops = 20; if ($curl_loops++ >= $curl_max_loops) { $curl_loops = 0; return false; } curl_setopt($ch, curlopt_header, true); // 开启header才能够抓取到重定向到的新url curl_setopt($ch, curlopt_returntransfer, true); $data = curl_exec($ch); // 分割返回的内容 $h_len = curl_getinfo($ch, curlinfo_header_size); $header = substr($data,0,$h_len); $data = substr($data,$h_len - 1); $http_code = curl_getinfo($ch, curlinfo_http_code); if ($http_code == 301 || $http_code == 302) { $matches = array(); preg_match('/location:(.*?)\n/', $header, $matches); $url = @parse_url(trim(array_pop($matches))); // print_r($url); if (!$url) { //couldn't process the url to redirect to $curl_loops = 0; return $data; } $last_url = parse_url(curl_getinfo($ch, curlinfo_effective_url)); if (!isset($url['scheme'])) $url['scheme'] = $last_url['scheme']; if (!isset($url['host'])) $url['host'] = $last_url['host']; if (!isset($url['path'])) $url['path'] = $last_url['path']; $new_url = $url['scheme'] . '://' . $url['host'] . $url['path'] . (isset($url['query'])?'?'.$url['query']:''); curl_setopt($ch, curlopt_url, $new_url); return curl_redir_exec($ch); } else { $curl_loops=0; return $data; } } ?>
从ftp服务器下载一个文件到本地
<?php/** * 实例描述：把本地文件上传到ftp服务器上 */$curlobj = curl_init(); $localfile = 'ftp01.php';$fp = fopen($localfile, 'r'); curl_setopt($curlobj, curlopt_url, "ftp://192.168.1.100/ftp01_uploaded.php"); curl_setopt($curlobj, curlopt_header, 0); curl_setopt($curlobj, curlopt_returntransfer, 1); curl_setopt($curlobj, curlopt_timeout, 300); // times out after 300scurl_setopt($curlobj, curlopt_userpwd, "peter.zhou:123456");//ftp用户名：密码//上传和下载主要是下面子三个参数不一样curl_setopt($curlobj, curlopt_upload, 1); curl_setopt($curlobj, curlopt_infile, $fp); curl_setopt($curlobj, curlopt_infilesize, filesize($localfile));$rtn = curl_exec($curlobj); fclose($fp); if(!curl_errno($curlobj)){ echo "uploaded successfully."; } else { echo 'curl error: ' . curl_error($curlobj); } curl_close($curlobj);?>
6.下载网络上面的一个https的资源
<?php/** * 实例描述：下载网络上面的一个https的资源 */$curlobj = curl_init(); // 初始化curl_setopt($curlobj, curlopt_url, "https://ajax.aspnetcdn.com/ajax/jquery.validate/1.12.0/jquery.validate.js"); // 设置访问网页的urlcurl_setopt($curlobj, curlopt_returntransfer, true); // 执行之后不直接打印出来// 设置https支持date_default_timezone_set('prc'); // 使用cookie时，必须先设置时区curl_setopt($curlobj, curlopt_ssl_verifypeer, 0); // 对认证证书来源的检查从证书中检查ssl加密算法是否存在curl_setopt($curlobj, curlopt_ssl_verifyhost, 2); // $output=curl_exec($curlobj); // 执行curl_close($curlobj); // 关闭curlecho $output;?>
相关推荐：
php之curl学习_php教程
以上就是php网络爬虫之curl详解的详细内容。