您好,欢迎访问一九零五行业门户网

php file_get_contents 设置代理抓取页面示例

file_get_contents函数在php中可以直接打开本地文件也可以直接抓取远程服务器文件,如果简单的采集我们可以使用file_get_contents直接来操作,如果有防采集我们可能需要代理来操作,下面我来介绍file_get_contents抓取页面示例。
例1,普通页面获取
例如,访问54master论坛,想抓取首页里 所有h3标记内的元素。
 代码如下 复制代码
$url=http://www.111cn.net;
$contents=@file_get_contents($url);
//preg_match_all(/
(.*?)
/is,$contents,$content);
preg_match_all(/(.*?)/is,$contents,$content);
print_r($content[0]);
例2,设置代码ip去采集数据
使用file_get_contents 和 stream_context_create 即可。
代码如下:
 代码如下 复制代码
$acontext = array(
    'http' => array(
        'proxy' => 'tcp://192.168.0.2:3128',  //这里设置你要使用的代理ip及端口号
        'request_fulluri' => true,
    ),
);
$cxcontext = stream_context_create($acontext);
$sfile = file_get_contents(http://www.111cn.net, false, $cxcontext);
echo $sfile;
以上代码适用于正常情况,但是如果目标页面需要登录或需要认证信息才能访问的话,可以加多一句代码。
 代码如下 复制代码
$auth = base64_encode('login:password');   //login:password 这里是你的账户名及密码
$acontext = array(
    'http' => array(
        'proxy' => 'tcp://192.168.0.2:3128',  //这里设置你要使用的代理ip及端口号
        'request_fulluri' => true,
        'header' => proxy-authorization: basic $auth,
    ),
);
$cxcontext = stream_context_create($acontext);
$sfile = file_get_contents(http://www.111cn.net, false, $cxcontext);
echo $sfile;
这样就可以使用代理来抓取页面或文件了
其它类似信息

推荐信息