抓取或者模拟请求之php利用socket发送HTTP请求（GET，POST）

分类：PHP_Python| 发布：佚名| 查看：265 | 发表时间：2015/11/16

在日常编程中相信很多人和我一样大部分时间是利用浏览器向服务器提出GET，POST请求，那么可否利用其它方式提出GET,POST请求呢？答案必然是肯定的。了解过HTTP协议的人知道，浏览器提交请求的实质是向服务器发送一个请求信息，这个请求信息有请求行，请求头，请求体（非必须）构成。服务器根据请求信息返回一个响应信息。连接断开。

　　HTTP请求的格式如下所示：

1<request-line>
2<headers>
3<blank line>
4[<request-body>]

　　HTTP响应的格式与请求的格式十分相似：

1<status-line>
2<headers>
3<blank line>
4[<response-body>]

　　我们可以利用HTTP发送请求的原理，可以重新考虑利用socket发送HTTP请求。

　　Socket的英文原义是“孔”或“插座”。通常也称作“套接字”，用于描述IP地址和端口，是一个通信链的句柄，可以用来实现不同虚拟机或不同计算机之间的通信。在Internet上的主机一般运行了多个服务软件，同时提供几种服务。每种服务都打开一个Socket，并绑定到一个端口上，不同的端口对应于不同的服务。如此看来，其实利用socket操作远程文件和读写本地的文件一样容易，把本地文件看成通过硬件传输，远程文件通过网线传输就行了。

　　因而可以将发送请求的考虑成建立连接->打开socket接口(fsockopen())->写入请求（fwrite()）->读出响应（fread()->关闭文件（fclose()）。话不多说，直接上代码：

01<?php 
02interface Proto {
03  // 连接url
04  function conn($url);
05  //发送get查询
06  function get();
07  // 发送post查询
08  function post();
09  // 关闭连接
10  function close();
11}
12class Http implements Proto {
13  const CRLF = "\r\n";
14  protected $errno = -1;
15  protected $errstr = '';
16  protected $response = '';
17  protected $url = null;
18  protected $version = 'HTTP/1.1';
19  protected $fh = null;
20  protected $line = array();
21  protected $header = array();
22  protected $body = array();
23  public function __construct($url) {
24    $this->conn($url);
25    $this->setHeader('Host: ' . $this->url['host']);
26  }
27  // 此方法负责写请求行
28  protected function setLine($method) {
29    $this->line[0] = $method . ' ' . $this->url['path'] . '?' .$this->url['query'] . ' '. $this->version;
30  }
31  // 此方法负责写头信息
32  public function setHeader($headerline) {
33    $this->header[] = $headerline; 
34  }
35  // 此方法负责写主体信息
36  protected function setBody($body) {
37     $this->body[] = http_build_query($body);
38  }
39  // 连接url
40  public function conn($url) {
41    $this->url = parse_url($url);
42    //　判断端口
43    if(!isset($this->url['port'])) {
44      $this->url['port'] = 80;
45    }
46    //　判断query
47    if(!isset($this->url['query'])) {
48      $this->url['query'] = '';
49    }
50    $this->fh = fsockopen($this->url['host'],$this->url['port'],$this->errno,$this->errstr,3);
51  }
52  //构造get请求的数据
53  public function get() {
54    $this->setLine('GET');
55    $this->request();
56    return $this->response;
57  }
58  // 构造post查询的数据
59  public function post($body = array()) {   
60    $this->setLine('POST');
61    // 设计content-type
62    $this->setHeader('Content-type: application/x-www-form-urlencoded');
63    // 设计主体信息,比GET不一样的地方
64    $this->setBody($body);
65    // 计算content-length
66    $this->setHeader('Content-length: ' . strlen($this->body[0]));
67    $this->request();
68    return $this->response;
69  }
70  // 真正请求
71  public function request() {
72    // 把请求行，头信息，实体信息　放在一个数组里，便于拼接
73    $req = array_merge($this->line,$this->header,array(''),$this->body,array(''));
74    //print_r($req);
75    $req = implode(self::CRLF,$req); 
76    //echo $req; exit;
77    fwrite($this->fh,$req);
78    while(!feof($this->fh)) {
79      $this->response .= fread($this->fh,1024);
80    }
81    $this->close(); //　关闭连接
82  }
83  // 关闭连接
84  public function close() {
85    fclose($this->fh);
86  }
87}

利用此类发送一个简单的GET请求：

`1`	`<?php//记得引用Http类$url="http://home.jb51.net/u/DeanChopper/";$http=new Http($url);$response=$http->get();print_r($response);`

　　返回值为信息，可以对响应信息进行进一步处理，得到自己想得到的内容。

我们来看下一个具体的实例

01<?php
02/**
03 * 使用PHP Socket 编程模拟Http post和get请求
04 * @author koma
05 */
06class Http{
07  private $sp = "\r\n"; //这里必须要写成双引号
08  private $protocol = 'HTTP/1.1';
09  private $requestLine = "";
10  private $requestHeader = "";
11  private $requestBody = "";
12  private $requestInfo = "";
13  private $fp = null;
14  private $urlinfo = null;
15  private $header = array();
16  private $body = "";
17  private $responseInfo = "";
18  private static $http = null; //Http对象单例
19    
20  private function __construct() {}
21    
22  public static function create() {
23    if ( self::$http === null ) { 
24      self::$http = new Http();
25    }
26    return self::$http;
27  }
28    
29  public function init($url) {
30    $this->parseurl($url);
31    $this->header['Host'] = $this->urlinfo['host'];
32    return $this;
33  }
34    
35  public function get($header = array()) {
36    $this->header = array_merge($this->header, $header);
37    return $this->request('GET');
38  }
39    
40  public function post($header = array(), $body = array()) {
41    $this->header = array_merge($this->header, $header);
42    if ( !empty($body) ) {
43      $this->body = http_build_query($body);
44      $this->header['Content-Type'] = 'application/x-www-form-urlencoded';
45      $this->header['Content-Length'] = strlen($this->body);
46    }
47    return $this->request('POST');
48  }
49    
50  private function request($method) {
51    $header = "";
52    $this->requestLine = $method.' '.$this->urlinfo['path'].'?'.$this->urlinfo['query'].' '.$this->protocol;
53    foreach ( $this->header as $key => $value ) {
54      $header .= $header == "" ? $key.':'.$value : $this->sp.$key.':'.$value;
55    }
56    $this->requestHeader = $header.$this->sp.$this->sp;
57    $this->requestInfo = $this->requestLine.$this->sp.$this->requestHeader;
58    if ( $this->body != "" ) {
59      $this->requestInfo .= $this->body;
60    }
61    /*
62     * 注意：这里的fsockopen中的url参数形式为"www.xxx.com"
63     * 不能够带"http://"这种
64     */
65    $port = isset($this->urlinfo['port']) ? isset($this->urlinfo['port']) : '80';
66    $this->fp = fsockopen($this->urlinfo['host'], $port, $errno, $errstr);
67    if ( !$this->fp ) {
68      echo $errstr.'('.$errno.')';
69      return false;
70    }
71    if ( fwrite($this->fp, $this->requestInfo) ) {
72      $str = "";
73      while ( !feof($this->fp) ) {
74        $str .= fread($this->fp, 1024);
75      }
76      $this->responseInfo = $str;
77    }
78    fclose($this->fp);
79    return $this->responseInfo;
80  }
81    
82  private function parseurl($url) {
83    $this->urlinfo = parse_url($url);
84  }
85}
86// $url = "http://news.163.com/14/1102/01/AA0PFA7Q00014AED.html";
87$url = "http://localhost/httppro/post.php";
88$http = Http::create()->init($url);
89/* 发送get请求 
90 
91echo $http->get(array(
92  'User-Agent' => 'Mozilla/5.0 (Windows NT 6.1; WOW64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/35.0.1916.153 Safari/537.36',
93));
94*/
95  
96/* 发送post请求 */
97echo $http->post(array(
98    'User-Agent' => 'Mozilla/5.0 (Windows NT 6.1; WOW64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/35.0.1916.153 Safari/537.36',
99), array('username'=>'发一个中文', 'age'=>22));