java使用java.net.URLConnection发送HTTP请求

java使用java.net.URLConnection发送HTTP请求

一、概述

java.net.URLConnection这里经常问到使用的问题,而Oracle教程对此却过于简洁。

该教程基本上仅显示如何触发GET请求并读取响应。它没有任何地方说明如何使用它来执行POST请求,设置请求标头,读取响应标头,处理cookie,提交HTML表单,上传文件等。

那么,如何使用它java.net.URLConnection来触发和处理“高级” HTTP请求?

 

二、详解

首先,先声明一下:发布的代码段都是基本示例。您将需要处理琐碎的IOExceptions和RuntimeExceptions like NullPointerExceptionArrayIndexOutOfBoundsException然后自己整理。


准备中

我们首先需要至少知道URL和字符集。参数是可选的,并取决于功能要求。

String url = "http://example.com";
String charset = "UTF-8";  // Or in Java 7 and later, use the constant: java.nio.charset.StandardCharsets.UTF_8.name()
String param1 = "value1";
String param2 = "value2";
// ...

String query = String.format("param1=%s¶m2=%s", 
     URLEncoder.encode(param1, charset), 
     URLEncoder.encode(param2, charset));

查询参数的name=value格式必须为,并由串联&通常,您还可以使用指定的字符集对查询参数进行网址编码URLEncoder#encode()

String#format()只是为方便起见。当我需要+两次以上的String串联运算符时,我更喜欢它


使用查询参数触发HTTP GET请求

这是一项琐碎的任务。这是默认的请求方法。

URLConnection connection = new URL(url + "?" + query).openConnection();
connection.setRequestProperty("Accept-Charset", charset);
InputStream response = connection.getInputStream();
// ...

任何查询字符串都应使用串联到URL ?Accept-Charset标题可能暗示什么编码参数是在服务器中。如果你不发送任何查询字符串,那么你就可以离开了Accept-Charset头了。如果您不需要设置任何标题,那么甚至可以使用URL#openStream()快捷方式。

InputStream response = new URL(url).openStream();
// ...

无论哪种方式,如果另一侧是an HttpServlet,则将doGet()调用方法,并且参数将通过提供HttpServletRequest#getParameter()

出于测试目的,您可以将响应正文打印到stdout,如下所示:

try (Scanner scanner = new Scanner(response)) {
    String responseBody = scanner.useDelimiter("\\A").next();
    System.out.println(responseBody);
}

使用查询参数触发HTTP POST请求

将设置为URLConnection#setDoOutput()true隐式将请求方法设置为POST。与Web表单一样,标准HTTP POST的类型是application/x-www-form-urlencoded将查询字符串写入请求正文。

URLConnection connection = new URL(url).openConnection();
connection.setDoOutput(true); // Triggers POST.
connection.setRequestProperty("Accept-Charset", charset);
connection.setRequestProperty("Content-Type", "application/x-www-form-urlencoded;charset=" + charset);

try (OutputStream output = connection.getOutputStream()) {
    output.write(query.getBytes(charset));
}

InputStream response = connection.getInputStream();
// ...

注意:每当您要以编程方式提交HTML表单时,请不要忘记将name=value任何元素对都放入查询字符串中,当然也要将要通过编程“按”name=value元素(因为通常用于服务器端,以区分是否按下了按钮,如果按下了按钮,则区分哪个按钮。

您也可以将获得的内容转换URLConnection为,HttpURLConnection并使用它HttpURLConnection#setRequestMethod()代替。但是,如果您尝试将连接用于输出,则仍需要设置URLConnection#setDoOutput()true

HttpURLConnection httpConnection = (HttpURLConnection) new URL(url).openConnection();
httpConnection.setRequestMethod("POST");
// ...

无论哪种方式,如果另一侧是an HttpServlet,则将doPost()调用方法,并且参数将通过提供HttpServletRequest#getParameter()


实际触发HTTP请求

您可以使用显式触发HTTP请求URLConnection#connect(),但是当您想要获取有关HTTP响应的任何信息(例如使用的响应主体等)时,请求将自动按需触发URLConnection#getInputStream()上面的示例正是这样做的,因此该connect()调用实际上是多余的。


收集HTTP响应信息

  1. HTTP响应状态:

您需要HttpURLConnection这里。如有必要,请先进行投射。

    int status = httpConnection.getResponseCode();
  1. HTTP响应标头:

     for (Entry> header : connection.getHeaderFields().entrySet()) {
         System.out.println(header.getKey() + "=" + header.getValue());
     }
    
  2. HTTP响应编码:

Content-Type包含charset参数时,响应主体可能是基于文本的,那么我们想使用服务器端指定的字符编码来处理响应主体。

    String contentType = connection.getHeaderField("Content-Type");
    String charset = null;

    for (String param : contentType.replace(" ", "").split(";")) {
        if (param.startsWith("charset=")) {
            charset = param.split("=", 2)[1];
            break;
        }
    }

    if (charset != null) {
        try (BufferedReader reader = new BufferedReader(new InputStreamReader(response, charset))) {
            for (String line; (line = reader.readLine()) != null;) {
                // ... System.out.println(line) ?
            }
        }
    } else {
        // It's likely binary content, use InputStream/OutputStream.
    }

维持会话

服务器端会话通常由cookie支持。某些Web表单要求您登录和/或由会话跟踪。您可以使用CookieHandlerAPI维护cookie。你需要准备一个CookieManager具有CookiePolicyACCEPT_ALL发送所有HTTP请求之前。

// First set the default cookie manager.
CookieHandler.setDefault(new CookieManager(null, CookiePolicy.ACCEPT_ALL));

// All the following subsequent URLConnections will use the same cookie manager.
URLConnection connection = new URL(url).openConnection();
// ...

connection = new URL(url).openConnection();
// ...

connection = new URL(url).openConnection();
// ...

请注意,这并非总是在所有情况下都能正常工作。如果失败了,那么最好是手动收集并设置Cookie标头。基本上,您需要Set-Cookie从登录或第一个GET请求的响应中获取所有标头,然后将其传递给后续请求。

// Gather all cookies on the first request.
URLConnection connection = new URL(url).openConnection();
List cookies = connection.getHeaderFields().get("Set-Cookie");
// ...

// Then use the same cookies on all subsequent requests.
connection = new URL(url).openConnection();
for (String cookie : cookies) {
    connection.addRequestProperty("Cookie", cookie.split(";", 2)[0]);
}
// ...

split(";", 2)[0]是有摆脱它们是无关的服务器端如cookie的属性expirespath等等。另外,你也可以使用cookie.substring(0, cookie.indexOf(';'))替代的split()


流媒体模式

HttpURLConnection默认情况下will会在实际发送请求之前缓冲整个请求正文,无论您是否使用设置了固定的内容长度connection.setRequestProperty("Content-Length", contentLength);OutOfMemoryException每当您同时发送大型POST请求(例如,上传文件)时,这可能会导致为避免这种情况,您想设置HttpURLConnection#setFixedLengthStreamingMode()

httpConnection.setFixedLengthStreamingMode(contentLength);

但是,如果确实事先不知道内容长度,则可以通过设置HttpURLConnection#setChunkedStreamingMode()相应的值来使用分块流模式这将设置HTTPTransfer-Encoding标头,以chunked强制将请求正文以块的形式发送。以下示例将以1KB的块发送正文。

httpConnection.setChunkedStreamingMode(1024);

用户代理

请求可能会返回意外响应,而在真正的Web浏览器中却可以正常工作。服务器端可能正在根据User-Agent请求标头阻止请求URLConnection默认情况下will将其设置Java/1.6.0_19为最后一部分显然是JRE版本的位置。您可以按以下方式覆盖它:

connection.setRequestProperty("User-Agent", "Mozilla/5.0 (Windows NT 6.1) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/41.0.2228.0 Safari/537.36"); // Do as if you're using Chrome 41 on Windows 7.

使用最近浏览器中的User-Agent字符串。


错误处理

如果HTTP响应代码是4nn(客户端错误)或5nn(服务器错误),则您可能需要阅读,HttpURLConnection#getErrorStream()以查看服务器是否发送了任何有用的错误信息。

InputStream error = ((HttpURLConnection) connection).getErrorStream();

如果HTTP响应代码为-1,则连接和响应处理出错。HttpURLConnection实现是在较旧的JRE中进行的,有些bug会使连接保持活动状态。您可能需要通过将http.keepAlivesystem属性设置为来关闭它false您可以通过以下方式在应用程序的开头以编程方式执行此操作:

System.setProperty("http.keepAlive", "false");

文件上传

通常,multipart/form-data对混合的POST内容(二进制和字符数据)使用编码。编码在RFC2388中有更详细的描述。

String param = "value";
File textFile = new File("/path/to/file.txt");
File binaryFile = new File("/path/to/file.bin");
String boundary = Long.toHexString(System.currentTimeMillis()); // Just generate some unique random value.
String CRLF = "\r\n"; // Line separator required by multipart/form-data.
URLConnection connection = new URL(url).openConnection();
connection.setDoOutput(true);
connection.setRequestProperty("Content-Type", "multipart/form-data; boundary=" + boundary);

try (
    OutputStream output = connection.getOutputStream();
    PrintWriter writer = new PrintWriter(new OutputStreamWriter(output, charset), true);
) {
    // Send normal param.
    writer.append("--" + boundary).append(CRLF);
    writer.append("Content-Disposition: form-data; name=\"param\"").append(CRLF);
    writer.append("Content-Type: text/plain; charset=" + charset).append(CRLF);
    writer.append(CRLF).append(param).append(CRLF).flush();

    // Send text file.
    writer.append("--" + boundary).append(CRLF);
    writer.append("Content-Disposition: form-data; name=\"textFile\"; filename=\"" + textFile.getName() + "\"").append(CRLF);
    writer.append("Content-Type: text/plain; charset=" + charset).append(CRLF); // Text file itself must be saved in this charset!
    writer.append(CRLF).flush();
    Files.copy(textFile.toPath(), output);
    output.flush(); // Important before continuing with writer!
    writer.append(CRLF).flush(); // CRLF is important! It indicates end of boundary.

    // Send binary file.
    writer.append("--" + boundary).append(CRLF);
    writer.append("Content-Disposition: form-data; name=\"binaryFile\"; filename=\"" + binaryFile.getName() + "\"").append(CRLF);
    writer.append("Content-Type: " + URLConnection.guessContentTypeFromName(binaryFile.getName())).append(CRLF);
    writer.append("Content-Transfer-Encoding: binary").append(CRLF);
    writer.append(CRLF).flush();
    Files.copy(binaryFile.toPath(), output);
    output.flush(); // Important before continuing with writer!
    writer.append(CRLF).flush(); // CRLF is important! It indicates end of boundary.

    // End of multipart/form-data.
    writer.append("--" + boundary + "--").append(CRLF).flush();
}

如果另一侧是HttpServlet,则将doPost()调用方法,并且将通过HttpServletRequest#getPart()(请注意,因此不是 getParameter(),依此类推!)来提供部件。getPart()但是,方法相对较新,它是在Servlet 3.0中引入的(Glassfish 3,Tomcat 7等)。在Servlet 3.0之前,最好的选择是使用Apache Commons FileUpload解析multipart/form-data请求。另请参见此答案,以获取FileUpload和Servelt 3.0方法的示例。


处理不受信任或配置错误的HTTPS站点

有时您需要连接HTTPS URL,这可能是因为您正在编写Web爬虫。在这种情况下,您可能会遇到javax.net.ssl.SSLException: Not trusted server certificate在某些HTTPS站点上未保持其SSL证书最新的情况,java.security.cert.CertificateException: No subject alternative DNS name matching [hostname] found或者javax.net.ssl.SSLProtocolException: handshake alert: unrecognized_name在某些配置错误的HTTPS站点上遇到

static您的Web scraper类中的以下一次性运行初始化程序应使HttpsURLConnection那些HTTPS站点更为宽大,因此不再抛出这些异常。

static {
    TrustManager[] trustAllCertificates = new TrustManager[] {
        new X509TrustManager() {
            @Override
            public X509Certificate[] getAcceptedIssuers() {
                return null; // Not relevant.
            }
            @Override
            public void checkClientTrusted(X509Certificate[] certs, String authType) {
                // Do nothing. Just allow them all.
            }
            @Override
            public void checkServerTrusted(X509Certificate[] certs, String authType) {
                // Do nothing. Just allow them all.
            }
        }
    };

    HostnameVerifier trustAllHostnames = new HostnameVerifier() {
        @Override
        public boolean verify(String hostname, SSLSession session) {
            return true; // Just allow them all.
        }
    };

    try {
        System.setProperty("jsse.enableSNIExtension", "false");
        SSLContext sc = SSLContext.getInstance("SSL");
        sc.init(null, trustAllCertificates, new SecureRandom());
        HttpsURLConnection.setDefaultSSLSocketFactory(sc.getSocketFactory());
        HttpsURLConnection.setDefaultHostnameVerifier(trustAllHostnames);
    }
    catch (GeneralSecurityException e) {
        throw new ExceptionInInitializerError(e);
    }
}

如若转载,请注明出处:https://www.javaidea.cn/article/8206.html

(0)
上一篇 2022年2月7日 上午10:03
下一篇 2022年2月7日 上午10:03

相关推荐

发表评论

您的电子邮箱地址不会被公开。