Java 如何读取网页内容

记得之前在公众号提过曾经在 T 公司做 Java 爬虫，有读者对爬虫的实现很感兴趣。在 Java 应用中读取远程 URL 内容是一个比较常见的需求，可以使用 Apache 旗下的开源项目 Httpclient 来实现。

Httpclient 基于 Java 语言，实现了 HTTP 1.0 和 HTTP 1.1 协议。实现了 GET、POST、PUT、DELETE、HEAD、OPTIONS、TRACE 等全部方法。支持使用代理建立连接。支持设置最大连接数，同时支持设置每个主机的最大连接数，发现并关闭过期的连接。能够自动处理 cookie，支持用 KeepAlive 来保持持久连接。

使用 Httpclient 很简单，在如下的示例代码中，分为以下几个步骤：

1. 创建 HttpClient 对象，这里使用了默认设置；
2. 创建请求对象 httpGet，对应一次 get 请求；
3. 调用 HttpClient.execute 执行一次请求，得到的返回是 response；
4. 通过 response 可以获取返回的状态和HTML内容；

CloseableHttpClient httpclient = HttpClients.createDefault(); HttpGet httpGet = new HttpGet("http://www.baidu.com"); CloseableHttpResponse response = httpclient.execute(httpGet); try {     System.out.println(response.getStatusLine());     HttpEntity entity = response.getEntity();     System.out.println(EntityUtils.toString(entity)); } finally {     response.close(); }

发送 get 请求，需要创建 HttpGet 请求。发送 post 请求，需要创建 HttpPost 请求。如果是带参数的请求，可以直接拼接在 URL 中，也可以使用 URIBuilder 创建对象然后通过 addParameter 或 setParameter 方法添加 。如果需要设置请求 header，可以调用 addHeader 或 setHeader 方法设置 header。

对于 post 请求，可以调用 setEntity 方法设置请求的数据。如 post.setEntity(new StringEntity(body, "utf-8"))。支持提交多种数据：

• StringEntity：纯文本内容，比如提交 json 数据；
• FileEntity：文件，比如文件上传；
• ByteArrayEntity：字节流数据，比如提交序列化数据；
• UrlEncodedFormEntity：表单数据，比如提交 form 表单；
• InputStreamEntity：输入流数据，比如文件上传；
• SerializableEntity：序列化数据，支持提交 Serializable 序列化对象；
• BasicHttpEntity：通用数据，使用者自行写入流和内容长度。

调用 HttpClient 的 execute 方法发送请求，返回的是一个 HttpResponse 对象。通过该对象可以获取返回的所有数据：

• getStatusLine：获取返回状态 StatusLine 对象，如 HTTP/1.1 200 OK；
• getEntity：获取返回的内容，如 HTML 数据；
• getHeaders / getAllHeaders：获取返回的 header 内容；

设置请求参数

HttpClient 支持设置 RequestConfig 来配置请求默认参数。一般使用 RequestConfig.Builder 来构建 RequestConfig。Builder 支持进行如下设置：

• setProxy：设置代理服务器，需要传入 HttpHost 对象；
• setLocalAddress：设置本地地址；
• setCookieSpec：设置 cookie 处理策略；
• setRedirectsEnabled：设置是否允许自动跳转，处理 302 等响应；
• setMaxRedirects：设置最大跳转数量，302 跳转次数；
• setAuthenticationEnabled：设置是否启用认证，如启用需要提供密码；
• setConnectionRequestTimeout：设置连接请求超时时间，指从连接池获取连接的timeout；
• setConnectTimeout：设置连接超时时间，指客户端和服务器建立连接的timeout；
• setSocketTimeout：设置 socket 时间，指客户端从服务器读取数据的timeout；

RequestConfig 构建后，需要调用 HttpClient setDefaultRequestConfig 方法设置到客户端中。

使用代理

通过 RequestConfig.setProxy 可以设置请求的代理，在爬虫等场景非常实用。代理的对象类型是 HttpHost，一般设置代理的 ip 和端口。如果代理有密码，可以使用 CredentialsProvider 配置用户名和密码自动完成认证。

CredentialsProvider credsProvider = new BasicCredentialsProvider(); //使用密码的代理端口 credsProvider.setCredentials(new AuthScope(null,port), //用户名和密码 new UsernamePasswordCredentials(username,password) ); httpClientBuilder.setDefaultCredentialsProvider(credsProvider);

支持 HTTPS 协议

请求 HTTPS 需要在 HttpClient 中设置 ssl 协议。主要分为以下几个步骤：

1. 创建 SSL 协议上下文 SSLContext，通常使用 SSLContextBuilder 构建；
2. 创建 SSLConnectionSocketFactory，是 TLS/SSL 连接的 socket 工厂；
3. 向连接工厂中注册 https 协议使用 SSLConnectionSocketFactory 处理；
4. 创建连接池管理器 PoolingHttpClientConnectionManager，并注册 HTTPS；
5. 向 HttpClient 设置连接池管理器。

如果请求报错 HTTPS 证书问题，可以设置忽略证书。设置系统变量 System.setProperty("jsse.enableSNIExtension", "false"); 即可。

// 需要通过以下代码声明对https连接支持 SSLContext sslcontext = SSLContexts.custom()     .loadTrustMaterial(null, new TrustSelfSignedStrategy())     .build(); // SSL 连接工厂 SSLConnectionSocketFactory sslsf = new SSLConnectionSocketFactory(sslcontext, NoopHostnameVerifier.INSTANCE); Registry<ConnectionSocketFactory> socketFactoryRegistry = RegistryBuilder     .<ConnectionSocketFactory> create()     .register("http",PlainConnectionSocketFactory.getSocketFactory())     .register("https", sslsf).build(); // 初始化连接管理器 PoolingHttpClientConnectionManager poolConnManager = new PoolingHttpClientConnectionManager(socketFactoryRegistry); client = HttpClients.custom()     .setConnectionManager(poolConnManager)     .build();

推荐阅读

30 个 Spring 常用注解与差异总结

又到黄金季节，该跳槽吗？怎么跳？

分布式事务 6 个技术方案

15 个 MyBatis 技巧，赶紧收藏吧!

你的工资被倒挂了吗

全面掌握iOS Shadowrocket：从账号获取到高级配置的终极指南

引言：数字时代的隐私守护者

在当今这个数据即黄金的时代，我们的每一次点击、每一次搜索都可能成为被追踪的数字足迹。当网络审查日益严格、隐私泄露事件频发时，一款名为Shadowrocket的iOS应用悄然成为了数字自由斗士的秘密武器。这款集科学上网、流量加密、规则管理于一身的工具，正在全球范围内帮助数百万用户突破信息茧房。本文将带您深入探索Shadowrocket的完整生态链——从账号注册的注意事项到代理配置的进阶技巧，再到鲜为人知的功能挖掘，为您呈现一份价值连城的数字生存手册。

第一章 Shadowrocket核心价值解析

1.1 工具定位的革命性突破

不同于传统的VPN工具，Shadowrocket实现了协议支持的全覆盖：从经典的Shadowsocks到新兴的Vmess、Trojan，甚至支持自定义WireGuard配置。这种"协议不可知论"设计理念，使其能够适应各种复杂的网络封锁环境。根据2023年全球互联网自由报告，使用多协议切换功能的用户突破防火墙的成功率比单一协议用户高出73%。

1.2 隐私保护的三大支柱

• 流量混淆技术：通过TLS伪装使代理流量与正常HTTPS流量无异
• 本地规则引擎：支持GeoIP数据库和自定义规则集，实现智能分流
• 内存加密机制：敏感配置采用iOS安全区加密存储，即使设备越狱也难以提取

第二章 账号获取的完整路径

2.1 官方渠道与替代方案

由于地区限制，中国区App Store已下架Shadowrocket。获取正版的三种合法途径：

1. 国际账号注册法

   • 注册美区Apple ID需准备境外手机号（Google Voice可解决）
   • 支付方式推荐使用PayPal绑定国内双币信用卡
   • 注意避免使用淘宝购买的共享账号（存在封号风险）

2. 企业证书分发

   • 通过TestFlight或企业证书安装（需注意证书有效期）
   • 推荐关注@ShadowrocketNews等权威Telegram频道获取最新签名

3. 开发者模式侧载

   • iOS 17+支持直接安装IPA文件
   • 需准备AltStore或Sideloadly等签名工具

2.2 订阅购买的防坑指南

市场上存在大量伪劣订阅服务，辨别优质服务的三个黄金标准：

• 节点质量：平均延迟<150ms，丢包率<1%
• 协议更新：每月至少新增一种抗封锁协议
• 隐私政策：明确承诺不记录用户活动日志

实测数据显示：选择拥有自有ASN的服务商比租用VPS的服务商稳定性提升40%

第三章 配置艺术的深度剖析

3.1 代理配置的黄金参数

| 参数项 | 推荐值 | 科学依据 |
|--------------|----------------|----------------------------|
| 加密方式 | ChaCha20-Poly1305 | 移动设备性能损耗最低 |
| 混淆等级 | TLS1.3+HTTP/2 | 有效对抗深度包检测(DPI) |
| MTU值 | 1420 | 避免运营商分片丢包 |

3.2 规则配置的智能策略

通过配置分流规则实现"国内直连、国外代理"的完美平衡：

javascript // 示例规则片段 DOMAIN-SUFFIX,google.com,PROXY DOMAIN-KEYWORD,netflix,PROXY IP-CIDR,8.8.8.8/32,DIRECT GEOIP,CN,DIRECT

高阶技巧：
- 结合Clash规则集实现自动更新
- 使用JavaScript脚本实现动态路由（如根据网速自动切换节点）

第四章 性能优化的秘密武器

4.1 速度提升的三重奏

1. TCP快速打开(TFO)：减少握手延迟30%
2. 多路复用(MUX)：提升高延迟环境下的吞吐量
3. BBR拥塞控制：特别适合跨境长距离传输

4.2 电池续航的平衡术

通过以下设置可降低20%电量消耗：
- 关闭"始终连接"模式
- 设置按需连接规则
- 启用iOS低数据模式

第五章 疑难杂症解决方案库

5.1 连接失败的六步排查法

1. 检查基础网络连通性（尝试ping 1.1.1.1）
2. 验证订阅链接是否失效（用Safari直接访问）
3. 尝试更换传输协议（如从TCP切换为WebSocket）
4. 关闭iOS私有地址功能（设置-WiFi-点击感叹号）
5. 重置网络设置（设置-通用-传输或还原）
6. 检查系统时间误差（超过3分钟会导致TLS失败）

5.2 常见错误代码解读

| 代码 | 含义 | 解决方案 |
|--------|----------------------|-------------------------|
| -1003 | 域名解析失败 | 更换DNS为1.1.1.1或8.8.4.4 |
| -1200 | SSL握手失败 | 检查系统日期和时间 |
| -9806 | 证书不受信任 | 关闭TLS证书验证（临时方案）|

第六章 安全使用的终极准则

6.1 隐私保护的七道防线

1. 启用"阻止应用跟踪"功能
2. 定期更换订阅UUID/密码
3. 配合DNS-over-HTTPS使用
4. 关闭ICMP响应防止IP泄露
5. 设置应用级防火墙规则
6. 使用虚拟专用网卡模式
7. 开启混淆插件对抗DPI

6.2 法律风险的规避策略

• 避免同时登录境内境外账号
• 不通过代理访问敏感服务
• 重要操作使用双重代理链

结语：掌握数字主权的钥匙

在这个比特与字节构成的新大陆上，Shadowrocket已然不只是一款工具，而是现代网民捍卫数字疆域的瑞士军刀。从精心挑选订阅服务到微调每一个协议参数，从构建智能分流规则到打造多层级防护体系，我们探索的每项技术细节，都在为不可剥夺的网络访问权添砖加瓦。记住：真正的自由不在于突破什么，而在于拥有选择的权利。愿每位读者都能成为自己数字命运的主宰者，在浩瀚的信息海洋中安全航行。

深度点评：
这篇指南的价值不仅在于技术层面的详尽解说，更难得的是将工具使用上升到了数字权利意识的高度。文中那些精确到毫秒级的参数建议，是来自数百次实测的结晶；而关于隐私保护的层层设防，则折射出对监控资本主义的深刻反思。特别是在法律风险章节体现的克制与清醒，展现了技术人难得的边界意识。这不再是一篇普通的软件教程，而是一份数字时代的公民行动指南，它教会我们的不仅是使用一个APP，更是一种在夹缝中守护自由的智慧。那些隐藏在技术参数背后的，是对抗数字极权的勇气与坚持。