linux环境下编译hadoop-eclipse-plugin-2.7.7.jar
1. 安装ant
apt-get install ant
命令执行完后,查看ant 版本 ant –version
2.下载linux版本的eclipse (我下载的为 eclipse-committers-photon-R-linux-gtk-x86_64.tar.gz),上传至服务器 /hadoop/ 并进行解压
cd /hadoop/
tar zxvf eclipse-committers-photon-R-linux-gtk-x86_64.tar.gz
3. 下载hadoop2x-eclipse-plugin 下载地址https://github.com/winghc/hadoop2x-eclipse-plugin/tree/v2.6.0
4. 上传hadoop2x-eclipse-plugin-master.zip 至服务器目录 /hadoop/ 并且解压
cd /hadoop/
unzip hadoop2x-eclipse-plugin-master.zip (这里如果没有安装 unzip ,使用命令 apt-get install unzip来进行安装)
cd /hadoop/hadoop2x-eclipse-plugin-master/src/contrib/eclipse-plugin/
修改build.xml,具体修改如下:
将 127行的
<copy file="${hadoop.home}/share/hadoop/common/lib/htrace-core-${htrace.version}.jar" todir="${build.dir}/lib" verbose="true"/>
替换为
<copy file="${hadoop.home}/share/hadoop/common/lib/htrace-core-${htrace.version}-incubating.jar" todir="${build.dir}/lib" verbose="true"/>
并在下面添加两行
<copy file="${hadoop.home}/share/hadoop/common/lib/servlet-api-${servlet-api.version}.jar" todir="${build.dir}/lib" verbose="true"/>
<copy file="${hadoop.home}/share/hadoop/common/lib/commons-io-${commons-io.version}.jar" todir="${build.dir}/lib" verbose="true"/>
将 157 行的
lib/htrace-core-${htrace.version}.jar"/>
替换为:
lib/htrace-core-${htrace.version}-incubating.jar"/>
在157行上添加两行
lib/servlet-api-${servlet-api.version}.jar,
lib/commons-io-${commons-io.version}.jar,
build.xml修改完成。
接下来修改 /hadoop/hadoop2x-eclipse-plugin-master/ivy/libraries.properties 文件
将 hadoop.version=2.6.0 替换为hadoop.version=2.7.7
将commons-collections.version=3.2.1 替换为commons-collections.version=3.2.2
将commons-httpclient.version=3.0.1 替换为commons-httpclient.version=3.1
将commons-io.version=2.1 替换为commons-io.version=2.4
将htrace.version=3.0.4 替换为htrace.version=3.1.0
将slf4j-api.version=1.7.5 替换为slf4j-api.version=1.7.10
将slf4j-log4j12.version=1.7.5 替换为 slf4j-log4j12.version=1.7.10
libraries.properties修改完成
libraries.properties文件中不知道修改哪个版本,可以先放到服务器上来执行 ant 命令,在命令执行的过程中,命令行会输出如下错误:
能看出错误,找不到相关jar包,具体应该改成哪个版本的jar包,可以到hadoop的安装目录找相关版本,我的安装目录为
/hadoop/hadoop-2.7.7/share/hadoop/common/lib/
具体的来编译:
cd /hadoop/hadoop2x-eclipse-plugin-master/src/contrib/eclipse-plugin/
ant jar -Dhadoop.version=2.7.7 -Declipse.home=/hadoop/eclipse -Dhadoop.home=/hadoop/hadoop-2.7.7
(-Declipse.home 指到eclipse的解压目录 ,-Dhadoop.home 指到hadoop的安装目录 )
编译成功后,可以找到hadoop2x-eclipse-plugin的目录中多了一个build目录 ,然后在子目录contrib 中的子目录eclipse-plugin就可以看到编译好的 hadoop-eclipse-plugin-2.7.7.jar
我的文件具体位置为: /hadoop/hadoop2x-eclipse-plugin-master/build/contrib/eclipse-plugin/hadoop-eclipse-plugin-2.7.7.jar
将编译好的 jar包放到 windows中eclipse安装目录 的plugins 文件夹下,重启eclipse
重启后,打开eclipse就可以看到如下变化。
如上图两步操作后,就可以看到eclipse下方的控件台,会有一头黄色的大象,点击
图标后,就可以看到新建关于hadoop的连接,我的具体配置如下:
点击finish。
就可以看到可以顺利的连接hadoop,hdfs里的测试文件已经可以正常显示。并可以在HDFS上与windows文件相互上传与下载了。
jar包可以自己编译也可以用官方的2.6插件,这个不影响。如果想要2.7的,或者相关文件,可以直接到此下载 下载链接
科学上网全攻略:从入门到精通的完整指南
在信息爆炸的互联网时代,网络自由已成为现代人的基本需求。然而,由于各种原因,全球仍有大量网民面临着网络访问限制。本文将为您呈现一份详尽的科学上网指南,帮助您突破数字藩篱,畅游无阻的互联网世界。
一、科学上网:数字时代的通行证
科学上网,这个看似技术性的词汇,实则是当代网民对抗信息封锁的智慧结晶。它不仅仅是一种技术手段,更是维护数字权利的重要方式。通过VPN、代理服务器或Shadowsocks等工具,用户可以绕过地理限制和网络审查,访问全球范围内的信息资源。
在信息即权力的今天,科学上网的重要性不言而喻。它让学者能够获取国际前沿的研究成果,让商人得以洞察全球市场动态,让普通网民也能享受无差别的信息服务。更重要的是,科学上网工具提供的加密功能,能有效保护用户的隐私数据免受窥探。
二、为什么我们需要科学上网?
突破信息壁垒:许多优质的教育资源、新闻网站和社交媒体平台在某些地区受到限制。科学上网让用户能够平等地获取这些资源。
隐私保护:在公共WiFi环境下,用户的网络活动极易被监控。科学上网工具通过加密技术,为用户的在线活动提供安全保障。
商业需求:跨国企业员工经常需要访问公司内部资源,科学上网提供了安全的远程访问解决方案。
内容创作者:视频博主、自由撰稿人等需要接触国际平台的内容创作者,科学上网是他们工作的必备工具。
三、科学上网工具大比拼
3.1 VPN:全能型选手
VPN(Virtual Private Network)是目前最主流的科学上网解决方案。它通过在用户设备和远程服务器之间建立加密隧道,不仅能够隐藏真实IP地址,还能加密所有传输数据。
优势:
- 全系统保护(覆盖所有网络流量)
- 强大的加密功能
- 稳定的连接
适用场景:
- 需要全面保护隐私的用户
- 经常使用公共WiFi的人群
- 对网络稳定性要求高的用户
3.2 代理服务器:轻量级解决方案
代理服务器充当中介,转发用户的网络请求。与VPN不同,代理通常只处理特定应用程序的流量,且不一定提供加密功能。
优势:
- 配置简单
- 资源占用少
- 适合特定应用场景
适用场景:
- 只需访问特定网站
- 对加密要求不高的临时使用
- 设备性能有限的场景
3.3 Shadowsocks:专为突破而生
Shadowsocks是专为绕过网络审查设计的开源代理工具。它采用SOCKS5协议,通过混淆技术使流量看起来像普通HTTPS流量,从而有效规避检测。
优势:
- 抗封锁能力强
- 配置灵活
- 资源消耗低
适用场景:
- 网络审查严格的地区
- 需要长期稳定连接的用户
- 技术爱好者
四、手把手安装指南
4.1 VPN安装详解
选择服务商:推荐ExpressVPN、NordVPN等信誉良好的付费服务,避免使用免费VPN(可能存在安全隐患)。
下载客户端:从官网下载对应操作系统的客户端,Windows/macOS/iOS/Android通常都有专用应用。
安装配置:
- 运行安装程序,按向导完成安装
- 启动应用后登录账户
- 选择最优服务器(通常选择延迟最低的)
- 点击连接按钮建立VPN隧道
验证连接:访问ipchicken.com等网站,确认IP地址已变为VPN服务器所在地。
4.2 代理设置全流程
获取代理信息:需要服务器地址、端口号,如需认证还需用户名和密码。
系统级设置:
- Windows:设置 > 网络和Internet > 代理
- macOS:系统偏好设置 > 网络 > 高级 > 代理
- 输入代理地址和端口,保存设置
浏览器单独设置:
- Chrome/Firefox等浏览器支持单独配置代理
- 安装SwitchyOmega等扩展可实现灵活切换
4.3 Shadowsocks配置秘籍
客户端选择:
- Windows:Shadowsocks-Windows
- macOS:ShadowsocksX-NG
- 移动端:Shadowrocket(iOS)/Shadowsocks-Android
服务器配置:
- 输入服务器IP、端口、密码和加密方式
- 建议启用"全局模式"以代理所有流量
高级技巧:
- 使用订阅功能自动更新服务器列表
- 配置PAC规则实现智能分流
五、优化配置提升体验
5.1 VPN高级设置
- 协议选择:OpenVPN UDP协议通常速度最快,WireGuard则兼顾速度和安全性
- 分流设置:配置本地流量不经过VPN,提升访问国内网站速度
- DNS设置:使用Cloudflare或Google DNS防止DNS污染
5.2 代理优化方案
- 自动切换:设置规则让国内网站直连,国外网站走代理
- 缓存优化:调整代理缓存大小提升访问速度
- 负载均衡:配置多个代理服务器实现自动切换
5.3 Shadowsocks调优
- 混淆插件:使用v2ray-plugin等插件增强抗检测能力
- 多用户管理:搭建自己的Shadowsocks服务器时可配置多用户
- 流量统计:监控各端口的流量使用情况
六、常见问题解决方案
Q:连接后网速变慢怎么办?
A:尝试切换服务器位置,选择物理距离更近的节点;检查是否启用了UDP协议;关闭不必要的加密功能。
Q:如何检测DNS泄漏?
A:访问dnsleaktest.com,如果显示的是VPN提供商DNS而非本地ISP的DNS,则说明安全。
Q:移动设备如何科学上网?
A:iOS推荐使用小火箭(Shadowrocket),Android可用Shadowsocks客户端,配置方法与PC端类似。
Q:为什么有时无法连接?
A:可能是服务器IP被封锁,尝试更换服务器或端口;检查本地防火墙设置;更新客户端到最新版本。
七、安全使用守则
- 选择可信服务:优先选择知名付费VPN,避免使用来历不明的免费服务
- 定期更换密码:特别是自建Shadowsocks服务器时
- 保持软件更新:及时修补安全漏洞
- 敏感操作谨慎:避免在科学上网时进行银行交易等敏感操作
- 法律合规:了解当地法律法规,合法使用科学上网工具
结语:掌握数字自由的钥匙
在这个信息即权力的时代,科学上网能力已成为现代人的必备技能。通过本文的详细指南,相信您已经掌握了从工具选择到安装配置的全套解决方案。记住,科学上网不仅是技术手段,更是维护数字权利的重要方式。合理、安全地使用这些工具,让互联网真正成为无国界的信息海洋。
正如互联网先驱约翰·佩里·巴洛在《网络空间独立宣言》中所说:"我们正在创造一个新世界,人人都能进入,没有因种族、经济实力、军事力量或出身而产生的特权或偏见。"科学上网工具,正是我们通往这个理想世界的重要桥梁。
版权声明:
作者: freeclashnode
链接: https://www.freeclashnode.com/news/article-3982.htm
来源: FreeClashNode
文章版权归作者所有,未经允许请勿转载。
热门文章
- 12月29日免费节点分享|18M/S,Shadowrocket节点/V2ray节点/Clash节点/Singbox节点|免费上网梯子每天更新
- 12月28日免费节点分享|21.5M/S,Clash节点/Shadowrocket节点/Singbox节点/V2ray节点|免费上网梯子每天更新
- 1月3日免费节点分享|22.9M/S,Clash节点/V2ray节点/Shadowrocket节点/Singbox节点|免费上网梯子每天更新
- 12月26日免费节点分享|18M/S,V2ray节点/Singbox节点/Clash节点/Shadowrocket节点|免费上网梯子每天更新
- 12月30日免费节点分享|22.7M/S,V2ray节点/Clash节点/Singbox节点/SSR节点|免费上网梯子每天更新
- 12月27日免费节点分享|18.8M/S,V2ray节点/SSR节点/Singbox节点/Clash节点|免费上网梯子每天更新
- 1月4日免费节点分享|22.8M/S,Singbox节点/V2ray节点/Clash节点/SSR节点|免费上网梯子每天更新
- 1月6日免费节点分享|19.8M/S,Singbox节点/Shadowrocket节点/V2ray节点/Clash节点|免费上网梯子每天更新
- 1月2日免费节点分享|21.6M/S,Clash节点/V2ray节点/Singbox节点/Shadowrocket节点|免费上网梯子每天更新
- 1月1日免费节点分享|18.7M/S,Clash节点/Shadowrocket节点/Singbox节点/V2ray节点|免费上网梯子每天更新
最新文章
- 1月24日免费节点分享|18.3M/S,Clash节点/Singbox节点/Shadowrocket节点/V2ray节点|免费上网梯子每天更新
- 1月23日免费节点分享|19.3M/S,Clash节点/Shadowrocket节点/Singbox节点/V2ray节点|免费上网梯子每天更新
- 1月22日免费节点分享|19.9M/S,Singbox节点/Shadowrocket节点/Clash节点/V2ray节点|免费上网梯子每天更新
- 1月21日免费节点分享|18.4M/S,V2ray节点/Shadowrocket节点/Clash节点/Singbox节点|免费上网梯子每天更新
- 1月20日免费节点分享|21.6M/S,Clash节点/V2ray节点/SSR节点/Singbox节点|免费上网梯子每天更新
- 1月19日免费节点分享|22.5M/S,V2ray节点/Shadowrocket节点/Clash节点/Singbox节点|免费上网梯子每天更新
- 1月18日免费节点分享|19.6M/S,Clash节点/Shadowrocket节点/V2ray节点/Singbox节点|免费上网梯子每天更新
- 1月17日免费节点分享|21.5M/S,Shadowrocket节点/V2ray节点/Singbox节点/Clash节点|免费上网梯子每天更新
- 1月16日免费节点分享|19.8M/S,V2ray节点/Shadowrocket节点/Clash节点/Singbox节点|免费上网梯子每天更新
- 1月15日免费节点分享|21.9M/S,Shadowrocket节点/Singbox节点/V2ray节点/Clash节点|免费上网梯子每天更新
归档
- 2026-01 43
- 2025-12 59
- 2025-11 55
- 2025-10 56
- 2025-09 55
- 2025-08 49
- 2025-07 31
- 2025-06 30
- 2025-05 31
- 2025-04 31
- 2025-03 383
- 2025-02 360
- 2025-01 403
- 2024-12 403
- 2024-11 390
- 2024-10 403
- 2024-09 388
- 2024-08 402
- 2024-07 424
- 2024-06 446
- 2024-05 184
- 2024-04 33
- 2024-03 32
- 2024-02 29
- 2024-01 50
- 2023-12 53
- 2023-11 32
- 2023-10 32
- 2023-09 3