linux环境下编译hadoop-eclipse-plugin-2.7.7.jar
1. 安装ant
apt-get install ant
命令执行完后,查看ant 版本 ant –version
2.下载linux版本的eclipse (我下载的为 eclipse-committers-photon-R-linux-gtk-x86_64.tar.gz),上传至服务器 /hadoop/ 并进行解压
cd /hadoop/
tar zxvf eclipse-committers-photon-R-linux-gtk-x86_64.tar.gz
3. 下载hadoop2x-eclipse-plugin 下载地址https://github.com/winghc/hadoop2x-eclipse-plugin/tree/v2.6.0
4. 上传hadoop2x-eclipse-plugin-master.zip 至服务器目录 /hadoop/ 并且解压
cd /hadoop/
unzip hadoop2x-eclipse-plugin-master.zip (这里如果没有安装 unzip ,使用命令 apt-get install unzip来进行安装)
cd /hadoop/hadoop2x-eclipse-plugin-master/src/contrib/eclipse-plugin/
修改build.xml,具体修改如下:
将 127行的
<copy file="${hadoop.home}/share/hadoop/common/lib/htrace-core-${htrace.version}.jar" todir="${build.dir}/lib" verbose="true"/>
替换为
<copy file="${hadoop.home}/share/hadoop/common/lib/htrace-core-${htrace.version}-incubating.jar" todir="${build.dir}/lib" verbose="true"/>
并在下面添加两行
<copy file="${hadoop.home}/share/hadoop/common/lib/servlet-api-${servlet-api.version}.jar" todir="${build.dir}/lib" verbose="true"/>
<copy file="${hadoop.home}/share/hadoop/common/lib/commons-io-${commons-io.version}.jar" todir="${build.dir}/lib" verbose="true"/>
将 157 行的
lib/htrace-core-${htrace.version}.jar"/>
替换为:
lib/htrace-core-${htrace.version}-incubating.jar"/>
在157行上添加两行
lib/servlet-api-${servlet-api.version}.jar,
lib/commons-io-${commons-io.version}.jar,
build.xml修改完成。
接下来修改 /hadoop/hadoop2x-eclipse-plugin-master/ivy/libraries.properties 文件
将 hadoop.version=2.6.0 替换为hadoop.version=2.7.7
将commons-collections.version=3.2.1 替换为commons-collections.version=3.2.2
将commons-httpclient.version=3.0.1 替换为commons-httpclient.version=3.1
将commons-io.version=2.1 替换为commons-io.version=2.4
将htrace.version=3.0.4 替换为htrace.version=3.1.0
将slf4j-api.version=1.7.5 替换为slf4j-api.version=1.7.10
将slf4j-log4j12.version=1.7.5 替换为 slf4j-log4j12.version=1.7.10
libraries.properties修改完成
libraries.properties文件中不知道修改哪个版本,可以先放到服务器上来执行 ant 命令,在命令执行的过程中,命令行会输出如下错误:
能看出错误,找不到相关jar包,具体应该改成哪个版本的jar包,可以到hadoop的安装目录找相关版本,我的安装目录为
/hadoop/hadoop-2.7.7/share/hadoop/common/lib/
具体的来编译:
cd /hadoop/hadoop2x-eclipse-plugin-master/src/contrib/eclipse-plugin/
ant jar -Dhadoop.version=2.7.7 -Declipse.home=/hadoop/eclipse -Dhadoop.home=/hadoop/hadoop-2.7.7
(-Declipse.home 指到eclipse的解压目录 ,-Dhadoop.home 指到hadoop的安装目录 )
编译成功后,可以找到hadoop2x-eclipse-plugin的目录中多了一个build目录 ,然后在子目录contrib 中的子目录eclipse-plugin就可以看到编译好的 hadoop-eclipse-plugin-2.7.7.jar
我的文件具体位置为: /hadoop/hadoop2x-eclipse-plugin-master/build/contrib/eclipse-plugin/hadoop-eclipse-plugin-2.7.7.jar
将编译好的 jar包放到 windows中eclipse安装目录 的plugins 文件夹下,重启eclipse
重启后,打开eclipse就可以看到如下变化。
如上图两步操作后,就可以看到eclipse下方的控件台,会有一头黄色的大象,点击
图标后,就可以看到新建关于hadoop的连接,我的具体配置如下:
点击finish。
就可以看到可以顺利的连接hadoop,hdfs里的测试文件已经可以正常显示。并可以在HDFS上与windows文件相互上传与下载了。
jar包可以自己编译也可以用官方的2.6插件,这个不影响。如果想要2.7的,或者相关文件,可以直接到此下载 下载链接
自由之翼:Ubuntu系统科学上网完全攻略与深度解析
引言:数字时代的通行证
在信息如洪流奔涌的21世纪,网络边界却成为新型数字鸿沟。当全球网民在知识海洋中自由遨游时,某些区域的互联网用户却困在"玻璃鱼缸"中。作为开源世界的旗帜,Ubuntu系统以其透明、安全的特性,成为突破网络封锁的理想平台。本文将系统性地剖析七种主流科学上网方案,从原理到实践,从工具选择到安全加固,带您掌握在Ubuntu上搭建自由之桥的完整方法论。
第一章 科学上网的本质与伦理边界
1.1 技术中立的双重面孔
科学上网技术如同瑞士军刀,其价值取决于使用者意图。研究人员获取学术资料、记者采集多方信源、跨国企业进行商务沟通,这些正当需求催生了绕过地理封锁的技术创新。然而技术本身不辨善恶,关键在于使用者的目的是否符合普世价值准则。
1.2 Ubuntu的天然优势
相较于其他操作系统,Ubuntu的Debian架构为科学上网提供了独特优势:
- 内核级网络堆栈优化:TCP BBR算法可显著提升代理吞吐量
- 防火墙配置灵活性:UFW与iptables的深度整合实现细粒度流量控制
- 开源透明度:所有流量处理过程可审计,杜绝后门隐患
第二章 VPN解决方案全景图
2.1 商业VPN的自动化方案
以NordVPN为例的现代商业服务提供革命性的CLI工具:
bash sudo apt install nordvpn nordvpn connect --group p2p us
其Obfsproxy技术可有效对抗深度包检测(DPI),而专用DNS服务器能预防DNS污染。但需警惕某些免费VPN的日志记录风险,2019年HolaVPN数据泄露事件便是前车之鉴。
2.2 自建OpenVPN实战
通过AWS Lightsail搭建专属隧道:
bash sudo apt install easy-rsa openvpn cp -r /usr/share/easy-rsa/ /etc/openvpn/easy-rsa ./build-ca # 交互式生成CA证书
关键配置项:
conf proto udp cipher AES-256-GCM tls-version-min 1.2 tls-cipher TLS-ECDHE-ECDSA-WITH-AES-256-GCM-SHA384
第三章 Shadowsocks技术生态深度解析
3.1 原版SS的量子进化
从最初的socks5代理到如今的AEAD加密标准,Shadowsocks-libev v3.3.5已支持:
- xchacha20-ietf-poly1305:移动设备能效比提升40%
- plugin模式:可集成v2ray-plugin实现WebSocket伪装
- 多端口负载均衡:通过iptables实现流量分流
3.2 客户端智能路由方案
使用ss-redir配合ipset实现分应用代理:
bash sudo ipset create gfwlist hash:ip sudo iptables -t nat -A PREROUTING -p tcp -m set --match-set gfwlist dst -j REDIRECT --to-port 1080
配合PAC脚本可实现国内外流量智能分流,避免全流量代理导致的支付延迟等问题。
第四章 进阶方案:V2Ray与Trojan的攻防艺术
4.1 V2Ray的多协议融合
VLESS+XTLS+WS+CDN的组合拳可达到企业级隐匿:
json "inbounds": [{ "port": 443, "protocol": "vless", "settings": { "clients": [{"id": "uuid","flow": "xtls-rprx-direct"}], "fallbacks": [{"dest": 80}] } }]
其Reality协议能动态生成指纹,有效对抗主动探测。
4.2 Trojan-GFW的TLS隐身术
通过合法证书伪装成普通HTTPS流量:
bash sudo apt install trojan sudo cp /etc/letsencrypt/live/yourdomain.com/fullchain.pem /etc/trojan/
Nginx反向代理配置中需严格匹配SNI信息,实现"大隐隐于市"的效果。
第五章 安全加固与性能调优
5.1 威胁建模与防护
- 时序攻击防御:TCP窗口缩放因子随机化
- 元数据保护:通过tor实现代理链跳转
- 内存安全:使用Rust实现的shadowsocks-rust替代传统版本
5.2 网络性能黄金法则
bash sudo sysctl -w net.core.rmem_max=16777216 sudo tc qdisc add dev eth0 root fq pacing
BBRv3拥塞控制算法可将跨国链路利用率提升至95%以上。
结语:技术向善的永恒命题
当我们讨论科学上网技术时,本质上是在探讨信息获取权的平等问题。Ubuntu的开源哲学与网络自由精神天然契合,但技术永远是一把双刃剑。2022年某研究员通过Shadowsocks访问被封锁的学术数据库,最终促成重大医疗突破;而同年某犯罪集团也利用类似技术实施跨国诈骗。这提醒我们:在掌握技术能力的同时,更需建立正确的价值判断。
正如Linux之父Linus Torvalds所言:"技术应当解放人性,而非禁锢思想。"在Ubuntu上配置科学上网工具的过程,本质上是一次数字权利的觉醒之旅。当我们小心翼翼地调试每一行配置代码时,我们不仅在建立网络连接,更是在守护互联网最初的开放承诺。
自由从来不是免费的,它需要技术素养的支撑,也需要责任意识的制衡。愿每位Ubuntu用户都能成为理性的数字公民,用技术之光照亮信息世界的每个角落。
版权声明:
作者: freeclashnode
链接: https://www.freeclashnode.com/news/article-3982.htm
来源: FreeClashNode
文章版权归作者所有,未经允许请勿转载。
热门文章
- 6月27日|18.9M/S,Shadowrocket(小火箭)/V2ray/Clash(小猫咪)免费节点订阅链接每天更新
- 6月23日|21.1M/S,Clash(小猫咪)/Shadowrocket(小火箭)/V2ray免费节点订阅链接每天更新
- 6月28日|22.2M/S,V2ray/Clash(小猫咪)/Shadowrocket(小火箭)免费节点订阅链接每天更新
- 6月26日|23M/S,Clash(小猫咪)/V2ray/SSR免费节点订阅链接每天更新
- 6月22日|18.4M/S,V2ray/Shadowrocket(小火箭)/Clash(小猫咪)免费节点订阅链接每天更新
- 6月24日|19.8M/S,Shadowrocket(小火箭)/V2ray/Clash(小猫咪)免费节点订阅链接每天更新
- 7月1日|21.7M/S,Clash(小猫咪)/V2ray/Shadowrocket(小火箭)免费节点订阅链接每天更新
- 6月29日|20.9M/S,Shadowrocket(小火箭)/V2ray/Clash(小猫咪)免费节点订阅链接每天更新
- 7月2日|20.9M/S,Clash(小猫咪)/SSR/V2ray免费节点订阅链接每天更新
- 6月30日|22.7M/S,Clash(小猫咪)/Shadowrocket(小火箭)/V2ray免费节点订阅链接每天更新
最新文章
- 7月17日|22M/S,Shadowrocket(小火箭)/Clash(小猫咪)/V2ray免费节点订阅链接每天更新
- 7月16日|20.3M/S,SSR/Clash(小猫咪)/V2ray免费节点订阅链接每天更新
- 7月15日|22.9M/S,Clash(小猫咪)/SSR/V2ray免费节点订阅链接每天更新
- 7月14日|22.8M/S,Clash(小猫咪)/V2ray/SSR免费节点订阅链接每天更新
- 7月13日|19.9M/S,Clash(小猫咪)/Shadowrocket(小火箭)/V2ray免费节点订阅链接每天更新
- 7月12日|22.3M/S,Clash(小猫咪)/V2ray/Shadowrocket(小火箭)免费节点订阅链接每天更新
- 7月11日|21.4M/S,Clash(小猫咪)/V2ray/Shadowrocket(小火箭)免费节点订阅链接每天更新
- 7月10日|21.6M/S,V2ray/Shadowrocket(小火箭)/Clash(小猫咪)免费节点订阅链接每天更新
- 7月9日|19.6M/S,SSR/V2ray/Clash(小猫咪)免费节点订阅链接每天更新
- 7月8日|22.1M/S,Shadowrocket(小火箭)/Clash(小猫咪)/V2ray免费节点订阅链接每天更新