Windows + Eclipse + 远程Hadoop-3.X集群 Java Api

开发人员在Window下开发调用远程Hadoop时,一般是通过Eclipse或者Idea,本文章针对在Window下的开发

步骤1:下载Eclipse,并安装 本文使用版本为(Version: 2019-09 R (4.13.0))

(1)下载Eclipse

(2)安装Eclipse, 双击下载的文件,进行安装

步骤2 把Hadoop-3.1.2(hadoop-3.1.2.tar.gz)包解压到window的一个文件夹中


步骤3 从网上下载hadoop.dll文件,并把hadoop.dll拷贝到C:\Windows\System32



步骤4 从网上下一个hadoop-eclipse-plugin-3.1.2.jar文件,或者自己生成一个,自己生成一个时,容易出现很多问题,并把hadoop-eclipse-plugin-3.1.2.jar文件复制到Eclipse安装下的dropins文件夹中



步骤5打开Eclipse并配置

(1) File->New->Other

(2) 配置hadoop路径

在弹出的界面中选择hadoop包解压的路径


(3) 配置完hadoop解压路径后,重写回到原界面,输入项目名称

步骤6 配置下eclipse使用的jdk,windos电脑上也需要安装jdk




步骤7 添加hdfs的jar包

(1)右键项目->build path->configu build path,添加需要的jar包

(2) 弹出界面中选择Add External Jar


(3)选择需要的jar包 share->hadoop中的client common hdfs mapreduce yarn包中的jar需要添加进来



(4)写测试代码


hdfs 上传文件/下载文件/删除文件


版权声明:

作者: freeclashnode

链接: https://www.freeclashnode.com/news/article-1583.htm

来源: FreeClashNode

文章版权归作者所有,未经允许请勿转载。

免费节点实时更新

热门文章

最新文章

归档