IDEA连接hadoop hdfs

一、下载插件

在这里插入图片描述
 进入一下界面, 搜索 big data tools

在这里插入图片描述
 重启IDEA

二、本地配置

在这里插入图片描述
 首先保证浏览器可以访问到
 按照下述步骤创建一个HDFS连接
在这里插入图片描述

在这里插入图片描述
 点击Test Connection出现报错,点击哪个报错的链接
在这里插入图片描述
 https://cwiki.apache.org/confluence/display/HADOOP2/WindowsProblems
 点击之后出现如下界面,点击to github
 下面这个页面就是解决方案,HADOOP_HOME not found
在这里插入图片描述
https://github.com/steveloughran/winutils
在这里插入图片描述
 下载解压后,放在某个路径下,并且保存该路径,并且找到对应的hadoop版本,我们要为他配置环境变量。我用的是hadoop-2.7.1
 我的路径是 D:\winutils\winutils-master\hadoop-2.7.1
在这里插入图片描述

在这里插入图片描述

三、配置环境变量

 在桌面上,点击此电脑右键->属性 ->高级系统设置->环境变量
在这里插入图片描述
HADOOP_HOME
D:\winutils\winutils-master\hadoop-2.7.1
在这里插入图片描述
 点击确定。
 找到Path,双击
在这里插入图片描述
 新建一个 %HADOOP_HOME%\bin
在这里插入图片描述

四、再次连接

 回到IDEA (建议重启IDEA),重新进行连接。
 点击Test connection,可以连接了!!!
在这里插入图片描述
 如果出现如下错误
在这里插入图片描述
 在linux中随便创建一条数据即可hdfs dfs -mkdir /data/1 在这里插入图片描述
 这个时候就连接成功了!
在这里插入图片描述文章来源地址https://uudwc.com/A/PqO

原文地址:https://blog.csdn.net/wasane/article/details/125202623

本文来自互联网用户投稿,该文观点仅代表作者本人,不代表本站立场。本站仅提供信息存储空间服务,不拥有所有权,不承担相关法律责任。如若转载,请注明出处: 如若内容造成侵权/违法违规/事实不符,请联系站长进行投诉反馈,一经查实,立即删除!

h
上一篇 2023年06月12日 00:54
下一篇 2023年06月12日 00:56