头歌｜Hadoop单点部署，安装和管理

第1关：配置开发环境 - JavaJDK的配置

mkdir /app
cd /opt
tar -zxvf jdk-8u171-linux-x64.tar.gz
mv jdk1.8.0_171/ /app

vim /etc/profile
#vim_ 添加至文件末尾
JAVA_HOME=/app/jdk1.8.0_171
CIASSPATH=.:$JAVA_HOME/lib/too1s.jar
PATH=$JAVA_HOME/bin:$PATH
export JAVA_HOME CLASSPATH PATH
#vim（i进入编辑 esc退出编辑模式 :wq保存退出)

source /etc/profile

第2关：Hadoop单点部署，安装和管理

需要在第一关的基础上，若重置了需要从头开始

cd /opt
tar -zxvf hadoop-3.1.0.tar.gz -C /app
mv /app/hadoop-3.1.0 hadoop3.1

ssh-keygen -t rsa -P '' 
->回车
cat ~/.ssh/id_rsa.pub >> ~/.ssh/authorized_keys
chmod 600 ~/.ssh/authorized_keys

vim /etc/ssh/sshd_config
==vim_ 找到相应代码并修改
RSAAuthentication yes # 启用 RSA 认证  
PubkeyAuthentication yes # 启用公钥私钥配对认证方式  
AuthorizedKeysFile %h/.ssh/authorized_keys # 公钥文件路径
==vim（i进入编辑 esc退出编辑模式 :wq保存退出)

cd /app/hadoop3.1/etc/hadoop/

vim hadoop-env.sh
==vim_ 插入
# The java implementation to use.    
#export JAVA_HOME=${JAVA_HOME}    
export JAVA_HOME=/app/jdk1.8.0_171
==vim（i进入编辑 esc退出编辑模式 :wq保存退出)

vim yarn-env.sh
==vim_ 相应位置插入，#是文件已有字符
#     http://www.apache.org/licenses/LICENSE-2.0
#
# Unless required by applicable law or agreed to in writing, software
# distributed under the License is distributed on an "AS IS" BASIS,
# WITHOUT WARRANTIES OR CONDITIONS OF ANY KIND, either express or implied.
# See the License for the specific language governing permissions and
# limitations under the License.

export JAVA_HOME=/app/jdk1.8.0_171
==vim（i进入编辑 esc退出编辑模式 :wq保存退出)

vim core-site.xml
==vim_ 在文件末尾的configuration标签中添加代码
<property>    
    <name>fs.default.name</name>    
    <value>hdfs://localhost:9000</value>    
    <description>HDFS的URI，文件系统://namenode标识:端口号</description>    
</property>    
<property>    
    <name>hadoop.tmp.dir</name>    
    <value>/usr/hadoop/tmp</value>    
    <description>namenode上本地的hadoop临时文件夹</description>    
</property>
==vim（i进入编辑 esc退出编辑模式 :wq保存退出)

vim hdfs-site.xml
==vim_ 在文件末尾的configuration标签中添加代码
<property>    
    <name>dfs.name.dir</name>    
    <value>/usr/hadoop/hdfs/name</value>    
    <description>namenode上存储hdfs名字空间元数据 </description>     
</property>    
<property>    
    <name>dfs.data.dir</name>    
    <value>/usr/hadoop/hdfs/data</value>    
    <description>datanode上数据块的物理存储位置</description>    
</property>    
<property>    
    <name>dfs.replication</name>    
    <value>1</value>    
</property>  
==vim（i进入编辑 esc退出编辑模式 :wq保存退出)

vim mapred-site.xml
==vim_ 在文件末尾的configuration标签中添加代码
<property>  
    <name>mapreduce.framework.name</name>  
    <value>yarn</value>  
</property>  
==vim（i进入编辑 esc退出编辑模式 :wq保存退出)

vim yarn-site.xml
==vim_ 在文件末尾的configuration标签中添加代码
<property>    
        <name>yarn.nodemanager.aux-services</name>    
        <value>mapreduce_shuffle</value>    
</property>    
<property>    
        <name>yarn.resourcemanager.webapp.address</name>    
        <value>192.168.2.10:8099</value>    
        <description>这个地址是mr管理界面的</description>    
</property>  
==vim（i进入编辑 esc退出编辑模式 :wq保存退出)

mkdir /usr/hadoop
useradd -m hadoop
chown hadoop:hadoop /usr/hadoop

==修改root密码为123
passwd root
123
->回车
123
->回车
==修改

su hadoop
cd /usr/hadoop
mkdir tmp
mkdir hdfs
mkdir hdfs/data
mkdir hdfs/name

su root
123
->回车

vim /etc/profile
==vim_文件末尾添加
#set Haoop Enviroment
export HADOOP_HOME=/app/hadoop3.1
export PATH=$PATH:$HADOOP_HOME/bin:$HADOOP_HOME/sbin
==vim（i进入编辑 esc退出编辑模式 :wq保存退出)

source /etc/profile
hadoop namenode -format
start-dfs.sh
cd /app/hadoop3.1/sbin

vim start-dfs.sh
==vim_添加
HDFS_DATANODE_USER=root
HADOOP_SECURE_DN_USER=hdfs
HDFS_NAMENODE_USER=root
HDFS_SECONDARYNAMENODE_USER=root
==vim（i进入编辑 esc退出编辑模式 :wq保存退出)

vim stop-dfs.sh
==vim_添加
HDFS_DATANODE_USER=root
HADOOP_SECURE_DN_USER=hdfs
HDFS_NAMENODE_USER=root
HDFS_SECONDARYNAMENODE_USER=root
==vim（i进入编辑 esc退出编辑模式 :wq保存退出)

vim start-yarn.sh
==vim_添加
YARN_RESOURCEMANAGER_USER=root  
HADOOP_SECURE_DN_USER=yarn  
YARN_NODEMANAGER_USER=root 
==vim（i进入编辑 esc退出编辑模式 :wq保存退出)

vim stop-yarn.sh
==vim_添加
YARN_RESOURCEMANAGER_USER=root  
HADOOP_SECURE_DN_USER=yarn  
YARN_NODEMANAGER_USER=root 
==vim（i进入编辑 esc退出编辑模式 :wq保存退出)

start-dfs.sh
jps

文章来源地址https://uudwc.com/A/La0Oo