主机参考
| 主机参考：VPS测评参考推荐/专注分享VPS服务器优惠信息！若您是商家可以在本站进行投稿，查看详情！此外我们还提供软文收录、PayPal代付、广告赞助等服务，查看详情！ |
| 我们发布的部分优惠活动文章可能存在时效性，购买时建议在本站搜索商家名称可查看相关文章充分了解该商家！若非中文页面可使用Edge浏览器同步翻译！PayPal代付/收录合作 |
文章目录
安装和配置Hadoop可以分为几个主要步骤。 以下是假设您使用 Linux 操作系统（例如 Ubuntu）的基本指南。
1.安装Java开发工具包（JDK）
Hadoop需要Java运行环境，因此必须先安装JDK。
sudo apt update
sudo apt install openjdk-11-jdk
验证安装Java：
java -version
2.下载并解压Hadoop即可下载来自 Apache Hadoop 官方网站的 Hadoop 最新版本。
wget https://downloads.apache.org/hadoop/common/hadoop-3.3.1/hadoop-3.3.1.tar.gz
tar -xzf hadoop-3.3.1.tar.gz
sudo mv hadoop-3.3.1 /usr/local/hadoop
3.配置环境变量
wget https://downloads.apache.org/hadoop/common/hadoop-3.3.1/hadoop-3.3.1.tar.gz
tar -xzf hadoop-3.3.1.tar.gz
sudo mv hadoop-3.3.1 /usr/local/hadoop
编辑~/.bashrc文件，添加Hadoop环境变量。
sudo nano ~/.bashrc
在文件末尾添加以下内容内容：
导出 HADOOP_HOME=/usr/local/hadoop
导出 PATH=$PATH:$HADOOP_HOME/bin:$HADOOP_HOME/sbin
导出 HADOOP_CONF_DIR=$HADOOP_HOME/etc/hadoop
保存并退出编辑器以启用环境变量。
来源 ~/.bashrc
4. 配置 core-site.xml
编辑 Hadoop 配置文件 core-site.xml。
sudo nano $HADOOP_CONF_DIR/core-site.xml
添加以下内容。
<配置>
<属性>
<名称>fs .defaultFS</名称>
<值>hdfs://localhost:9000</值>
</属性>
</设置>
保存并退出编辑器我会。
5.配置hdfs-site.xml
编辑Hadoop配置文件hdfs-site.xml。
sudo nano $HADOOP_CONF_DIR/hdfs-site.xml
添加以下内容。
<配置>
<属性>
<名称>dfs.replication名称>
<值>1</值>
</ 属性>
<属性>
<名称>dfs .namenode.name.dir</名称>
<值>/usr/local/hadoop/data/namenode</值>
</属性>
</设置>
保存完成
6.启动HDFS
格式化NameNode并启动HDFS集群>hdfs NameNode。 -format
start-dfs.sh
7.检查HDFS
hdfs dfs 可以使用H 命令。DFS 是否正常工作？ /pre>
8. 启动 YARN
编辑 yarn-site.xml 文件。
sudo nano $HADOOP_CONF_DIR/yarn-site.xml
添加以下内容。
<设置>
<属性>
<名称>yarn.resourcemanager.hostname</名称>
<值>本地主机</值>
</属性>
<属性>
<名称>yarn.nodemanager.aux-services</名称>
<值>mapreduce_shuffle</值>
</属性>
< 属性>
<名称>yarn.nodemanager.aux-services.mapreduce.shuffle.class</名称>
<值>org.apache .hadoop.mapred.ShuffleHandler</值>
</属性>
</配置>
保存并退出编辑器。
启动 YARN ResourceManager 和 NodeManager。
start-yarn.sh
9. 检查 YARN
[ 您可以使用 h]
yarn 命令检查 YARN 是否正常运行。
纱线-版本
10。 安装Hive或Pig（可选）
如果您需要使用Hive或Pig等工具，可以继续安装和配置它们。
安装 Hive
wget https://downloads.apache.org/hive/hive-3.3.7/ apache -hive-3.3.7-bin.tar.gz
tar -xzf apache-hive-3.3.7-bin.tar.gz
sudo mv apache-hive-3.3.7 /usr/local/hive
编辑hive-site.xml 文件。
sudo nano $HADOOP_CONF_DIR/hive-site.xml
添加以下内容。
<设置>
<属性>
<名称>hive.metastore.warehouse.dir</名称>
<值>/usr/local/hive/warehouse</值 >
</属性>
<属性>
<名称>hive.exec.scratchdir</名称>
<值>/tmp/hive</值>
</属性>
<属性>
<名称>hive.querylog 。 位置</名称>
<值>/tmp/hive/log</值 >
</属性>
<属性>
<名称>蜂巢。 server2.logging.operation.log.location</名称>
<值>/tmp/hive/operation_logs</值>
</属性>
</设置>
保存并退出编辑器。
启动 HiveServer2。
hive --service hiveserver2 &
11. 安装 Pig（可选）。
wget https://downloads.apache.org/pig/pig-0.19.0/pig-0.19.0.tar。 gz
tar - xzf pig-0.19.0.tar.gz
sudo mv pig-0.19.0 /usr/local/pig
pig-env.sh 文件。
sudo nano $HADOOP_CONF_DIR/pig-env.sh
添加以下内容。
导出 HADOOP_HOME=/usr /local/hadoop
导出 PATH=$PATH:$HADOOP_HOME/bin:$HADOOP_HOME/sbin
保存并退出编辑器。
启动 Pig。
pig -version
上述步骤应该会成功安装。 然后配置Hadoop。 如果您遇到任何问题，请参阅Hadoop的官方文档或社区论坛。
这几篇文章你可能也喜欢：
本文由主机参考刊发，转载请注明：如何安装和配置Hadoop数据库（Hadoop Installation and Configuration） https://zhujicankao.com/132963.html
评论前必须登录！
注册