搭建hadoop集群 Hadoop安装包是使用Dakuai DKHadoop发行版吗

随着社会越来越发达，大家都选择在网络上汲取相关知识内容，比如搭建hadoop集群（超详细hadoop集群安装配置教程） ，为了更好的解答大家的问题，小编也是翻阅整理了相应内容，下面就一起来看一下吧！

设置hadoop集群(超详细的hadoop集群安装和配置教程)

以及虚拟机Linux系统的安装，在之前的两次分享会上都有详细的介绍，每个步骤都有举例说明。如果有的朋友还是不能理解，我也没办法。本文主要详细讲解hadoop服务器操作系统的配置，hadoop安装将在下一篇文章中详细介绍。

【资料图】

Hadoop安装包使用Dakuai DKHadoop发行版。个人觉得DKHadoop的安装过程比较简单。请在接下来的分享中详细介绍dkhadoop的安装。让我们进入本文的主题——服务器操作系统配置教程。

一、安装包的准备

1.虚拟机的分布式安装(三台或更多虚拟机)

如果是个人电脑Windows系统或Linux系统，虚拟机上有三台虚拟服务器，将安装包复制到服务器上安装。

2.物理集群(三台或更多物理服务器)

1.外联网下载模式

2.本地文件模式

只需将安装包文件直接复制到实体服务器的根目录下安装即可。

3.上传模式

当服务器在计算机房中并且没有显示和输入设备时，应用此模式。

现在，在本地计算机(默认为笔记本电脑，位于机房)上安装文件，将计算机与服务器连接，并将安装包install和DKHInstall上传到服务器的根目录。

二、服务器操作系统配置教程

准备工作完成后，需要配置服务器。首先，三台服务器必须相互ping通。Ping意味着两台设备之间的 *** 已连接。从一端发送一个数据包，另一端可以收到，也就是说两台设备可以ping通。

1.修改权限

目的:使install和DKHInstall这两个安装包具有可执行权限。权限不足，无法执行某些操作。install里面是脚本和所有组件，DKHInstall里面是安装界面。

步骤:将安装包install和DKHInstall复制到准备工作中的主节点目录下，然后修改文件权限。首先进入根目录，安装目录和DKHInstall的权限修改为:文件所有者可以读取、写入和执行，与文件所有者属于一个用户组的其他用户可以读取和执行，其他用户组可以读取和执行。

命令:

CD/根目录/

解压缩DKHPlantform.zip

chmod -R 755 DKHPlantform

2.设置Hadoop集群并设置SSH秘密登录。

目的:在Hadoop操作期间，需要管理远程Hadoop守护进程。Hadoop启动后，NameNode通过SSH(安全Shell)启动和停止每个DataNode上的各种守护进程。因此，有必要以不需要密码输入的形式在节点之间执行指令。因此，我们需要将SSH配置为使用无密码公钥认证的形式，这样NameNode就可以使用SSH无密码登录并启动DataName进程。同样，DataNode可以使用SSH免密码登录NameNode。

步骤:

(1)修改本地hosts文件并写入对应关系。

为了区分局域网中的每台主机，会给每台主机分配一个主机名，每台主机通过IP进行通信，但是IP地址不容易记住，所以配置主机名和IP映射可以实现主机之间快速方便的访问。

命令:

vi /etc/hosts

按键盘上的insert或I键进入编辑模式。编辑完成后，按Esc键，然后按Shift+:键，输入wq，再按enter保存。输入q！当你进入时，你放弃保存并退出。

进入编辑模式后，根据规则写出主机与ip的对应关系(主机名dk41是自己命名的，如下图)。示例:

192.168.1.41 dk41

192.168.1.42丹麦克朗

192.168.1.43丹麦克朗

Hadoop集群安装配置

编辑完成后，保存并退出。将信件复制到两台或多台其他机器上。

命令:

scp-r/etc/hosts 192 . 168 . 1 . 42:/etc

scp-r/etc/hosts 192 . 168 . 1 . 43:/etc

(2)执行集群间保密前的准备工作。

当执行sshpass.sh的脚本时，您将读取两个文件，sshhosts和sshslaves，并替换sshpass.sh中的主文件和从文件。

修改文件sshhosts，并输入所有机器的主机名，每行一个主机名(如下所示)

命令:

VI/root/DKHPlantform/autosh/ssh hosts

按键盘上的insert或I键进入编辑模式。编辑完成后，按Esc键，然后按Shift+:键，输入wq，再按enter保存。输入q！当你进入时，你放弃保存并退出。

Hadoop集群安装配置

修改文件sshslaves，并写入除主机名之外的所有机器名称(如下所示)

命令:

VI/root/DKHPlantform/autosh/ssh slaves

按键盘上的insert或I键进入编辑模式。编辑完成后，按Esc键，然后按Shift+:键，输入wq，再按enter保存。输入q！当你进入时，你放弃保存并退出。

Hadoop集群安装配置

(3)执行集群无保密工作。

命令:

CD/root/DKHPlantform/autosh

。/autosh主机名群集密码

示例:。/auto shdk 41 123456

(4)关闭防火墙。

为了防止某些服务在访问服务器时被拦截，应该关闭防火墙。

命令:

CD/root/DKHPlantform/autosh

。/offIptables.sh

Hadoop集群安装配置

3.用双机热备份安装MySQL

目的:存储Hive的元数据。

步骤:

(1)将mySQL安装目录从主节点分发到次节点

命令:

scp-r/root/DKHPlantform/MySQL inst/192 . 168 . 1 . 42:/root/

(2)主节点执行:

命令:

CD/root/DKHPlantform/MySQL inst/

。/mysql.sh 1

从节点执行:

命令:

cd /root/mysqlInst/

。/mysql.sh 2

(3)执行成功后，进行热备份(在两台机器上，交换两个ip，41写在42上，42写在41上，密码是MySQL。密码是:123456。平台已经设置，请不要修改):

命令:

来源/etc/配置文件

。/sync.sh 192.168.1.xxx(另一个mysql地址)

4.创建一个数据库。

目的:MySQL是一个关系数据库管理系统。关系数据库将数据保存在不同的表中，这提高了速度和灵活性。

步骤:

(1)导入MySQL数据表，只在主节点执行:

命令:

Mysql-u root-p 123456

例如mysql -uroot -p123456

(2)执行完毕后，检查是否存在两个mysql数据表，并从主节点检查执行情况:

命令:

mySQL-uroot-p 123456显示数据库；

用dkh

显示表格；

Hadoop集群安装配置

5.开始安装

目的:服务器配置操作完成后启动DKH。

步骤:执行以下命令。

命令:

CD/root/DKHPlantform/dkh-Tomcat */bin/

。/startup.sh

6.本地时间服务器的构建步骤

当 *** 未连接或系统已安装时，时间不同步，因此需要设置本地时间服务器。

(1)在intranet中设置ntp服务器。

修改/etc/ntp.conf

命令:

Vim /etc/ntp.conf

按键盘上的insert或I键进入编辑模式。编辑完成后，按Esc键，然后按Shift+:键。输入wq，按回车键保存。输入q！当你进入时，你放弃保存并退出。

修改以下三行:

#服务器0.centos.pool.ntp.org

#服务器1.centos.pool.ntp.org

#服务器2.centos.pool.ntp.org

在文件末尾添加以下两行:

服务器127.127.1.0

捏造127.127.1.0地层10

(2)启动ntp服务

服务ntpd启动

(3)开机自动启动。

chkconfig ntpd打开

(4)客户端同步时间

命令:

Vim /etc/ntp.conf

按键盘上的insert或I键进入编辑模式。编辑完成后，按Esc键，然后按Shift+:键，输入wq，再按enter保存。输入q！当你进入时，你放弃保存并退出。

在文件末尾添加一行:

*/15 * * * *根ntpdate 192 . 168 . 27 . 35；将系统时间同步到硬件时间

推荐DIY文章

当前看点!旧衣服变废为宝教程 冬季的衣服裤子可以改造成宠物毛毯

【环球热闻】巴厘岛最全最强攻略 巴厘岛气候属于热带海岛型气候 5月到9月比较凉爽

据说每个城市都有一条适合吃货去的美食街 你去过长沙坡子街吗|天天热点评

恶魔城晓月圆舞曲攻略 历史上最难的出城BUG会是什么

每日快播：自制生日贺卡礼物简单又漂亮 亲手做过的手工DIY立体贺卡可以表明心意

全球快讯:刘德华十大经典电影排行 《五亿探长雷洛传》于1991年上映