1. 准备服务器

机器要求(8g+ , 4core)
安装centeros 原生minal版本操作系统

开启网络和开机自启(因为minal版的操作系统网卡开机不是自动启动的)

安装常用软件

yum -y install gcc  gcc-c++  vim  wget  openssh-clients   ntp   lsof

克隆机器

cdh-server  cdh01  cdh02  ch03  cdh04  cdh05

免密码登录

cdh-server(10.10.10.200)----免密登录---->cdh-server(10.10.10.200)cdh-server(10.10.10.200)----免密登录---->cdh01(10.10.10.201)cdh-server(10.10.10.200)----免密登录---->cdh02(10.10.10.202)cdh-server(10.10.10.200)----免密登录---->cdh03(10.10.10.203)cdh-server(10.10.10.200)----免密登录---->cdh04(10.10.10.204)cdh-server(10.10.10.200)----免密登录---->cdh05(10.10.10.205)

2. cdh集群搭建的准备工作

准备6个机器

cdh-server   6gb内存  30gb硬盘   4核cdh01    6gb内存  30gb硬盘   4核cdh02    6gb内存  30gb硬盘   4核cdh03    6gb内存  30gb硬盘   4核cdh04    6gb内存  30gb硬盘   4核cdh05    6gb内存  30gb硬盘   4核

关闭防火墙和开机自启(所有机器都要做)

service iptables stopchkconfig  iptables  off

开启时间同步服务器(所有机器都要做)
```
service ntpd startchkconfig ntpd on
```

关闭linux的selinux服务(所有机器都要做)

vim  /etc/selinux/config    #SELINUX=enforcing        SELINUX=disabled

安装jdk(所有机器都要做)
.......

安装mysql数据库(任意一个机器即可)

1>安装数据库    yum -y install mysql-server2>启动数据库服务    service mysqld start3>设置开机自启            chkconfig mysqld on4>登录到mysql    mysql -uroot -p5>设置mysql的密码                set password=password('root');6>刷新权限            flush privileges    7>开启远程登录的权限    use mysql;    delete from user where password='';    update user set host='%' where user='root';    flush privileges

设置/proc/sys/vm/swappiness为0。(所有机器都做)

因为CDH运行需要消耗大量的内存，默认值为60，也就是说当内存使用到100-60=40%的时候，就开始出现有交换分区的使用。大家知道，内存的速度会比磁盘快很多，这样子会加大系统io，同时造的成大量页的换进换出，严重影响系统的性能，所以我们在操作系统层面，        要尽可能使用内存，对该参数进行调整。            调整：                vim /etc/sysctl.conf                添加内容                    vm.swappiness=0                重启可以生效，当然也可以激活：                    sysctl -p

关闭THP(所有机器都做)

echo never > /sys/kernel/mm/redhat_transparent_hugepage/defragecho never > /sys/kernel/mm/redhat_transparent_hugepage/enabledecho never > /sys/kernel/mm/transparent_hugepage/enabledecho never > /sys/kernel/mm/transparent_hugepage/defrag

3. 安装cloudera manager(cm)

准备cm的安装包

[root@cdh-server opt]    cloudera-manager-el6-cm5.6.1_x86_64.tar.gz

解压clouder-manager(cm)

[root@cdh-server opt]    tar -zxvf cloudera-manager-el6-cm5.6.1_x86_64.tar.gz  -C /opt/

修改agent配置文件

vim /opt/cm-5.6.1/etc/cloudera-scm-agent/config.ini            server_host=cdh-server

拷贝mysql驱动

[root@cdh-server opt]    将mysql的驱动jar包拷贝到/opt/cm-5.6.1/share/cmf/lib/ 中做CM初始化元数据库使用

初始化cm元数据库

[root@cdh-server opt]    /opt/cm-5.6.1/share/cmf/schema/scm_prepare_database.sh mysql cm -uroot -proot  -hcdh05  -P3306 --scm-host cdh-server scm scm scm

把cdh-server上的cm安装目录拷贝到其他机器

[root@cdh-server opt]    scp -r /opt/cm-5.6.1 root@cdh01:/opt/    scp -r /opt/cm-5.6.1 root@cdh02:/opt/    scp -r /opt/cm-5.6.1 root@cdh03:/opt/    scp -r /opt/cm-5.6.1 root@cdh04:/opt/    scp -r /opt/cm-5.6.1 root@cdh05:/opt/

在所有节点创建cloudera-scm用户

useradd --system --home=/opt/cm-5.6.1/run/cloudera-scm-server/ --no-create-home --shell=/bin/false --comment "Cloudera SCM User" cloudera-scm

配置环境变量(所有机器都要做)

export PATH=$PATH:/opt/cm-5.6.1/etc/init.d#使环境变量生效source /etc/profile.d/cdh-env.sh

启动相应的服务

cdh-uplooking-server   ===>clouder-scm-server startcdh-uplooking01   ===>clouder-scm-agent startcdh-uplooking02   ===>clouder-scm-agent startcdh-uplooking03   ===>clouder-scm-agent  startcdh-uplooking04   ===>clouder-scm-agent startcdh-uplooking05   ===>clouder-scm-agent start

端口使用情况

webui的端口为:cdh-server的7180内部通信的端口为: cdh-server的7182

通过webui可以访问我们的cm

cdh-server:7180#只要能进入登录界面就好 先不要开始安装

4. 开始安装cdh集群

准备cdh安装包

[root@cdh-server parcel-repo]        将CDH5相关的Parcel包放到主节点的/opt/cloudera/parcel-repo/目录中（parcel-repo目录不存在的话需要手动创建）cp /soft/CDH-5.6.1-1.cdh5.6.1.p0.3-el6.parcel /opt/cloudera/parcel-repo/cp /soft/CDH-5.6.1-1.cdh5.6.1.p0.3-el6.parcel.sha1 /opt/cloudera/parcel-repo/CDH-5.6.1-1.cdh5.6.1.p0.3-el6.parcel.shacp /soft/manifest.json /opt/cloudera/parcel-repo/#注意，在/opt/cloudera/parcel-repo/目录下一定要.sha1后缀名改为.sha，不然系统不识别离线安装包，还会从网络中下载

开始安装
```
http://cdh-server:7180
```

http://note.youdao.com/notesh...