Ceph初体验之环境搭建

想了解一个开源组件，最好的办法就是实际搭建环境，用一下。ceph绝对是现今存储领域的热门开源解决方案。断断续续地看过一些ceph的资料，了解了其基本架构和使用方法。花了一上午的时间，将ceph的环境搭建了起来。这里把搭建过程详细记录一下。

有了ceph-deploy工具后，搭建环境还是非常容易的事情。主要是想了解ceph集群的场景，因此搭建的是集群版本，网上也有介绍单机演示版本的搭建方法，就不做介绍了。

进入正题，分如下步骤：

一、准备工作

节点规划：4个MON节点，2个MDS（一主一备），4个OSD。OSD节点需要额外准备一个数据盘。使用虚拟机的话，添加一个新的硬盘即可，这里添加20GB的新硬盘，系统识别为/dev/sdb

每个节点都安装Ubuntu 14.04.1 LTS Server版本，确保系统能够联网。如果是使用虚拟机的话，可以先安装一个节点，然后使用虚拟机的克隆命令克隆出4个节点，再修改节点名和节点IP地址即可。

修改系统的host文件：

将如上hosts文件复盖到其他3个节点，修改其中的第二行为本机名字即可。

配置信任关系，配置节点ceph2，ceph3，ceph4允许ceph1免密码登录。配置信任关系比较简单，这里不详述。原则就是将其他节点的ssh使用的密钥对中的公钥复制到ceph1节点的/root/.ssh/authorized_keys文件中，让ceph1使用这些公钥登录目标节点。效果为：

ceph1节点安装ceph-deploy工具：

给1、2、3、4节点各添加一个20GB的独立硬盘，用于后续存储OSD数据使用。

关闭所有节点的防火墙和selinux。

到此准备工作全部完成。

二、安装Ceph

登录ceph1节点，新建一个工作目录ceph，后面所有操作都在此目录下进行，ceph-deploy工具会在此目录产生各个配置文件，并对所有节点进行安装配置。

执行如下命令在各个节点安装ceph软件：

root@ceph1:~/ceph# ceph-deploy install ceph{1,2,3,4}

1、组建mon集群：

root@ceph1:~/ceph# ceph-deploy mon create ceph{1,2,3,4}

启动mon进程：

ceph-deploy mon create-initial

在4个节点上面使用ps命令，可以看到各个节点都启动了一个mon进程。

2、安装OSD

在每一个节点新建空白目录：/data/osd

在ceph1的ceph目录下，依次执行如上两行命令。

注意，在执行如上命令之前，不要对/dev/sdb设备做任何的格式化和分区动作。deploy命令会自动格式化该硬盘设备。

上述步骤执行完成后，就可以看到在该目录下已经建立了很多文件：

3、复制ceph和key文件到各个节点。

ceph-deploy admin ceph1 ceph2 ceph3 ceph4

上述命令即可复制ceph目录下的配置文件和key信息到各个节点。

4、安装MDS

ceph-deploy mds  create ceph1 ceph2

三、安装完成验证

经过第二步的安装过程，ceph集群已经准备就绪。可以使用如下命令检查集群运行状况：

ceph –s

查询结果为：

如果出现：

ALTH_WARN clock skew detected on的字样，说明各个mon节点的时间不同步。解决的办法当然是让各个节点使用同一时间源，确保时间一致，虚拟机的话，可以使用类似vmtools同步宿主机器的时间，也可以配置ntp确保一致。实在没法解决也可以在ceph.conf中新增配置：

mon clock drift allowed = 1 // 1表示1秒钟，这里可以配置小数点。