目录

图解VMware vSAN安装(上:硬件及vSphere部署)

图解VMware vSAN安装(上:硬件及vSphere部署)


0 前言

当今数字化转型的形态应该是组织变更下的一场技术变革,技术变更包括新一代IT基础架构的变革。

在分布式数据库的一些场景下,存算分离是主流方向,更多的基础架构方案会选择存算一体的超融合基础架构 (HCI)。

超融合基础架构 (HCI)核心是分布式存储技术,能够借助软件定义存储技术充分降低存储成本和复杂性。

国产超融合在XC背景下逐步在金融、政府、国企抢占更多的虚拟化平台及容器化平台的市场份额。

在平台稳定性、易用性等多个综合实力方面,作为虚拟化平台领导者VMware用起来更加顺手。

由 vSAN 提供技术支持的集成式超融合基础架构 (HCI),与 vSphere 相结合,可以借助单个集成平台管理计算和存储。借助集成解决方案,提高业务敏捷性,加快运维速度并降低成本,为实现面向未来的 HCI 和混合云提供更简单的途径。

本文通过图解的方式,一步一步从交换机设置、服务器裸机Esxi部署、vSphere配置到vSAN配置尽量详细阐述,供学习使用。

1 环境介绍

1.1 硬件配置

1、服务器:三台DELL R740组成最小数量要求vSAN集群,具体配置包括:英特尔至强金牌6230R 2.1G/512G 3200MTs 双列内存/480GB SSD 6Gbps硬盘/4块1.92TB SSD 6Gbps硬盘/PERC H330+控制器/10GB万兆双端口电口Broadcom 57416*3。

2、交换机:4台48口万兆数据中心级交换机,CloudEngine 6856-48T6Q-HI+QSFP-40G-iSR4(40G多模模块),分别在存储专网和业务专网组成跨设备链路聚合架构。再单独设置一台千兆交换机作为管理网,用于系统管理交换只用。

3、软件版本:vSphere 7.0U2a,vCenter 7.0.2

480GB SSD用于安装逻辑的Esxi系统

4块1.92TB SSD用于后续vSAN的缓存盘和容量盘

PERC H330+控制器实际上不满足vSAN控制器兼容性的,具体生产环境请更换其他型号。

为方便部署,这里采用了全电口的网络架构,实际生产环境可以采用光口配置。

1.2 整体架构

1、存储网

每台服务器使用2个万兆电口双上联接入2台存储专网交换机,2台交换机做M-LAG配置。

2、业务网及vMotion专网

每台服务器使用2个万兆电口双上联接入2台业务专网交换机,2台交换机做M-LAG配置。

3、管理网

每台服务器使用1个万兆电口(实际千兆即可),接入管理专网交换机,管理网这里不做高可用配置和规划。

网络拓扑图如下:

https://typorabyethancheung911.oss-cn-shanghai.aliyuncs.com/typora/image-20210623210717041.png

1.3 实施步骤

1、每台服务器安装Esxi软件,为加快安装效率和提高便捷性,采用iDRAC工具进行远程安装

2、配置Esxi

3、安装VCenter

4、配置VCenter

5、部署交换机M-LAG配置

6、配置VMware网络

7、部署vSAN

8、配置业务分布式交换机网络、配置vMotion

2 设置iDRAC

iDRAC9全称是Integrated Dell Remote Access Controler 9)

这是戴尔服务器的独有功能,iDRAC卡相当于是附加在服务器上的一计算机,可以实现一对一的服务器远程管理与监控。

开启服务器后,需要在BIOS中开启iDRAC,并且配置其网络设置。

设置完成后,即可通过IP地址进行远程访问。【生产环境可以使用KVM over IP另当别论】

https://typorabyethancheung911.oss-cn-shanghai.aliyuncs.com/typora/image-20210319091252744.png

注意安全密码可以在物理机器上标签中查找。

https://typorabyethancheung911.oss-cn-shanghai.aliyuncs.com/typora/image-20210319091932187.png

初次进入iDRAC界面后,建议修改密码

https://typorabyethancheung911.oss-cn-shanghai.aliyuncs.com/typora/image-20210319092023679.png

相关主页面详见如下

https://typorabyethancheung911.oss-cn-shanghai.aliyuncs.com/typora/image-20210319092101469.png

这里要注意的是,需要修改RAID配置

后期因为要采用vSAN,我这里RAID采用Non-Raid

https://typorabyethancheung911.oss-cn-shanghai.aliyuncs.com/typora/image-20210319092215735.png

在首页的右下角点击可以启用虚拟控制台,启用虚拟控制台后,相当于本地显示服务器的本地控制台,便于安装后续Esxi系统。

注:后续操作均在虚拟控制台操作,极大提高了操作性

https://typorabyethancheung911.oss-cn-shanghai.aliyuncs.com/typora/image-20210319095712822.png

选择虚拟介质连接,避免了进入机房插拔U盘的操作,提高了便捷性。

https://typorabyethancheung911.oss-cn-shanghai.aliyuncs.com/typora/image-20210319095835450.png

重启服务器

https://typorabyethancheung911.oss-cn-shanghai.aliyuncs.com/typora/image-20210319095918169.png

进入BIOS设置

https://typorabyethancheung911.oss-cn-shanghai.aliyuncs.com/typora/image-20210319100114747.png

注:这里需要对磁盘进行Non_Raid操作,否则后续再安装VMware Esxi时候会无法识别磁盘。

选择Raid管理工具

https://typorabyethancheung911.oss-cn-shanghai.aliyuncs.com/typora/image-20210319100154013.png

准备创建Non-RAID Disk

https://typorabyethancheung911.oss-cn-shanghai.aliyuncs.com/typora/image-20210319100223192.png

选择所操作的硬盘

https://typorabyethancheung911.oss-cn-shanghai.aliyuncs.com/typora/image-20210319100257397.png

3 开始正式安装Vmware

务必在关闭硬件RAID情况下,安装后续Esxi系统。

https://typorabyethancheung911.oss-cn-shanghai.aliyuncs.com/typora/image-20210319103138007.png

选择安装的目标磁盘,这里我们选择480GB的SSD,另外4块1.95TB的SSD用于后续vSAN的缓存盘和容量盘。

https://typorabyethancheung911.oss-cn-shanghai.aliyuncs.com/typora/image-20210319092906666.png

如果之前有安装过系统,可以选择升级、保留或者覆盖。初次安装这里选择overwrite

https://typorabyethancheung911.oss-cn-shanghai.aliyuncs.com/typora/image-20210609113803074.png

设置root用户的密码,请小心妥善保管。

https://typorabyethancheung911.oss-cn-shanghai.aliyuncs.com/typora/image-20210319092952223.png

选择F11确认安装

https://typorabyethancheung911.oss-cn-shanghai.aliyuncs.com/typora/image-20210319093119823.png

经过一段时间安装过程后,系统提示安装成功

https://typorabyethancheung911.oss-cn-shanghai.aliyuncs.com/typora/image-20210319093916005.png

4 配置ESXi

安装后,系统重启进入ESXi。

https://typorabyethancheung911.oss-cn-shanghai.aliyuncs.com/typora/image-20210319112010150.png

注意,先配置管理网络。

值得一提都是,特别要注意每台Esxi节点中Devcice Name和实际物理服务器背后的对应关系

可以通过插拔网线,通过Status的状态确认对应的管理口、存储口及业务口的Device Name

再次强调务必做好对应关系,做好PDS系统的标签管理工作

下图中的服务器vmnic7对应是接入管理网的网络接口,只勾选它。

https://typorabyethancheung911.oss-cn-shanghai.aliyuncs.com/typora/image-20210319113336912.png

配置实现规划后的管理IP地址,我们规划了是192.168.100.0/24网段

https://typorabyethancheung911.oss-cn-shanghai.aliyuncs.com/typora/image-20210319113443182.png

完成三台服务器的Esxi的节点安装

设备 IP地址
Esxi节点1 192.168.100.50/24
Esxi节点2 192.168.100.51/24
Esxi节点3 192.168.100.52/24

5 安装VCenter

我这里选择mac平台下的VCSA安装,实际在Win平台下的安装基本雷同。

https://typorabyethancheung911.oss-cn-shanghai.aliyuncs.com/typora/image-20210623212938142.png

开始安装,注意右上角可以更改安装过程中的语言

https://typorabyethancheung911.oss-cn-shanghai.aliyuncs.com/typora/image-20210609131724077.png

下一步

https://typorabyethancheung911.oss-cn-shanghai.aliyuncs.com/typora/image-20210609131800121.png

选择需要需要部署到的ESXi主机地址,这点很重要。

我们选择

https://typorabyethancheung911.oss-cn-shanghai.aliyuncs.com/typora/image-20210609132348787.png

选择确认

image-20210609132400573

部分参考数据:

为 vSphere 清单选择 vCenter Server Appliance 的部署大小。

部署大小选项 描述
微型 部署具有 2 个 vCPU 和 12 GB 内存的设备。适用于最多包含 10 个主机或 100 个虚拟机的环境。
小型 部署具有 4 个 CPU 和 19 GB 内存的设备。适用于最多包含 100 个主机或 1,000 个虚拟机的环境。
中等 部署具有 8 个 CPU 和 28 GB 内存的设备。适用于最多包含 400 个主机或 4,000 个虚拟机的环境。
大型 部署具有 16 个 CPU 和 37 GB 内存的设备。适用于最多包含 1,000 个主机或 10,000 个虚拟机的环境。
超大型 部署具有 24 个 CPU 和 56 GB 内存的设备。适用于最多包含 2,500 个主机或 45,000 个虚拟机的环境。

选择 vCenter Server Appliance 的存储大小。

存储大小选项 微型部署大小的描述 小型部署大小的描述 中型部署大小的描述 大型部署大小的描述 超大型部署大小的描述
默认 部署具有 315 GB 存储的设备。 部署具有 380 GB 存储的设备。 部署具有 600 GB 存储的设备。 部署具有 965 GB 存储的设备。 部署具有 1705 GB 存储的设备。
大型 部署具有 1390 GB 存储的设备。 部署具有 1435 GB 存储的设备。 部署具有 1600 GB 存储的设备。 部署具有 1665 GB 存储的设备。 部署具有 1805 GB 存储的设备。
超大型 部署具有 3145 GB 存储的设备。 部署具有 3195GB 存储的设备。 部署具有 3360 GB 存储的设备。 部署具有 3425 GB 存储的设备。 部署具有 3565 GB 存储的设备。

选择数据存储

https://typorabyethancheung911.oss-cn-shanghai.aliyuncs.com/typora/image-20210609135942833.png

继续配置。

设备的 IP 地址或 FQDN 将用作系统名称。建议使用 FQDN。

但是,如果要使用 IP 地址,请使用设备的静态 IP 地址分配,因为 DHCP 分配的 IP 地址可能会更改。

强烈建议这里采用配置DNS服务器的方式安装

会极大减少出错和提高安装速度

192.168.100.200是管理网段内的临时配置的DNS服务器地址

https://typorabyethancheung911.oss-cn-shanghai.aliyuncs.com/typora/image-20210610072823820.png

开始部署

https://typorabyethancheung911.oss-cn-shanghai.aliyuncs.com/typora/image-20210609140450851.png

第一阶段安装过程中,我们登录安装ESXi目标主机,可以发现VMware VCenter Server作为虚拟机被创建。

注:如果在第二步部署过程中出错,你需要登录目标ESXi主机,停止VMware vCenter Server虚拟机并进行删除。

然后再重新重头开始安装部署VMware vCenter Server。

https://typorabyethancheung911.oss-cn-shanghai.aliyuncs.com/typora/image-20210609182704455.png

第一阶段部署完毕

注意:如果第二阶段退出了,可以参考屏幕提示继续安装设置。

https://typorabyethancheung911.oss-cn-shanghai.aliyuncs.com/typora/image-20210609141251055.png

开始部署第二阶段

https://typorabyethancheung911.oss-cn-shanghai.aliyuncs.com/typora/image-20210609141318354.png

第二阶段更多是相关设置

配置时间同步,我这里采用NTP服务,也可以采用和ESXi主机一致方式。

https://typorabyethancheung911.oss-cn-shanghai.aliyuncs.com/typora/image-20210609142353351.png

设置SSO配置,注意这里后续的用户名为administrator+SSO域名。

image-20210609142700490

部署完毕后,开始登录

注意如果采用root用户进行web登录,系统会提示相应错误。

image-20210610075244139

真正的用户名为administrator@vmware.cj.io,这点经常被疏忽。

这里@符号后的SSO,为之前配置的域名,请酌情自行修改。

image-20210610075409963

————至此。三各ESXi节点和VCenter安装完毕。———-

注意:

我们可以访问VCenter:5480这个地址,去查看当前状态和部分管理配置

image-20210610082651270

6 VCenter Server配置

6.1 新建数据中心和集群

正常访问vCenter管理地址以后

第一步选择新建数据中心

image-20210610080110085

新建集群,注意请关闭其中DRSvSphere HAvSAN,这些功能在后续配置中开启。

image-20210319113644619

上图中所示的DRSHAvSAN可以在后续开启集群快速入门,如下图

https://typorabyethancheung911.oss-cn-shanghai.aliyuncs.com/typora/image-20210610080317014.png

6.2 添加主机

逐个添加计划中的三台ESXi主机

image-20210319113702952

可以勾选对所有主机使用相同凭据方便部署。

https://typorabyethancheung911.oss-cn-shanghai.aliyuncs.com/typora/image-20210319113753481.png

系统会提示用户验证服务器的SHA1指纹

image-20210319113851048

进一步查看主机摘要

image-20210319114805475

最后再次检查相关配置

image-20210319114905478

设置完成后,主机被添加至新集群并进入维护模式

https://typorabyethancheung911.oss-cn-shanghai.aliyuncs.com/typora/image-20210319115135994.png

如果添加的ESXi主机中承载了本次VMware VCenter Server的虚拟机主机,该节点不会进入维护模式。

image-20210610083103415

6.3 给ESXi主机分配许可证

在VCenter Server中对已添加的ESXi主机逐个添加分配许可证。

后续内容详见《图解VMware vSAN安装(下:vSAN部署及管理安装)》