Openstack 与 Ceph集群搭建(下)： Openstack部署

2024-08-28 09:44
文章标签 部署 集群 搭建 openstack ceph

本文主要是介绍Openstack 与 Ceph集群搭建(下)： Openstack部署，希望对大家解决编程问题提供一定的参考价值，需要的开发者们随着小编来一起学习吧！

文章目录

  • 文章参考
  • 部署节点准备
        • 1. 修改Host文件与hostname名称
        • 2. 安装NTP软件
        • 3. 网卡配置信息
        • 4. 开启Docker共享挂载
        • 5. 安装python虚拟环境
        • 6. 安装kolla-ansible
        • 7. 加载Ansible galaxy requirements
  • Openstack 安装前预配置
        • 1. 配置密码
        • 2. 配置multinode文件
        • 3. 修改全局配置文件
  • Openstack正式安装
        • 1. 启动bootstrap-servers
        • 2. 预环境检查
        • 3. 拉取镜像
        • 4. 安装
  • Openstack初始化及优化
        • 1. 安装openstack client
        • 2. 生成openrc文件并导入
        • 3. 平台初始化
        • 4. 登录Dashboard
        • 5. 下载并上传镜像
        • 6. 建立ssh-key
        • 7. 创建外部网络 (vlan没有添加vlanid 导致不通，需要修改)；请先完成14步再回来从这里开始继续。
        • 8. 创建VM网络
        • 9. 创建路由器
        • 10. 连接内外网络
        • 11. 建立安全策略
        • 12. 创建flavor模板
        • 13. 创建虚拟机
      • 14. 配置支持VLAN
      • 15. 解决虚拟机创建超时问题

文章参考

Openstack 官方对接ceph文档
Openstack 与 Ceph集群搭建(上)： 规划与准备
Openstack 与 Ceph集群搭建(中)： Ceph部署
Openstack 与 Ceph集群搭建(下)： Openstack部署
Openstack 与 Ceph集群搭建(完结)： 配置Ceph作为Openstack后端存储
前面文章对集群的规划已经做了详细说明，并完成了Ceph集群的部署，接下来就是最重要的Openstack集群部署了。
环境描述：

项目描述说明
系统Ubuntu Server 22.04 LTSOpenStack 2022调研显示：受众多，文档丰富
docker在ceph环节已经安装
python33.10系统默认安装
kolla-ansiblekolla-ansible-16.5.1.dev55
Openstack2024.01
Ceph18.2.2

部署节点准备

1. 修改Host文件与hostname名称

请参考ceph安装部分

注意：节点hostname名称应与hosts文件保持一致。

2. 安装NTP软件

请参考ceph安装部分

3. 网卡配置信息

注意：以下网卡名称因各自环境不同而不同，但是OpenStack需要至少两张网卡，一张用于集群通信，另一种用于其中的虚拟机通信，用于虚拟机通信的网卡根据OpenStack部署的网络不同而不同。Flat对应access接口；Vlan对应Trunk接口。

如规划设计篇的架构图，其网卡配置如下：

  • vlan1250：管理网
  • bond0：用于给Openstack虚拟机使用的网络，由于OpenStack 网络部署为Vlan模式，在屋里交换机需要配置Trunk接口， bond0 也为Trunk接口； 若部署为flat模式，则模式为access。本文将部署为Vlan模式。
4. 开启Docker共享挂载

在Openstack 全节点执行；所谓共享挂载即同一个目录或设备可以挂载到多个不同的路径并且能够保持互相之间的共享可见性，类似于 mount --shared。在 OpenStack for Kolla 中，主要解决 Neutron 的 namespace 在不同 container 中得以保持实效性的问题。

如果以下路径或文件不存在，创建新目录和文件即可。

# 创建文件夹
mkdir /etc/systemd/system/docker.service.d# 创建文件及编辑内容
tee /etc/systemd/system/docker.service.d/kolla.conf << 'EOF'
[Service]
MountFlags=shared
EOF
5. 安装python虚拟环境

python虚拟环境用于kolla-ansible使用。该步骤非必须项，但推荐使用虚拟环境运行ansible。
该部分在部署节点上执行。使用虚拟环境主要用于避免与系统包冲突。

# 安装基础依赖包
apt update
apt install git python3-dev libffi-dev gcc libssl-dev
apt install python3-venv# 创建虚拟环境并激活
python3 -m venv /path/to/venv
source /path/to/venv/bin/activate# 升级pip 到最新版本
pip install -U pip# 安装ansible： 这里针对不同版本的OpenStack，需要查询官方文档。
pip install 'ansible-core>=2.15,<2.16.99'  # for Openstack 2024.1 本文使用
pip install 'ansible-core==2.14'   # for 2023.2/2023.1
6. 安装kolla-ansible

在部署节点执行：

# 指定2024.1 版本的Kolla
pip install git+https://opendev.org/openstack/kolla-ansible@stable/2024.1# 安装最新版
# pip install git+https://opendev.org/openstack/kolla-ansible@master# 创建/etc/kolla目录及授权
mkdir -p /etc/kolla
chown $USER:$USER /etc/kolla# 复制 globals.yml and passwords.yml 到 /etc/kolla directory.
cp -r /path/to/venv/share/kolla-ansible/etc_examples/kolla/* /etc/kolla# 复制inventory文件到当前文件夹： 包括单节点与多节点配置
cp -r /path/to/venv/share/kolla-ansible/ansible/inventory/* /etc/kolla/.
7. 加载Ansible galaxy requirements

部署节点执行：

kolla-ansible install-deps

Openstack 安装前预配置

请确保在python虚拟环境中操作，避免冲突。

1. 配置密码

默认密码存放于/etc/kolla/passwords.yml且密码为空，可使用下面的命令生成随机密码：

kolla-genpwd

注意：需要单独修改keystone的密码，用于horizon登录，否则随机密码输入很困难。其次建议修改grafana的秘密

编辑文件：/etc/kolla/passwords.yml 

# 将keystone的密码修改为 KEYSTONE_PASS，便于用户从UI输入
keystone_admin_password: KEYSTONE_PASS
grafana_admin_password: xxxx
2. 配置multinode文件

该文件位于/etc/kolla/,作用是定义各节点角色，其名称需要与hosts文件严格一致。

配置说明如下：

#[xxx]代表一组对象，kolla根据各组所包括的节点进行功能定位与配置下发。 
#控制节点组
[control]          # 组名
node-01		   # 组成员
node-02
node-03# 网络节点
[network]
node-01
node-03#计算节点
[compute]
node-01		  
node-02
node-03# 监控节点
[monitoring]
node-01
node-02
node-03# 存储节点： 若对接ceph， 可以配置为node-01，但不能留空
[storage]
node-01# 部署节点： 也就是运行kolla-ansible的节点
[deployment]
localhost       ansible_connection=local# 其他节点，默认继承现有组，保持默认即可
[baremetal:children]         # 子组
control						 # 继承[control]组
network
compute
storage
monitoring[tls-backend:children]
control[common:children]
control
network
compute
storage
monitoring[collectd:children]
compute[grafana:children]
monitoring

检查配置是否正确：

通过执行以下命令检查部署节点是否能与目标节点(multinode所定义的节点)进行免密登录。

ansible -i /etc/kolla/multinode all -m ping
3. 修改全局配置文件

/etc/kolla/globals.yml，该文件定义OpenStack所需要安装的服务。因为顺序原因，这里只做了基本的网络配置，在对接ceph的文章中将展示完整配置，大家也可以直接使用完整配置替代以下配置：

cat > /etc/kolla/globals.yml <<EOF
---
kolla_base_distro: "ubuntu"
kolla_internal_vip_address: "10.148.250.253"
network_interface: "vlan1250"
neutron_external_interface: "bond0"    # vm网络
nova_compute_virt_type: "kvm"   # 如果是使用虚拟化部署，此选项必须选择qemu， 如果是物理机，默认是kvm

Kolla-Ansible 將 OpenStack 網路分為幾種

  • API interface 為 OpenStack 內部個元件互相溝通還有存取 database 的介面，建議使用內部網路。
  • External VIP Interface 為 OpenStack 對外的 endpoint
  • Storage Interface 是 OpenStack VM 跟 Ceph 溝通的介面，建議使用 10G 以上的網路
  • Cluster Interface 是 Ceph 內部複製檔案的網路介面，也是建議使用 10G 以上的網路
  • Tunnel Interface 是 OpenStack VM 對 VM 網路溝通走的介面
  • Neutron External Interface 是提供 VM 對外網路的介面，floating IP 的 flat / vlan 網路也是走此介面，須為獨立的的介面上不能用 IP

除了 Neutron External Interface 需要為獨立的介面以外，其他網路都可以共用介面，預設壞帶入 network_interface 的值

Openstack正式安装

1. 启动bootstrap-servers

为各节点配置基础环境且会下载大量包请务必保证节点网络的正常

kolla-ansible -i /etc/kolla/multinode bootstrap-servers -vvvv
  1. 上述命令在执行过程中如果报错， 若内容是因为python虚拟环境导致。 可参考以下解决方案：
# 创建文件
mkdir -p ~/.config/pip# 增加以下内容
[global]
break-system-packages = true
  1. 如果报错docker 起不来，解决方案：
systemctl daemon-reload 
systemctl start docker
systemctl enable docker
  1. 如果重启后ceph docker容器不启动，直接重启物理服务器； 重启后执行以下命令确保API正常：
 ceph restful restart

输出如下(根据安装内容不同，显示不一样，主要保证failed=0即可)：在这里插入图片描述

2. 预环境检查
kolla-ansible -i /etc/kolla/multinode prechecks -vvvv

如果提示"msg": "Hostname has to resolve uniquely to the IP address of api_interface"说明hosts文件有重复条目，注释即可。

输出如下(根据安装内容不同，显示不一样，主要保证failed=0即可)：
在这里插入图片描述
若报错没有 docker模块， 则需要退出虚拟环境(断开会话重新连接即退出)，然后执行pip install docker,安装python docker模块。

3. 拉取镜像
kolla-ansible -i /etc/kolla/multinode pull -vvvv

输出如下(根据安装内容不同，显示不一样，主要保证failed=0即可)：
在这里插入图片描述

4. 安装
kolla-ansible -i /etc/kolla/multinode deploy -vvvv

输出内容(根据安装内容不同，显示不一样，主要保证failed=0即可)：
在这里插入图片描述

Openstack初始化及优化

此部分有会有些笨办法，各位大佬可以多给点意见：
以下操作均在部署节点操作。

1. 安装openstack client

在哪台设备上操作openstack就在哪台设备安装。

apt  install python3-openstackclient
2. 生成openrc文件并导入

生成用户名密码文件，执行openstack命令前必须要使用。

kolla-ansible post-deploy
. /etc/kolla/admin-openrc.sh
3. 平台初始化
# 自动建立demo project，建议手工建立
source /etc/kolla/admin-openrc.sh #init-runonce 文件可以从kolla-ansible下载，如果在本地找不到的话
/usr/local/share/kolla-ansible/init-runonce
4. 登录Dashboard
http://yourIP
# admin / yourpassword
# 在/etc/kolla/admin-openrc.sh里查询
5. 下载并上传镜像

cirros是极小化linux，可使用它完成相关实验。如果导入其他image留给大家自行研究。

# 下载镜像
wget http://download.cirros-cloud.net/0.4.0/cirros-0.4.0-x86_64-disk.img#上传镜像
glance image-create --name "cirros" \--file cirros-0.4.0-x86_64-disk.img \--disk-format qcow2 --container-format bare \--visibility=public
6. 建立ssh-key
# 建立sshkey
ssh-keygen -q -N ""openstack keypair create --public-key ~/.ssh/id_rsa.pub mykey
7. 创建外部网络 (vlan没有添加vlanid 导致不通，需要修改)；请先完成14步再回来从这里开始继续。

创建VLAN100 的 172.16.100.0/24网络，GW 172.16.100.254

openstack network create --share --external --provider-physical-network physnet1 --provider-network-type vlan VLAN100
openstack subnet create --network VLAN100 --allocation-pool start=172.16.100.100,end=172.16.100.120 --dns-nameserver 8.8.8.8 --gateway 172.16.100.254 --subnet-range 172.16.100.0/24 VLAN100
8. 创建VM网络

创建Openstack内部虚拟网络给虚拟机使用，该网络需要通过Openstack 路由器与 外部网络连接

openstack network create vm-net172
openstack subnet create --network vm-net172 --dns-nameserver 8.8.8.8 --gateway 172.16.1.254 --subnet-range 172.16.1.0/24 vlan172016001
9. 创建路由器
openstack router create vm-router-01
10. 连接内外网络
openstack router add subnet vm-router-01 vlan172016001
openstack router set vm-router-01 --external-gateway external
openstack port list
11. 建立安全策略
openstack security group rule create --proto icmp default
openstack security group rule create --proto tcp --dst-port 22 default
12. 创建flavor模板
# 建立模板
openstack flavor create --id 0 --vcpus 1 --ram 256 --disk 1 m1.nano
openstack flavor create --id 1 --vcpus 1 --ram 2048 --disk 20 m1.small
13. 创建虚拟机
openstack server create --image cirros --flavor m1.nano --security-group default --key-name mykey --network vm-net172 instance01

14. 配置支持VLAN

在所有网络节点编辑配置 /etc/kolla/neutron-server/ml2_conf.ini 

[ml2]
type_drivers = flat,vlan,vxlan
tenant_network_types = vlan                      # 千万不要写 vxlan,vlan 否则dashboard要报错
mechanism_drivers = openvswitch,l2population
extension_drivers = port_security[ml2_type_vlan]
network_vlan_ranges = physnet1:1:4094					# 添加 physnet1:1:4094	[ml2_type_flat]
flat_networks = physnet1[ml2_type_vxlan]
vni_ranges = 1:1000

执行命令重启容器生效：docker restart neutron_server

15. 解决虚拟机创建超时问题

在/etc/kolla/config/nova/nova-compute.conf

[DEFAULT]
block_device_allocate_retries = 600

然后重新配置nova即可

这篇关于Openstack 与 Ceph集群搭建(下)： Openstack部署的文章就介绍到这儿，希望我们推荐的文章对编程师们有所帮助！


http://www.chinasem.cn/article/1114412。

相关文章

Linux部署中的文件大小写问题的解决方案

Linux部署中的文件大小写问题的解决方案

《Linux部署中的文件大小写问题的解决方案》在本地开发环境（Windows/macOS）一切正常,但部署到Linux服务器后出现模块加载错误,核心原因是Linux文件系统严格区分大小写,所以本文给大... 目录问题背景解决方案配置要求问题背景在本地开发环境（Windows/MACOS）一切正常，但部署到
阅读更多...
Java 与 LibreOffice 集成开发指南(环境搭建及代码示例)

Java 与 LibreOffice 集成开发指南(环境搭建及代码示例)

《Java与LibreOffice集成开发指南(环境搭建及代码示例)》本文介绍Java与LibreOffice的集成方法,涵盖环境配置、API调用、文档转换、UNO桥接及REST接口等技术,提供... 目录1. 引言2. 环境搭建2.1 安装 LibreOffice2.2 配置 Java 开发环境2.3 配
阅读更多...
使用IDEA部署Docker应用指南分享

使用IDEA部署Docker应用指南分享

《使用IDEA部署Docker应用指南分享》本文介绍了使用IDEA部署Docker应用的四步流程：创建Dockerfile、配置IDEADocker连接、设置运行调试环境、构建运行镜像,并强调需准备本... 目录一、创建 dockerfile 配置文件二、配置 IDEA 的 Docker 连接三、配置 Do
阅读更多...
Python极速搭建局域网文件共享服务器完整指南

Python极速搭建局域网文件共享服务器完整指南

《Python极速搭建局域网文件共享服务器完整指南》在办公室或家庭局域网中快速共享文件时,许多人会选择第三方工具或云存储服务,但这些方案往往存在隐私泄露风险或需要复杂配置,下面我们就来看看如何使用Py... 目录一、android基础版：HTTP文件共享的魔法命令1. 一行代码启动HTTP服务器2. 关键参
阅读更多...
MySQL 主从复制部署及验证(示例详解)

MySQL 主从复制部署及验证(示例详解)

《MySQL主从复制部署及验证(示例详解)》本文介绍MySQL主从复制部署步骤及学校管理数据库创建脚本,包含表结构设计、示例数据插入和查询语句,用于验证主从同步功能,感兴趣的朋友一起看看吧... 目录mysql 主从复制部署指南部署步骤1.环境准备2. 主服务器配置3. 创建复制用户4. 获取主服务器状态5
阅读更多...
golang程序打包成脚本部署到Linux系统方式

golang程序打包成脚本部署到Linux系统方式

《golang程序打包成脚本部署到Linux系统方式》Golang程序通过本地编译（设置GOOS为linux生成无后缀二进制文件）,上传至Linux服务器后赋权执行,使用nohup命令实现后台运行,完... 目录本地编译golang程序上传Golang二进制文件到linux服务器总结本地编译Golang程序
阅读更多...
Jenkins分布式集群配置方式

Jenkins分布式集群配置方式

《Jenkins分布式集群配置方式》：本文主要介绍Jenkins分布式集群配置方式,具有很好的参考价值,希望对大家有所帮助,如有错误或未考虑完全的地方,望不吝赐教... 目录1.安装jenkins2.配置集群总结Jenkins是一个开源项目，它提供了一个容易使用的持续集成系统，并且提供了大量的plugin满
阅读更多...
如何在Ubuntu 24.04上部署Zabbix 7.0对服务器进行监控

如何在Ubuntu 24.04上部署Zabbix 7.0对服务器进行监控

《如何在Ubuntu24.04上部署Zabbix7.0对服务器进行监控》在Ubuntu24.04上部署Zabbix7.0监控阿里云ECS服务器,需配置MariaDB数据库、开放10050/1005... 目录软硬件信息部署步骤步骤 1：安装并配置mariadb步骤 2：安装Zabbix 7.0 Server
阅读更多...
Redis分片集群、数据读写规则问题小结

Redis分片集群、数据读写规则问题小结

《Redis分片集群、数据读写规则问题小结》本文介绍了Redis分片集群的原理,通过数据分片和哈希槽机制解决单机内存限制与写瓶颈问题,实现分布式存储和高并发处理,但存在通信开销大、维护复杂及对事务支持... 目录一、分片集群解android决的问题二、分片集群图解 分片集群特征如何解决的上述问题？（与哨兵模
阅读更多...
如何使用Haporxy搭建Web群集

如何使用Haporxy搭建Web群集

《如何使用Haporxy搭建Web群集》Haproxy是目前比较流行的一种群集调度工具,同类群集调度工具有很多如LVS和Nginx,本案例介绍使用Haproxy及Nginx搭建一套Web群集,感兴趣的... 目录一、案例分析1.案例概述2.案例前置知识点2.1 HTTP请求2.2 负载均衡常用调度算法 2.
阅读更多...

Copyright China编程 23002807@qq.com

沪ICP备2023033072号-2