MatrixDB 4.x 通过命令进行集群化安装

2023-12-03 08:48

本文主要是介绍MatrixDB 4.x 通过命令进行集群化安装,希望对大家解决编程问题提供一定的参考价值,需要的开发者们随着小编来一起学习吧!

MatrixDB 4.x 通过命令进行集群化安装

一、集群规划

192.168.174.127  master 
192.168.174.128  segment1
192.168.174.129  segment2

二、安装前准备

更改主机名

hostnamectl set-hostname mdw   
hostnamectl set-hostname sdw01
hostnamectl set-hostname sdw02

操作系统

[root@one ~]# cat /etc/redhat-release 
CentOS Linux release 7.8.2003 (Core)

查看主机配置

vim /etc/hosts

192.168.174.127 mdw
192.168.174.128 sdw01
192.168.174.129 sdw02

repo安装

wget -O /etc/yum.repos.d/CentOS-Base.repo http://mirrors.aliyun.com/repo/Centos-7.repo
或者
curl -o /etc/yum.repos.d/CentOS-Base.repo http://mirrors.aliyun.com/repo/Centos-7.repo

防火墙

systemctl stop firewalld.service
systemctl status firewalld.service
systemctl disable firewalld.service
iptables -L

selinux设置

sed -i ‘s/SELINUX=enforcing/SELINUX=disabled/g’ /etc/selinux/config

setenforce 0

内核参数配置

vim /etc/sysctl.conf

kernel.shmmax = 500000000  
kernel.shmmni = 4096  
kernel.shmall = 4000000000  
kernel.sem = 250 512000 100 2048   
kernel.sysrq = 1   
kernel.core_uses_pid = 1   
kernel.msgmnb = 65536   
kernel.msgmax = 65536   
kernel.msgmni = 2048  
net.ipv4.tcp_syncookies = 1     
net.ipv4.conf.default.accept_source_route = 0   
net.ipv4.tcp_rw_recycle=1  
net.ipv4.tcp_max_syn_backlog = 4096  
net.ipv4.conf.all.arp_filter = 1  
net.ipv4.ip_local_port_range = 10000 65535  
net.core.netdev_max_backlog = 10000  
net.core.rmem_max = 2097152  
net.core.wmem_max = 2097152  
vm.overcommit_memory = 2  
kernel.pid_max=1000000 

使配置生效

sysctl -p

vim /etc/security/limits.conf

* soft nofile 65536 
* hard nofile 65536 
* soft nproc 131072   
* hard nproc 131072 

三、安装依赖

python依赖

MatrixDB 4需要Python 3.6,请使用下列命令安装并将Python 3.6设为默认版本:

yum install centos-release-scl
yum install rh-python36
scl enable rh-python36 bash

库依赖

sudo yum install -y epel-release || sudo yum install -y https://dl.fedoraproject.org/pub/epel/epel-release-latest-$(cut -d: -f5 /etc/system-release-cpe | cut -d. -f1).noarch.rpm
sudo yum install -y https://apache.bintray.com/arrow/centos/$(cut -d: -f5 /etc/system-release-cpe | cut -d. -f1)/apache-arrow-release-latest.rpm
sudo yum install -y arrow-libs-3.0.0 parquet-libs-3.0.0

四、Matrixdb安装

yum install matrixdb-4.0.1.enterprise-1.el7.x86_64.rpm -y

创建用户

groupadd -g 531 mxadmin  
useradd -u 3031 mxadmin -g mxadmin  
echo 'matrixdb@2021'|passwd --stdin mxadmin  
--授予sudo权限 
echo 'mxadmin ALL=(ALL) NOPASSWD: ALL' >> /etc/sudoers 

环境变量

su - mxadmin

cat ~/.basrc  
source /usr/local/matrixdb/greenplum_path.sh
export MASTER_DATA_DIRECTORY=/data/matrixdb/master/gpseg-1  
export PGHOST=mdw  
export PGPORT=5432   
export PGUSER=mxadmin   
export PGPASSWORD=yourpassword   
export PGDATABASE=postgres  

集群初始化配置文件

[mxadmin@mdw ~]$ mkdir gpconfigs
[mxadmin@mdw gpconfigs]$ cat all_hosts 
mdw
sdw01
sdw02
[mxadmin@mdw gpconfigs]$ cat seg_host 
sdw01
sdw02

交换密钥

ssh-keygen 
ssh-copy-id sdw01
ssh-copy-id sdw02[mxadmin@mdw gpconfigs]$ gpssh-exkeys -f ./all_hosts 
[STEP 1 of 5] create local ID and authorize on local host... /home/mxadmin/.ssh/id_rsa file exists ... key generation skipped[STEP 2 of 5] keyscan all hosts and update known_hosts file[STEP 3 of 5] retrieving credentials from remote hosts... send to sdw01... send to sdw02[STEP 4 of 5] determine common authentication file content[STEP 5 of 5] copy authentication files to all remote hosts... finished key exchange with sdw01... finished key exchange with sdw02[INFO] completed successfully

创建数据目录

gpssh -f all_hosts

=> sudo mkdir /data/matrixdb/primary -p
[  mdw]
[sdw02]
[sdw01]
=> sudo mkdir /data/matrixdb/master -p
[  mdw]
[sdw02]
[sdw01]
=> sudo mkdir /data/matrixdb/mirror -p
[  mdw]
[sdw02]
[sdw01]
=> sudo chown mxadmin.mxadmin -R /data/matrixdb
[  mdw]
[sdw02]
[sdw01]
=> exit

配置文件

vim ~/gpconfigs/initgp_config

ARRAY_NAME="MatrixDB Data Platform"    
SEG_PREFIX=gpseg   
PORT_BASE=40000   
declare -a DATA_DIRECTORY=(/data/matrixdb/primary)    
MASTER_HOSTNAME=mdw   
MASTER_DIRECTORY=/data/matrixdb/master
MASTER_PORT=5432
TRUSTED_SHELL=/usr/bin/ssh   
CHECK_POINT_SEGMENTS=8   
ENCODING=UNICODE   
MIRROR_PORT_BASE=50000  
REPLICATION_PORT_BASE=41000   
MIRROR_REPLICATION_PORT_BASE=51000   
declare -a MIRROR_DATA_DIRECTORY=(/data/matrixdb/mirror)   
MACHINE_LIST_FILE=/home/mxadmin/gpconfigs/seg_host

执行集群初始化

gpinitsystem -c initgp_config -h seg_host -a -D

修改配置

为了方便远程登陆,需要修改如下配置

cd $MASTER_DATA_DIRECTORY
vim pg_hba.conf
host     all all         192.168.174.0/24       md5

五、登陆

[mxadmin@mdw gpAdminLogs]$ psql
psql (12)
Type "help" for help.postgres=# select * from gp_segment_configuration order by 1 asc;dbid | content | role | preferred_role | mode | status | port  | hostname | address |            datadir             
------+---------+------+----------------+------+--------+-------+----------+---------+--------------------------------1 |      -1 | p    | p              | n    | u      |  5432 | mdw      | mdw     | /data/matrixdb/master//gpseg-12 |       0 | p    | p              | n    | u      | 40000 | sdw01    | sdw01   | /data/matrixdb/primary/gpseg03 |       1 | p    | p              | n    | u      | 40000 | sdw02    | sdw02   | /data/matrixdb/primary/gpseg1
(3 rows)postgres=# select version();version                                                        ------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------
--------------------------------------------------------------------------PostgreSQL 12 (MatrixDB 4.0.2-enterprise) (Greenplum Database 7.0.0+dev.16862.geacab77254 build commit:eacab77254fea8a76eff31a89dfda868a9217971) on x86_64-pc-linux-gnu, compiled by gcc (GCC) 
7.3.1 20180303 (Red Hat 7.3.1-5), 64-bit compiled on Jun  1 2021 09:38:15
(1 row)

视频版

https://member.bilibili.com/platform/upload-manager/article

这篇关于MatrixDB 4.x 通过命令进行集群化安装的文章就介绍到这儿,希望我们推荐的文章对编程师们有所帮助!



http://www.chinasem.cn/article/448838

相关文章

Python中win32包的安装及常见用途介绍

《Python中win32包的安装及常见用途介绍》在Windows环境下,PythonWin32模块通常随Python安装包一起安装,:本文主要介绍Python中win32包的安装及常见用途的相关... 目录前言主要组件安装方法常见用途1. 操作Windows注册表2. 操作Windows服务3. 窗口操作

Golang如何对cron进行二次封装实现指定时间执行定时任务

《Golang如何对cron进行二次封装实现指定时间执行定时任务》:本文主要介绍Golang如何对cron进行二次封装实现指定时间执行定时任务问题,具有很好的参考价值,希望对大家有所帮助,如有错误... 目录背景cron库下载代码示例【1】结构体定义【2】定时任务开启【3】使用示例【4】控制台输出总结背景

postgresql数据库基本操作及命令详解

《postgresql数据库基本操作及命令详解》本文介绍了PostgreSQL数据库的基础操作,包括连接、创建、查看数据库,表的增删改查、索引管理、备份恢复及退出命令,适用于数据库管理和开发实践,感兴... 目录1. 连接 PostgreSQL 数据库2. 创建数据库3. 查看当前数据库4. 查看所有数据库

linux重启命令有哪些? 7个实用的Linux系统重启命令汇总

《linux重启命令有哪些?7个实用的Linux系统重启命令汇总》Linux系统提供了多种重启命令,常用的包括shutdown-r、reboot、init6等,不同命令适用于不同场景,本文将详细... 在管理和维护 linux 服务器时,完成系统更新、故障排查或日常维护后,重启系统往往是必不可少的步骤。本文

Redis分片集群、数据读写规则问题小结

《Redis分片集群、数据读写规则问题小结》本文介绍了Redis分片集群的原理,通过数据分片和哈希槽机制解决单机内存限制与写瓶颈问题,实现分布式存储和高并发处理,但存在通信开销大、维护复杂及对事务支持... 目录一、分片集群解android决的问题二、分片集群图解 分片集群特征如何解决的上述问题?(与哨兵模

使用Python进行GRPC和Dubbo协议的高级测试

《使用Python进行GRPC和Dubbo协议的高级测试》GRPC(GoogleRemoteProcedureCall)是一种高性能、开源的远程过程调用(RPC)框架,Dubbo是一种高性能的分布式服... 目录01 GRPC测试安装gRPC编写.proto文件实现服务02 Dubbo测试1. 安装Dubb

SpringBoot连接Redis集群教程

《SpringBoot连接Redis集群教程》:本文主要介绍SpringBoot连接Redis集群教程,具有很好的参考价值,希望对大家有所帮助,如有错误或未考虑完全的地方,望不吝赐教... 目录1. 依赖2. 修改配置文件3. 创建RedisClusterConfig4. 测试总结1. 依赖 <de

gitlab安装及邮箱配置和常用使用方式

《gitlab安装及邮箱配置和常用使用方式》:本文主要介绍gitlab安装及邮箱配置和常用使用方式,具有很好的参考价值,希望对大家有所帮助,如有错误或未考虑完全的地方,望不吝赐教... 目录1.安装GitLab2.配置GitLab邮件服务3.GitLab的账号注册邮箱验证及其分组4.gitlab分支和标签的

MySQL MCP 服务器安装配置最佳实践

《MySQLMCP服务器安装配置最佳实践》本文介绍MySQLMCP服务器的安装配置方法,本文结合实例代码给大家介绍的非常详细,对大家的学习或工作具有一定的参考借鉴价值,需要的朋友参考下... 目录mysql MCP 服务器安装配置指南简介功能特点安装方法数据库配置使用MCP Inspector进行调试开发指

nginx启动命令和默认配置文件的使用

《nginx启动命令和默认配置文件的使用》:本文主要介绍nginx启动命令和默认配置文件的使用,具有很好的参考价值,希望对大家有所帮助,如有错误或未考虑完全的地方,望不吝赐教... 目录常见命令nginx.conf配置文件location匹配规则图片服务器总结常见命令# 默认配置文件启动./nginx