MatrixDB 4.x 通过命令进行集群化安装

2023-12-03 08:48

本文主要是介绍MatrixDB 4.x 通过命令进行集群化安装,希望对大家解决编程问题提供一定的参考价值,需要的开发者们随着小编来一起学习吧!

MatrixDB 4.x 通过命令进行集群化安装

一、集群规划

192.168.174.127  master 
192.168.174.128  segment1
192.168.174.129  segment2

二、安装前准备

更改主机名

hostnamectl set-hostname mdw   
hostnamectl set-hostname sdw01
hostnamectl set-hostname sdw02

操作系统

[root@one ~]# cat /etc/redhat-release 
CentOS Linux release 7.8.2003 (Core)

查看主机配置

vim /etc/hosts

192.168.174.127 mdw
192.168.174.128 sdw01
192.168.174.129 sdw02

repo安装

wget -O /etc/yum.repos.d/CentOS-Base.repo http://mirrors.aliyun.com/repo/Centos-7.repo
或者
curl -o /etc/yum.repos.d/CentOS-Base.repo http://mirrors.aliyun.com/repo/Centos-7.repo

防火墙

systemctl stop firewalld.service
systemctl status firewalld.service
systemctl disable firewalld.service
iptables -L

selinux设置

sed -i ‘s/SELINUX=enforcing/SELINUX=disabled/g’ /etc/selinux/config

setenforce 0

内核参数配置

vim /etc/sysctl.conf

kernel.shmmax = 500000000  
kernel.shmmni = 4096  
kernel.shmall = 4000000000  
kernel.sem = 250 512000 100 2048   
kernel.sysrq = 1   
kernel.core_uses_pid = 1   
kernel.msgmnb = 65536   
kernel.msgmax = 65536   
kernel.msgmni = 2048  
net.ipv4.tcp_syncookies = 1     
net.ipv4.conf.default.accept_source_route = 0   
net.ipv4.tcp_rw_recycle=1  
net.ipv4.tcp_max_syn_backlog = 4096  
net.ipv4.conf.all.arp_filter = 1  
net.ipv4.ip_local_port_range = 10000 65535  
net.core.netdev_max_backlog = 10000  
net.core.rmem_max = 2097152  
net.core.wmem_max = 2097152  
vm.overcommit_memory = 2  
kernel.pid_max=1000000 

使配置生效

sysctl -p

vim /etc/security/limits.conf

* soft nofile 65536 
* hard nofile 65536 
* soft nproc 131072   
* hard nproc 131072 

三、安装依赖

python依赖

MatrixDB 4需要Python 3.6,请使用下列命令安装并将Python 3.6设为默认版本:

yum install centos-release-scl
yum install rh-python36
scl enable rh-python36 bash

库依赖

sudo yum install -y epel-release || sudo yum install -y https://dl.fedoraproject.org/pub/epel/epel-release-latest-$(cut -d: -f5 /etc/system-release-cpe | cut -d. -f1).noarch.rpm
sudo yum install -y https://apache.bintray.com/arrow/centos/$(cut -d: -f5 /etc/system-release-cpe | cut -d. -f1)/apache-arrow-release-latest.rpm
sudo yum install -y arrow-libs-3.0.0 parquet-libs-3.0.0

四、Matrixdb安装

yum install matrixdb-4.0.1.enterprise-1.el7.x86_64.rpm -y

创建用户

groupadd -g 531 mxadmin  
useradd -u 3031 mxadmin -g mxadmin  
echo 'matrixdb@2021'|passwd --stdin mxadmin  
--授予sudo权限 
echo 'mxadmin ALL=(ALL) NOPASSWD: ALL' >> /etc/sudoers 

环境变量

su - mxadmin

cat ~/.basrc  
source /usr/local/matrixdb/greenplum_path.sh
export MASTER_DATA_DIRECTORY=/data/matrixdb/master/gpseg-1  
export PGHOST=mdw  
export PGPORT=5432   
export PGUSER=mxadmin   
export PGPASSWORD=yourpassword   
export PGDATABASE=postgres  

集群初始化配置文件

[mxadmin@mdw ~]$ mkdir gpconfigs
[mxadmin@mdw gpconfigs]$ cat all_hosts 
mdw
sdw01
sdw02
[mxadmin@mdw gpconfigs]$ cat seg_host 
sdw01
sdw02

交换密钥

ssh-keygen 
ssh-copy-id sdw01
ssh-copy-id sdw02[mxadmin@mdw gpconfigs]$ gpssh-exkeys -f ./all_hosts 
[STEP 1 of 5] create local ID and authorize on local host... /home/mxadmin/.ssh/id_rsa file exists ... key generation skipped[STEP 2 of 5] keyscan all hosts and update known_hosts file[STEP 3 of 5] retrieving credentials from remote hosts... send to sdw01... send to sdw02[STEP 4 of 5] determine common authentication file content[STEP 5 of 5] copy authentication files to all remote hosts... finished key exchange with sdw01... finished key exchange with sdw02[INFO] completed successfully

创建数据目录

gpssh -f all_hosts

=> sudo mkdir /data/matrixdb/primary -p
[  mdw]
[sdw02]
[sdw01]
=> sudo mkdir /data/matrixdb/master -p
[  mdw]
[sdw02]
[sdw01]
=> sudo mkdir /data/matrixdb/mirror -p
[  mdw]
[sdw02]
[sdw01]
=> sudo chown mxadmin.mxadmin -R /data/matrixdb
[  mdw]
[sdw02]
[sdw01]
=> exit

配置文件

vim ~/gpconfigs/initgp_config

ARRAY_NAME="MatrixDB Data Platform"    
SEG_PREFIX=gpseg   
PORT_BASE=40000   
declare -a DATA_DIRECTORY=(/data/matrixdb/primary)    
MASTER_HOSTNAME=mdw   
MASTER_DIRECTORY=/data/matrixdb/master
MASTER_PORT=5432
TRUSTED_SHELL=/usr/bin/ssh   
CHECK_POINT_SEGMENTS=8   
ENCODING=UNICODE   
MIRROR_PORT_BASE=50000  
REPLICATION_PORT_BASE=41000   
MIRROR_REPLICATION_PORT_BASE=51000   
declare -a MIRROR_DATA_DIRECTORY=(/data/matrixdb/mirror)   
MACHINE_LIST_FILE=/home/mxadmin/gpconfigs/seg_host

执行集群初始化

gpinitsystem -c initgp_config -h seg_host -a -D

修改配置

为了方便远程登陆,需要修改如下配置

cd $MASTER_DATA_DIRECTORY
vim pg_hba.conf
host     all all         192.168.174.0/24       md5

五、登陆

[mxadmin@mdw gpAdminLogs]$ psql
psql (12)
Type "help" for help.postgres=# select * from gp_segment_configuration order by 1 asc;dbid | content | role | preferred_role | mode | status | port  | hostname | address |            datadir             
------+---------+------+----------------+------+--------+-------+----------+---------+--------------------------------1 |      -1 | p    | p              | n    | u      |  5432 | mdw      | mdw     | /data/matrixdb/master//gpseg-12 |       0 | p    | p              | n    | u      | 40000 | sdw01    | sdw01   | /data/matrixdb/primary/gpseg03 |       1 | p    | p              | n    | u      | 40000 | sdw02    | sdw02   | /data/matrixdb/primary/gpseg1
(3 rows)postgres=# select version();version                                                        ------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------
--------------------------------------------------------------------------PostgreSQL 12 (MatrixDB 4.0.2-enterprise) (Greenplum Database 7.0.0+dev.16862.geacab77254 build commit:eacab77254fea8a76eff31a89dfda868a9217971) on x86_64-pc-linux-gnu, compiled by gcc (GCC) 
7.3.1 20180303 (Red Hat 7.3.1-5), 64-bit compiled on Jun  1 2021 09:38:15
(1 row)

视频版

https://member.bilibili.com/platform/upload-manager/article

这篇关于MatrixDB 4.x 通过命令进行集群化安装的文章就介绍到这儿,希望我们推荐的文章对编程师们有所帮助!



http://www.chinasem.cn/article/448838

相关文章

Redis 的 SUBSCRIBE命令详解

《Redis的SUBSCRIBE命令详解》Redis的SUBSCRIBE命令用于订阅一个或多个频道,以便接收发送到这些频道的消息,本文给大家介绍Redis的SUBSCRIBE命令,感兴趣的朋友跟随... 目录基本语法工作原理示例消息格式相关命令python 示例Redis 的 SUBSCRIBE 命令用于订

防止Linux rm命令误操作的多场景防护方案与实践

《防止Linuxrm命令误操作的多场景防护方案与实践》在Linux系统中,rm命令是删除文件和目录的高效工具,但一旦误操作,如执行rm-rf/或rm-rf/*,极易导致系统数据灾难,本文针对不同场景... 目录引言理解 rm 命令及误操作风险rm 命令基础常见误操作案例防护方案使用 rm编程 别名及安全删除

Java使用jar命令配置服务器端口的完整指南

《Java使用jar命令配置服务器端口的完整指南》本文将详细介绍如何使用java-jar命令启动应用,并重点讲解如何配置服务器端口,同时提供一个实用的Web工具来简化这一过程,希望对大家有所帮助... 目录1. Java Jar文件简介1.1 什么是Jar文件1.2 创建可执行Jar文件2. 使用java

RabbitMQ 延时队列插件安装与使用示例详解(基于 Delayed Message Plugin)

《RabbitMQ延时队列插件安装与使用示例详解(基于DelayedMessagePlugin)》本文详解RabbitMQ通过安装rabbitmq_delayed_message_exchan... 目录 一、什么是 RabbitMQ 延时队列? 二、安装前准备✅ RabbitMQ 环境要求 三、安装延时队

linux系统上安装JDK8全过程

《linux系统上安装JDK8全过程》文章介绍安装JDK的必要性及Linux下JDK8的安装步骤,包括卸载旧版本、下载解压、配置环境变量等,强调开发需JDK,运行可选JRE,现JDK已集成JRE... 目录为什么要安装jdk?1.查看linux系统是否有自带的jdk:2.下载jdk压缩包2.解压3.配置环境

Nginx中配置使用非默认80端口进行服务的完整指南

《Nginx中配置使用非默认80端口进行服务的完整指南》在实际生产环境中,我们经常需要将Nginx配置在其他端口上运行,本文将详细介绍如何在Nginx中配置使用非默认端口进行服务,希望对大家有所帮助... 目录一、为什么需要使用非默认端口二、配置Nginx使用非默认端口的基本方法2.1 修改listen指令

Redis中哨兵机制和集群的区别及说明

《Redis中哨兵机制和集群的区别及说明》Redis哨兵通过主从复制实现高可用,适用于中小规模数据;集群采用分布式分片,支持动态扩展,适合大规模数据,哨兵管理简单但扩展性弱,集群性能更强但架构复杂,根... 目录一、架构设计与节点角色1. 哨兵机制(Sentinel)2. 集群(Cluster)二、数据分片

MySQL按时间维度对亿级数据表进行平滑分表

《MySQL按时间维度对亿级数据表进行平滑分表》本文将以一个真实的4亿数据表分表案例为基础,详细介绍如何在不影响线上业务的情况下,完成按时间维度分表的完整过程,感兴趣的小伙伴可以了解一下... 目录引言一、为什么我们需要分表1.1 单表数据量过大的问题1.2 分表方案选型二、分表前的准备工作2.1 数据评估

Python库 Django 的简介、安装、用法入门教程

《Python库Django的简介、安装、用法入门教程》Django是Python最流行的Web框架之一,它帮助开发者快速、高效地构建功能强大的Web应用程序,接下来我们将从简介、安装到用法详解,... 目录一、Django 简介 二、Django 的安装教程 1. 创建虚拟环境2. 安装Django三、创

Linux查询服务器 IP 地址的命令详解

《Linux查询服务器IP地址的命令详解》在服务器管理和网络运维中,快速准确地获取服务器的IP地址是一项基本但至关重要的技能,下面我们来看看Linux中查询服务器IP的相关命令使用吧... 目录一、hostname 命令:简单高效的 IP 查询工具命令详解实际应用技巧注意事项二、ip 命令:新一代网络配置全