GFS分布式文件系统、集群

2024-03-23 08:08

本文主要是介绍GFS分布式文件系统、集群,希望对大家解决编程问题提供一定的参考价值,需要的开发者们随着小编来一起学习吧!

GFS分布式文件系统、集群

  • 一、GlusterFS简介
  • 二、GlusterFS特点
  • 三、GlusterFS术语
  • 四、GlusterFS构成
  • 五、GFS支持的卷
  • 六、GFS部署
    • 1、环境准备
    • 2、更改节点名称
    • 3、节点磁盘挂载、安装本地源
    • 4、添加节点集群
    • 5、根据规则创建卷
      • (1)创建分布式卷
      • (2)创建条带卷
      • (3)创建复制卷
      • (4)创建分布式条带卷
      • (5)创建分布式复制卷
    • 6、部署gluster客户端(192.168.177.2)
    • 7、查看文件分布
      • (1)查看分布式文件分布
      • (2)查看条带卷文件分布
      • (3)查看复制卷文件分布
      • (4)查看分布式条带卷分布
      • (5)查看分布式复制卷分布
  • 七、冗余测试

一、GlusterFS简介

1、开源的分布式文件系统
2、由储存服务器、客户端以及NFS/Samba储存网关组成
3、无元数据服务器
注:FS:文件系统
文件系统组成:(1)文件系统接口
(2)对对象管理的软件集合
(3)对象及属性

二、GlusterFS特点

1、扩展性和高性能
2、高可用性
3、全局统一命名空间
4、弹性卷管理
5、基于标准协议

三、GlusterFS术语

1、Brick(块存储服务器)实际存储用户数据的服务器
2、Volume本地文件系统的“分区”
3、FUSE用户空间的文件系统(类别EXT4),“这是一个伪文件”,用户端的交换模块
4、VFS(虚拟端口)内核态的虚拟文件系统,用户是提交请求给VFS然后VFS交给FUSH,再交给GFS客户端,最后由客户端交给远端存储
5、Glusterd(服务)是运行再储存节点的进程(客户端运行的是gluster client)GFS使用过程中整个GFS之间的交换由Gluster client和glusterd完成

四、GlusterFS构成

模块化堆栈式架构:模块化、堆栈式的架构;通过对模块的组合,实现复杂的功能。
注:1、API:应用程序编程接口
2、模块化:每个模块可以提供不同的功能
3、堆栈式:同时启用多个模块,逗哥功能可以组合,实现复杂的功能

在这里插入图片描述
注:上半部分为客户端,中间为网络层,下半部分为服务端
1、封装多个功能模块,组成堆栈式的结构,来实现复杂的功能
2、以请求的方式与客户端进行交互,客户端与服务端进行交互,由于可能会存在系统兼容问题,需要通过posix来解决系统兼容性问题,让客户端的命令通过posix过滤后可以在服务端执行

1、I/O cache:I/O缓存

2、read ahead:内核文件预读

3、distribute/stripe:分布式、条带化

4、Gige:千兆网/千兆接口

5、TCP/IP:网络协议

6、InfiniBand:网络协议,与TCP/IP相比,TCP/IP具有转发丢失数据包的特性,基于此通信协议可能导致通信变慢,而IB使用基于信任的、流控制的机制来保证连接完整性

7、RDMA:负责数据传输,有一种数据传输协议,功能:为了解决传输过程中客户端与服务器端数据处理的延迟

在这里插入图片描述
1、收到外界一个请求,例:用户端申请创建一个文件,客户端或应用程序通过GFS的挂载点访问数据

2、linux系统内容通过VFSAPI收到请求并处理

3、VFS将数据递交给FUSE内核文件系统,fuse文件系统则是将数据通过/dev/fuse设备文件递交给了GlusterFS

这篇关于GFS分布式文件系统、集群的文章就介绍到这儿,希望我们推荐的文章对编程师们有所帮助!



http://www.chinasem.cn/article/837682

相关文章

Nginx使用Keepalived部署web集群(高可用高性能负载均衡)实战案例

《Nginx使用Keepalived部署web集群(高可用高性能负载均衡)实战案例》本文介绍Nginx+Keepalived实现Web集群高可用负载均衡的部署与测试,涵盖架构设计、环境配置、健康检查、... 目录前言一、架构设计二、环境准备三、案例部署配置 前端 Keepalived配置 前端 Nginx

Redis高可用-主从复制、哨兵模式与集群模式详解

《Redis高可用-主从复制、哨兵模式与集群模式详解》:本文主要介绍Redis高可用-主从复制、哨兵模式与集群模式的使用,具有很好的参考价值,希望对大家有所帮助,如有错误或未考虑完全的地方,望不吝... 目录Redis高可用-主从复制、哨兵模式与集群模式概要一、主从复制(Master-Slave Repli

Redis分片集群的实现

《Redis分片集群的实现》Redis分片集群是一种将Redis数据库分散到多个节点上的方式,以提供更高的性能和可伸缩性,本文主要介绍了Redis分片集群的实现,具有一定的参考价值,感兴趣的可以了解一... 目录1. Redis Cluster的核心概念哈希槽(Hash Slots)主从复制与故障转移2.

centos7基于keepalived+nginx部署k8s1.26.0高可用集群

《centos7基于keepalived+nginx部署k8s1.26.0高可用集群》Kubernetes是一个开源的容器编排平台,用于自动化地部署、扩展和管理容器化应用程序,在生产环境中,为了确保集... 目录一、初始化(所有节点都执行)二、安装containerd(所有节点都执行)三、安装docker-

如何在一台服务器上使用docker运行kafka集群

《如何在一台服务器上使用docker运行kafka集群》文章详细介绍了如何在一台服务器上使用Docker运行Kafka集群,包括拉取镜像、创建网络、启动Kafka容器、检查运行状态、编写启动和关闭脚本... 目录1.拉取镜像2.创建集群之间通信的网络3.将zookeeper加入到网络中4.启动kafka集群

Nacos集群数据同步方式

《Nacos集群数据同步方式》文章主要介绍了Nacos集群中服务注册信息的同步机制,涉及到负责节点和非负责节点之间的数据同步过程,以及DistroProtocol协议在同步中的应用... 目录引言负责节点(发起同步)DistroProtocolDistroSyncChangeTask获取同步数据getDis

服务器集群同步时间手记

1.时间服务器配置(必须root用户) (1)检查ntp是否安装 [root@node1 桌面]# rpm -qa|grep ntpntp-4.2.6p5-10.el6.centos.x86_64fontpackages-filesystem-1.41-1.1.el6.noarchntpdate-4.2.6p5-10.el6.centos.x86_64 (2)修改ntp配置文件 [r

HDFS—集群扩容及缩容

白名单:表示在白名单的主机IP地址可以,用来存储数据。 配置白名单步骤如下: 1)在NameNode节点的/opt/module/hadoop-3.1.4/etc/hadoop目录下分别创建whitelist 和blacklist文件 (1)创建白名单 [lytfly@hadoop102 hadoop]$ vim whitelist 在whitelist中添加如下主机名称,假如集群正常工作的节

Hadoop集群数据均衡之磁盘间数据均衡

生产环境,由于硬盘空间不足,往往需要增加一块硬盘。刚加载的硬盘没有数据时,可以执行磁盘数据均衡命令。(Hadoop3.x新特性) plan后面带的节点的名字必须是已经存在的,并且是需要均衡的节点。 如果节点不存在,会报如下错误: 如果节点只有一个硬盘的话,不会创建均衡计划: (1)生成均衡计划 hdfs diskbalancer -plan hadoop102 (2)执行均衡计划 hd

搭建Kafka+zookeeper集群调度

前言 硬件环境 172.18.0.5        kafkazk1        Kafka+zookeeper                Kafka Broker集群 172.18.0.6        kafkazk2        Kafka+zookeeper                Kafka Broker集群 172.18.0.7        kafkazk3