lustre安装配置V1.0

2024-03-24 10:32
文章标签 配置 安装 v1.0 lustre

本文主要是介绍lustre安装配置V1.0,希望对大家解决编程问题提供一定的参考价值,需要的开发者们随着小编来一起学习吧!

Lustre名字是由Linux和Clusters演化而来,是为解决海量存储问题而设计的全新文件系统。 
是下一代的集群文件系统,可支持10,000个节点,PB的存储量,100GB/S的传输速度,完美 
的安全性和可管理性。 
  目前Lustre已经运用在一些领域,例如HP SFS产品等。

 

  集群存储简介: 
  在集群里,一组独立的节点或主机可以象一个系统一样步调一致地工作。整个集群只有唯一 
的命名空间。厂商们也已经制造了一些软件和硬件设备,它们可以把不相干的文件系统融合成只使用一个命名空间的文件系统。用户可以访问并共

享其他用户的数据,而无需考虑是什么介质或其所处的是哪台主机。

 

  集群存储系统需要解决的最基本的问题: 
(1)提供共享访问数据,便于集群应用程序的编写和存储的负载均衡; 
(2)提供高性能的存储,在I/O级和数据吞吐率方面能满足成百上千台规模的Linux集群服务器聚合访问的需求

 

  与分布式文件系统相比: 
  数据不需要从一个文件系统拷贝或复制到另一个文件系统,通过集群系统共享应用和数据的任务执行起来要比在单独的设备上执行快得多; 
  集群可以为文件和文件系统提供更多的空间;

  因为只需要管理一个文件系统,而不再是每个存储设备或主机都需要一个文件系统,管理也更容易了;如果集群内的某台服务器出现了故障,另一台服务器就可以把它的工作接手过来,故障恢复也成为了现实; 用户也可以同时对位于其网络上的存储设备里的所有文件进行访问。

 

network type TCP/IP Network type used for Lustre file system temp

Centos 5.4    x86_64

ip    192.168.1.85    mds 
    roles    mdt1    oss1    client1 
    /dev/sda1    / 
    /dev/sda2    swap 
    /dev/sda3    /mnt/mdt 
    /dev/sda4    /mnt/ost1

ip    192.168.1.86    oss2 
    roles    oss2    client2 
    /dev/sda1    / 
    /dev/sda2    swap 
    /dev/sda3    /mnt/ost2

ip    192.168.1.87    oss3 
    roles    oss3    client3 
    /dev/sda1    / 
    /dev/sda2    swap 
    /dev/sda3    /mnt/ost3

 

lustre全局文件系统名字lustreFS 
MGS node     192.168.1.85@tcp0

 

1.下载安装 
http://wiki.lustre.org

cd lustre2 
rpm -Uvh e2fsprogs-1.41.10.sun2-0redhat.rhel5.x86_64.rpm 
rpm -ivh kernel*.rpm 
rpm -ivh lustre*.rpm

 

同步时间 
yum install ntp 
vi /etc/rc.local 
/usr/sbin/ntpdate stdtime.gov.hk

 

1. 加载模块,所有服务器上操作 
vi /etc/modprobe.conf 
options lnet networks=tcp

 

 

2.在mds上建立mdt文件系统 
mkfs.lustre –fsname=lustreFS –mgs –mdt /dev/sda3

 

 

3. 在mds上挂载mdt文件系统 
mkdir /mnt/mdt 
mount -t lustre /dev/sda3 /mnt/mdt

 

 

4. 在oss1,oss2,oss3上建立ost文件系统 
oss1 
mkfs.lustre –ost –fsname=lustreFS –mgsnode=192.168.1.85@tcp0 /dev/sda4

oss2和oss3 
mkfs.lustre –ost –fsname=lustreFS –mgsnode=192.168.1.85@tcp0 /dev/sda3

 

 

5.在每台oss上挂载ost 
oss1 
mkdir /mnt/ost1 
mount -t lustre /dev/sda4 /mnt/ost1

oss2 
mkdir /mnt/ost2 
mount -t lustre /dev/sda3 /mnt/ost2

oss3 
mkdir /mnt/ost3 
mount -t lustre /dev/sda3 /mnt/ost3

 

 

6.client挂载 
mkdir /lustre 
mount -t lustre 192.168.1.85@tcp0:/lustreFS /lustre

 

验证文件系统是否正常工作 
lfs df –h

 

测试lustre写入速度 
dd if=/dev/zero of=/lustre/test.img bs=1M count=5000

 

 

本机硬盘速度测试 
oss1 
dd if=/dev/zero of=/tmp/test.img bs=1M count=5000 
5000+0 records in 
5000+0 records out 
5242880000 bytes (5.2 GB) copied, 13.8092 seconds, 380 MB/s

 

oss2 
dd if=/dev/zero of=/tmp/test.img bs=1M count=5000 
5000+0 records in 
5000+0 records out 
5242880000 bytes (5.2 GB) copied, 24.5404 seconds, 214 MB/s

 

oss3 
dd if=/dev/zero of=/tmp/test.img bs=1M count=5000 
5000+0 records in 
5000+0 records out 
5242880000 bytes (5.2 GB) copied, 70.9517 seconds, 73.9 MB/s


这篇关于lustre安装配置V1.0的文章就介绍到这儿,希望我们推荐的文章对编程师们有所帮助!



http://www.chinasem.cn/article/841325

相关文章

gitlab安装及邮箱配置和常用使用方式

《gitlab安装及邮箱配置和常用使用方式》:本文主要介绍gitlab安装及邮箱配置和常用使用方式,具有很好的参考价值,希望对大家有所帮助,如有错误或未考虑完全的地方,望不吝赐教... 目录1.安装GitLab2.配置GitLab邮件服务3.GitLab的账号注册邮箱验证及其分组4.gitlab分支和标签的

MySQL MCP 服务器安装配置最佳实践

《MySQLMCP服务器安装配置最佳实践》本文介绍MySQLMCP服务器的安装配置方法,本文结合实例代码给大家介绍的非常详细,对大家的学习或工作具有一定的参考借鉴价值,需要的朋友参考下... 目录mysql MCP 服务器安装配置指南简介功能特点安装方法数据库配置使用MCP Inspector进行调试开发指

在Windows上使用qemu安装ubuntu24.04服务器的详细指南

《在Windows上使用qemu安装ubuntu24.04服务器的详细指南》本文介绍了在Windows上使用QEMU安装Ubuntu24.04的全流程:安装QEMU、准备ISO镜像、创建虚拟磁盘、配置... 目录1. 安装QEMU环境2. 准备Ubuntu 24.04镜像3. 启动QEMU安装Ubuntu4

Python UV安装、升级、卸载详细步骤记录

《PythonUV安装、升级、卸载详细步骤记录》:本文主要介绍PythonUV安装、升级、卸载的详细步骤,uv是Astral推出的下一代Python包与项目管理器,主打单一可执行文件、极致性能... 目录安装检查升级设置自动补全卸载UV 命令总结 官方文档详见:https://docs.astral.sh/

Redis Cluster模式配置

《RedisCluster模式配置》:本文主要介绍RedisCluster模式配置,本文给大家介绍的非常详细,对大家的学习或工作具有一定的参考借鉴价值,需要的朋友参考下吧... 目录分片 一、分片的本质与核心价值二、分片实现方案对比 ‌三、分片算法详解1. ‌范围分片(顺序分片)‌2. ‌哈希分片3. ‌虚

SpringBoot项目配置logback-spring.xml屏蔽特定路径的日志

《SpringBoot项目配置logback-spring.xml屏蔽特定路径的日志》在SpringBoot项目中,使用logback-spring.xml配置屏蔽特定路径的日志有两种常用方式,文中的... 目录方案一:基础配置(直接关闭目标路径日志)方案二:结合 Spring Profile 按环境屏蔽关

Maven 配置中的 <mirror>绕过 HTTP 阻断机制的方法

《Maven配置中的<mirror>绕过HTTP阻断机制的方法》:本文主要介绍Maven配置中的<mirror>绕过HTTP阻断机制的方法,本文给大家分享问题原因及解决方案,感兴趣的朋友一... 目录一、问题场景:升级 Maven 后构建失败二、解决方案:通过 <mirror> 配置覆盖默认行为1. 配置示

Nexus安装和启动的实现教程

《Nexus安装和启动的实现教程》:本文主要介绍Nexus安装和启动的实现教程,具有很好的参考价值,希望对大家有所帮助,如有错误或未考虑完全的地方,望不吝赐教... 目录一、Nexus下载二、Nexus安装和启动三、关闭Nexus总结一、Nexus下载官方下载链接:DownloadWindows系统根

Springboot3+将ID转为JSON字符串的详细配置方案

《Springboot3+将ID转为JSON字符串的详细配置方案》:本文主要介绍纯后端实现Long/BigIntegerID转为JSON字符串的详细配置方案,s基于SpringBoot3+和Spr... 目录1. 添加依赖2. 全局 Jackson 配置3. 精准控制(可选)4. OpenAPI (Spri

Java SWT库详解与安装指南(最新推荐)

《JavaSWT库详解与安装指南(最新推荐)》:本文主要介绍JavaSWT库详解与安装指南,在本章中,我们介绍了如何下载、安装SWTJAR包,并详述了在Eclipse以及命令行环境中配置Java... 目录1. Java SWT类库概述2. SWT与AWT和Swing的区别2.1 历史背景与设计理念2.1.