lustre安装配置V1.0

2024-03-24 10:32
文章标签 配置 安装 v1.0 lustre

本文主要是介绍lustre安装配置V1.0,希望对大家解决编程问题提供一定的参考价值,需要的开发者们随着小编来一起学习吧!

Lustre名字是由Linux和Clusters演化而来,是为解决海量存储问题而设计的全新文件系统。 
是下一代的集群文件系统,可支持10,000个节点,PB的存储量,100GB/S的传输速度,完美 
的安全性和可管理性。 
  目前Lustre已经运用在一些领域,例如HP SFS产品等。

 

  集群存储简介: 
  在集群里,一组独立的节点或主机可以象一个系统一样步调一致地工作。整个集群只有唯一 
的命名空间。厂商们也已经制造了一些软件和硬件设备,它们可以把不相干的文件系统融合成只使用一个命名空间的文件系统。用户可以访问并共

享其他用户的数据,而无需考虑是什么介质或其所处的是哪台主机。

 

  集群存储系统需要解决的最基本的问题: 
(1)提供共享访问数据,便于集群应用程序的编写和存储的负载均衡; 
(2)提供高性能的存储,在I/O级和数据吞吐率方面能满足成百上千台规模的Linux集群服务器聚合访问的需求

 

  与分布式文件系统相比: 
  数据不需要从一个文件系统拷贝或复制到另一个文件系统,通过集群系统共享应用和数据的任务执行起来要比在单独的设备上执行快得多; 
  集群可以为文件和文件系统提供更多的空间;

  因为只需要管理一个文件系统,而不再是每个存储设备或主机都需要一个文件系统,管理也更容易了;如果集群内的某台服务器出现了故障,另一台服务器就可以把它的工作接手过来,故障恢复也成为了现实; 用户也可以同时对位于其网络上的存储设备里的所有文件进行访问。

 

network type TCP/IP Network type used for Lustre file system temp

Centos 5.4    x86_64

ip    192.168.1.85    mds 
    roles    mdt1    oss1    client1 
    /dev/sda1    / 
    /dev/sda2    swap 
    /dev/sda3    /mnt/mdt 
    /dev/sda4    /mnt/ost1

ip    192.168.1.86    oss2 
    roles    oss2    client2 
    /dev/sda1    / 
    /dev/sda2    swap 
    /dev/sda3    /mnt/ost2

ip    192.168.1.87    oss3 
    roles    oss3    client3 
    /dev/sda1    / 
    /dev/sda2    swap 
    /dev/sda3    /mnt/ost3

 

lustre全局文件系统名字lustreFS 
MGS node     192.168.1.85@tcp0

 

1.下载安装 
http://wiki.lustre.org

cd lustre2 
rpm -Uvh e2fsprogs-1.41.10.sun2-0redhat.rhel5.x86_64.rpm 
rpm -ivh kernel*.rpm 
rpm -ivh lustre*.rpm

 

同步时间 
yum install ntp 
vi /etc/rc.local 
/usr/sbin/ntpdate stdtime.gov.hk

 

1. 加载模块,所有服务器上操作 
vi /etc/modprobe.conf 
options lnet networks=tcp

 

 

2.在mds上建立mdt文件系统 
mkfs.lustre –fsname=lustreFS –mgs –mdt /dev/sda3

 

 

3. 在mds上挂载mdt文件系统 
mkdir /mnt/mdt 
mount -t lustre /dev/sda3 /mnt/mdt

 

 

4. 在oss1,oss2,oss3上建立ost文件系统 
oss1 
mkfs.lustre –ost –fsname=lustreFS –mgsnode=192.168.1.85@tcp0 /dev/sda4

oss2和oss3 
mkfs.lustre –ost –fsname=lustreFS –mgsnode=192.168.1.85@tcp0 /dev/sda3

 

 

5.在每台oss上挂载ost 
oss1 
mkdir /mnt/ost1 
mount -t lustre /dev/sda4 /mnt/ost1

oss2 
mkdir /mnt/ost2 
mount -t lustre /dev/sda3 /mnt/ost2

oss3 
mkdir /mnt/ost3 
mount -t lustre /dev/sda3 /mnt/ost3

 

 

6.client挂载 
mkdir /lustre 
mount -t lustre 192.168.1.85@tcp0:/lustreFS /lustre

 

验证文件系统是否正常工作 
lfs df –h

 

测试lustre写入速度 
dd if=/dev/zero of=/lustre/test.img bs=1M count=5000

 

 

本机硬盘速度测试 
oss1 
dd if=/dev/zero of=/tmp/test.img bs=1M count=5000 
5000+0 records in 
5000+0 records out 
5242880000 bytes (5.2 GB) copied, 13.8092 seconds, 380 MB/s

 

oss2 
dd if=/dev/zero of=/tmp/test.img bs=1M count=5000 
5000+0 records in 
5000+0 records out 
5242880000 bytes (5.2 GB) copied, 24.5404 seconds, 214 MB/s

 

oss3 
dd if=/dev/zero of=/tmp/test.img bs=1M count=5000 
5000+0 records in 
5000+0 records out 
5242880000 bytes (5.2 GB) copied, 70.9517 seconds, 73.9 MB/s


这篇关于lustre安装配置V1.0的文章就介绍到这儿,希望我们推荐的文章对编程师们有所帮助!



http://www.chinasem.cn/article/841325

相关文章

mybatis映射器配置小结

《mybatis映射器配置小结》本文详解MyBatis映射器配置,重点讲解字段映射的三种解决方案(别名、自动驼峰映射、resultMap),文中通过示例代码介绍的非常详细,对大家的学习或者工作具有一定... 目录select中字段的映射问题使用SQL语句中的别名功能使用mapUnderscoreToCame

Linux下MySQL数据库定时备份脚本与Crontab配置教学

《Linux下MySQL数据库定时备份脚本与Crontab配置教学》在生产环境中,数据库是核心资产之一,定期备份数据库可以有效防止意外数据丢失,本文将分享一份MySQL定时备份脚本,并讲解如何通过cr... 目录备份脚本详解脚本功能说明授权与可执行权限使用 Crontab 定时执行编辑 Crontab添加定

Java使用jar命令配置服务器端口的完整指南

《Java使用jar命令配置服务器端口的完整指南》本文将详细介绍如何使用java-jar命令启动应用,并重点讲解如何配置服务器端口,同时提供一个实用的Web工具来简化这一过程,希望对大家有所帮助... 目录1. Java Jar文件简介1.1 什么是Jar文件1.2 创建可执行Jar文件2. 使用java

SpringBoot 多环境开发实战(从配置、管理与控制)

《SpringBoot多环境开发实战(从配置、管理与控制)》本文详解SpringBoot多环境配置,涵盖单文件YAML、多文件模式、MavenProfile分组及激活策略,通过优先级控制灵活切换环境... 目录一、多环境开发基础(单文件 YAML 版)(一)配置原理与优势(二)实操示例二、多环境开发多文件版

Vite 打包目录结构自定义配置小结

《Vite打包目录结构自定义配置小结》在Vite工程开发中,默认打包后的dist目录资源常集中在asset目录下,不利于资源管理,本文基于Rollup配置原理,本文就来介绍一下通过Vite配置自定义... 目录一、实现原理二、具体配置步骤1. 基础配置文件2. 配置说明(1)js 资源分离(2)非 JS 资

MySQL8 密码强度评估与配置详解

《MySQL8密码强度评估与配置详解》MySQL8默认启用密码强度插件,实施MEDIUM策略(长度8、含数字/字母/特殊字符),支持动态调整与配置文件设置,推荐使用STRONG策略并定期更新密码以提... 目录一、mysql 8 密码强度评估机制1.核心插件:validate_password2.密码策略级

ShardingProxy读写分离之原理、配置与实践过程

《ShardingProxy读写分离之原理、配置与实践过程》ShardingProxy是ApacheShardingSphere的数据库中间件,通过三层架构实现读写分离,解决高并发场景下数据库性能瓶... 目录一、ShardingProxy技术定位与读写分离核心价值1.1 技术定位1.2 读写分离核心价值二

QT Creator配置Kit的实现示例

《QTCreator配置Kit的实现示例》本文主要介绍了使用Qt5.12.12与VS2022时,因MSVC编译器版本不匹配及WindowsSDK缺失导致配置错误的问题解决,感兴趣的可以了解一下... 目录0、背景:qt5.12.12+vs2022一、症状:二、原因:(可以跳过,直奔后面的解决方法)三、解决方

SpringBoot路径映射配置的实现步骤

《SpringBoot路径映射配置的实现步骤》本文介绍了如何在SpringBoot项目中配置路径映射,使得除static目录外的资源可被访问,文中通过示例代码介绍的非常详细,对大家的学习或者工作具有一... 目录SpringBoot路径映射补:springboot 配置虚拟路径映射 @RequestMapp

RabbitMQ 延时队列插件安装与使用示例详解(基于 Delayed Message Plugin)

《RabbitMQ延时队列插件安装与使用示例详解(基于DelayedMessagePlugin)》本文详解RabbitMQ通过安装rabbitmq_delayed_message_exchan... 目录 一、什么是 RabbitMQ 延时队列? 二、安装前准备✅ RabbitMQ 环境要求 三、安装延时队