Centos6离线安装CDH5.14.2最全详细教程-6配置Mysql

本文主要是介绍Centos6离线安装CDH5.14.2最全详细教程-6配置Mysql,希望对大家解决编程问题提供一定的参考价值,需要的开发者们随着小编来一起学习吧!

 

 

文章目录

    • 概述
    • 配置Mysql数据库
    • 为Cloudera Manager配置Mysql数据库
    • 下一部分

 

概述

文章写得很详细,很长所以这里分成了7个部分
这里是第六部分,主要讲配置Mysql作为Cloudera Manager及CDH组件的数据库
操作的话建议从第一部分开始不知道为什么后面的几个部分的阅读量比前言大得多,强烈建议从第一部分开始操作,文章验证过好多次了,各部分之间都是相互依赖的,只看中间某一篇的话很可能出错

第一部分:前言
第二部分:环境准备1
第三部分:环境准备2
第四部分:安装Mysql数据库
第五部分:安装Cloudera Manager主服务
第六部分:配置Mysql数据库
第七部分:浏览器安装ClouderaManager
注意
1. **所有步骤如无特别说明都是要在所有服务器上都执行一遍 **
2. 所有的准备工作都要做,不要漏了或者错了,不然后面出现各种问题再改都是轻的,由此引发的其他的问题就严重多了
3. **所有操作均在root用户下进行 **

配置Mysql数据库

为Cloudera Manager配置外部的数据库需要对此外部数据库进行一些配置

第一步:ClouderaManager官网对Mysql配置的翻译,
大致意思是:
1) 需要配置Mysql的搜索引擎为InnoDB
2) Mysql安装好以后默认分配的缓冲区和内存比较小,ClouderaManager会非常频繁地连接Mysql需要配置一下,具体根据你集群的大小配置最大连接数
3) 二进制日志对于ClouderaManager不是必须的,但是对Mysql有好处,这个你随意

然后官网在下面给了一个my.cnf配置的例子,然后说只要你的大数据集群在50个节点以内都可以使用下面的这个配置

[mysqld]
transaction-isolation = READ-COMMITTED
# Disabling symbolic-links is recommended to prevent assorted security risks;
# to do so, uncomment this line:
# symbolic-links = 0key_buffer_size = 32M
max_allowed_packet = 32M
thread_stack = 256K
thread_cache_size = 64
query_cache_limit = 8M
query_cache_size = 64M
query_cache_type = 1max_connections = 550
#expire_logs_days = 10
#max_binlog_size = 100M#log_bin should be on a disk with enough free space. Replace '/var/lib/mysql/mysql_binary_log' with an appropriate path for your system
#and chown the specified folder to the mysql user.
log_bin=/var/lib/mysql/mysql_binary_log# For MySQL version 5.1.8 or later. For older versions, reference MySQL documentation for configuration help.
binlog_format = mixedread_buffer_size = 2M
read_rnd_buffer_size = 16M
sort_buffer_size = 8M
join_buffer_size = 8M# InnoDB settings
innodb_file_per_table = 1
innodb_flush_log_at_trx_commit  = 2
innodb_log_buffer_size = 64M
innodb_buffer_pool_size = 4G
innodb_thread_concurrency = 8
innodb_flush_method = O_DIRECT
innodb_log_file_size = 512M[mysqld_safe]
log-error=/var/log/mysqld.log
pid-file=/var/run/mysqld/mysqld.pid
sql_mode=STRICT_ALL_TABLES

第二步:全局搜索Mysql的配置文件my.cnf

find / -name my.cnf

my.cnf路径一般是/etc/my.cnf没有的话创建,其他地方有的话修改

第三步:修改Mysql的配置文件my.cnf
把官网给的例子粘贴上去,

第四步:重启Mysql服务

service mysql restart

第五步:测试是否配置成功
在Mysql中随便创建一个表执行命令

show table status
  • 1

发现搜索引擎修改成功
Centos6离线安装CDH5.14.2最全详细教程-6配置Mysql数据库-1.png

为Cloudera Manager配置Mysql数据库

第一步:执行脚本scm_prepare_database.sh

/usr/share/cmf/schema/scm_prepare_database.sh mysql  -uroot -p123123 scm scm scm

如果Mysql与安装的cloudera-scm-server不在同一台服务器,比如说
Mysql在cm01.spark.com,cloudera-scm-server在cm02.spark.com
使用命令:

# 在cm02.spark.com的服务器执行命令
/usr/share/cmf/schema/scm_prepare_database.sh mysql -h cm01.spark.com -uroot -p123123 --scm-host cm02.spark.com scm scm scm
  • 1
  • 2

这一步如果执行失败,找不到Mysql驱动的话极有可能是因为配置Mysql驱动的那一步你做得不对

这个命令的意思是:
为Cloudera Manager指定数据库为Mysql
通过用户名为root,密码为123123,连接cm01.spark.com上的Mysql数据库。
为在cm02.spark.com的cloudera-scm-server服务,创建一个名叫scm的数据库(第一个scm),并为这个数据库创建一个用户,用户名为scm(第二个scm),密码也为scm(第三个scm)

第二步:停止ClouderaManager服务

service cloudera-scm-server stop
service cloudera-scm-server-db stop

第三步:删除内嵌的默认数据库PostgreSQL的配置

rm -f /etc/cloudera-scm-server/db.mgmt.properties

第四步:启动ClouderaManager服务

service cloudera-scm-server start

注意

  • cloudera-scm-server-db这个服务就是ClouderaManager内嵌的数据库,就不用再启动了
  • scm数据库是执行scm_prepare_database.sh脚本时创建的,一同创建的还有scm的用户
  • 这个数据库里的表是重启cloudera-scm-server服务时创建的

下一部分

Centos6离线安装CDH5.14.2最全详细教程-7浏览器安装ClouderaManager

这篇关于Centos6离线安装CDH5.14.2最全详细教程-6配置Mysql的文章就介绍到这儿,希望我们推荐的文章对编程师们有所帮助!



http://www.chinasem.cn/article/1024468

相关文章

SpringBoot集成redisson实现延时队列教程

《SpringBoot集成redisson实现延时队列教程》文章介绍了使用Redisson实现延迟队列的完整步骤,包括依赖导入、Redis配置、工具类封装、业务枚举定义、执行器实现、Bean创建、消费... 目录1、先给项目导入Redisson依赖2、配置redis3、创建 RedissonConfig 配

线上Java OOM问题定位与解决方案超详细解析

《线上JavaOOM问题定位与解决方案超详细解析》OOM是JVM抛出的错误,表示内存分配失败,:本文主要介绍线上JavaOOM问题定位与解决方案的相关资料,文中通过代码介绍的非常详细,需要的朋... 目录一、OOM问题核心认知1.1 OOM定义与技术定位1.2 OOM常见类型及技术特征二、OOM问题定位工具

基于 Cursor 开发 Spring Boot 项目详细攻略

《基于Cursor开发SpringBoot项目详细攻略》Cursor是集成GPT4、Claude3.5等LLM的VSCode类AI编程工具,支持SpringBoot项目开发全流程,涵盖环境配... 目录cursor是什么?基于 Cursor 开发 Spring Boot 项目完整指南1. 环境准备2. 创建

MySQL的JDBC编程详解

《MySQL的JDBC编程详解》:本文主要介绍MySQL的JDBC编程,具有很好的参考价值,希望对大家有所帮助,如有错误或未考虑完全的地方,望不吝赐教... 目录前言一、前置知识1. 引入依赖2. 认识 url二、JDBC 操作流程1. JDBC 的写操作2. JDBC 的读操作总结前言本文介绍了mysq

java.sql.SQLTransientConnectionException连接超时异常原因及解决方案

《java.sql.SQLTransientConnectionException连接超时异常原因及解决方案》:本文主要介绍java.sql.SQLTransientConnectionExcep... 目录一、引言二、异常信息分析三、可能的原因3.1 连接池配置不合理3.2 数据库负载过高3.3 连接泄漏

mybatis映射器配置小结

《mybatis映射器配置小结》本文详解MyBatis映射器配置,重点讲解字段映射的三种解决方案(别名、自动驼峰映射、resultMap),文中通过示例代码介绍的非常详细,对大家的学习或者工作具有一定... 目录select中字段的映射问题使用SQL语句中的别名功能使用mapUnderscoreToCame

Linux下MySQL数据库定时备份脚本与Crontab配置教学

《Linux下MySQL数据库定时备份脚本与Crontab配置教学》在生产环境中,数据库是核心资产之一,定期备份数据库可以有效防止意外数据丢失,本文将分享一份MySQL定时备份脚本,并讲解如何通过cr... 目录备份脚本详解脚本功能说明授权与可执行权限使用 Crontab 定时执行编辑 Crontab添加定

Java使用jar命令配置服务器端口的完整指南

《Java使用jar命令配置服务器端口的完整指南》本文将详细介绍如何使用java-jar命令启动应用,并重点讲解如何配置服务器端口,同时提供一个实用的Web工具来简化这一过程,希望对大家有所帮助... 目录1. Java Jar文件简介1.1 什么是Jar文件1.2 创建可执行Jar文件2. 使用java

SpringBoot 多环境开发实战(从配置、管理与控制)

《SpringBoot多环境开发实战(从配置、管理与控制)》本文详解SpringBoot多环境配置,涵盖单文件YAML、多文件模式、MavenProfile分组及激活策略,通过优先级控制灵活切换环境... 目录一、多环境开发基础(单文件 YAML 版)(一)配置原理与优势(二)实操示例二、多环境开发多文件版

Vite 打包目录结构自定义配置小结

《Vite打包目录结构自定义配置小结》在Vite工程开发中,默认打包后的dist目录资源常集中在asset目录下,不利于资源管理,本文基于Rollup配置原理,本文就来介绍一下通过Vite配置自定义... 目录一、实现原理二、具体配置步骤1. 基础配置文件2. 配置说明(1)js 资源分离(2)非 JS 资