【大数据基础平台】星环TDH社区开发版单机部署

2023-10-31 04:44
文章标签 基础 数据 部署 平台 开发 社区 单机 星环 tdh

本文主要是介绍【大数据基础平台】星环TDH社区开发版单机部署，希望对大家解决编程问题提供一定的参考价值，需要的开发者们随着小编来一起学习吧！

🍁 博主 "开着拖拉机回家"带您 Go to New World.✨🍁

🦄 个人主页——🎐开着拖拉机回家_大数据运维-CSDN博客 🎐✨🍁

🪁🍁🪁🍁🪁🍁🪁🍁 🪁🍁🪁🍁🪁🍁🪁 🪁🍁🪁🍁🪁🍁🪁🍁🪁🍁🪁🍁

感谢点赞和关注 ，每天进步一点点！加油！

目录

🍁 博主 "开着拖拉机回家"带您 Go to New World.✨🍁

一、概述

二、安装TDH-CE-DEV

2.1 环境准备

2.2 安装TDH社区开发版

2.3 自助申请许可证

三、基本配置

3.1 开启安全

3.2 Hyperbase设置

3.3 安装TDH客户端

3.4 集群外使用hadoop client

3.4.1 使用zookeeper-client

3.4.2 使用hadoop/hdfs

3.4.3 使用hbase shell

一、概述

TDH企业级一站式大数据基础平台致力于帮助企业更全面、更便捷、更智能、更安全的加速数字化转型。通过数年时间的打磨创新，已帮助数千家行业客户利用大数据平台构建核心商业系统，加速商业创新。为了让大数据技术得到更广泛的使用与应用从而创造更高的价值，依托于TDH强大的技术底座，星环科技推出TDH社区版（Transwarp Data Hub Community Edition）版本，致力于为企业用户、高校师生、科研机构以及其他专业开发人员提供更轻量、更简单、更易用的数据分析开发环境，轻松应对各类人员数据分析需求。

社区版官网：TDH社区版-TDH Community Edition-星环科技

二、安装TDH-CE-DEV

2.1 环境准备

主机名和映射配置

cat  /etc/hosts
192.168.2.117 devopshostnamectl set-hostname devops

关闭防火墙或者配置端口

systemctl stop  firewalld.service
systemctl disable  firewalld.service

安装docker ，需有网且配置好 repo 源，或者离线安装

yum install docker
systemctl start docker.service
systemctl status docker.service
systemctl enable docker.service

docker 启动完成

2.2 安装TDH社区开发版

官网地址：TDH社区版-TDH Community Edition-星环科技

下载的单机安装包：TDH-Standalone-Community-Transwarp-9.3.1-X86_64-final.tar.gz

解压并且加载镜像

[root@tdh-node01 yum.repos.d]# cd /opt/
[root@tdh-node01 opt]# ll
total 12045828
drwx--x--x. 4 root root       4096 Oct 24 11:14 containerd
-rw-------. 1 root root 7104777216 Jun  7 21:31 tdh-standalone-2023.5.tar
-rw-r--r--. 1 root root 5230133572 Oct 24 09:32 TDH-Standalone-Community-Transwarp-9.3.1-X86_64-final.tar.gz
[root@tdh-node01 opt]#
[root@tdh-node01 opt]#
[root@tdh-node01 opt]#
[root@tdh-node01 opt]# docker load  -i  tdh-standalone-2023.5.tar
74ddd0ec08fa: Loading layer [==================================================>]  238.6MB/238.6MB
e74f7e968b61: Loading layer [==================================================>]  6.866GB/6.866GB
Loaded image: tdh-standalone:2023.5
[root@tdh-node01 opt]#
[root@tdh-node01 opt]# docker images
REPOSITORY       TAG       IMAGE ID       CREATED        SIZE
tdh-standalone   2023.5    296d67572acb   4 months ago   7.08GB

镜像加载完成

执行下方指令启动容器并运行镜像

docker run -d --network host -v /home/tdh:/opt/transwarp --privileged tdh-standalone:2023.5
docker ps -a 
docker logs -f  xxx

容器启动后需等待30s至2分钟

浏览器访问管理节点8180端口， 默认用户名和密码都是admin

接受

集群名称

默认的单节点主机信息

确认 下一步

安全组件密码设置

服务总览

下一步确定 安装

安装中

安装完成

2.3 自助申请许可证

登录星环云网站：https://cloud.transwarp.cn/home

编辑组织信息

申请许可证

回到TDH Manager，输入账号进行“许可证申请”。

完成申请

安装完成

三、基本配置

3.1 开启安全

进入全局服务下的Guardian服务详情页,选择一键开启安全


输入密码

完成配置刷新

3.2 Hyperbase设置

使用hyperbase前需要进行依赖配置，如果开启安全还需要进行赋权操作。

安装结束后进入Quark服务详情页，更新quark依赖关系；

选择HypeHbase1

点击配置服务，配置完成后进行重启服务

确定快速重启

如果开启安全，需要进入guardian server页面，为hive用户赋予hyperbase权限。

点击Guardian服务详情页，进入Guardian Server权限页面进行编辑；

登录

进入权限配置页面

选择权限 Hypebase1

编辑

“+” 新增

保存

3.3 安装TDH客户端

Manager为用户提供了两种下载tdh-client的方式，其中选择manager自带tdh-client下载可能会比较慢，本章节将介绍如何进行快速下载。

Manager页面下载客户端，选择“随产品包上传”下载tdh-client。

选择所有组件 ，确定

下载 后上传/opt路径解压如下：

拷贝容器内的bundled_tdh_client目录到本地。此处假设客户端解压到了目录/opt下，命令为：

[root@devops opt]# docker ps -a 
CONTAINER ID   IMAGE                   COMMAND              CREATED       STATUS       PORTS     NAMES
1d5c56eca76d   tdh-standalone:2023.5   "/usr/bin/boot.sh"   2 hours ago   Up 2 hours             laughing_perlman
[root@devops opt]# 
[root@devops opt]# docker cp  1d5c56eca76d:/var/lib/transwarp-manager/master/content/resources/bundled_tdh_client .
[root@devops opt]# ls
ansible  bundled_tdh_client  containerd  py  TDH-Client  tdh-client.tar
[root@devops opt]# 
[root@devops opt]# ls bundled_tdh_client/
hadoop  hyperbase  inceptor  init.sh  kafka  redis  sqoop  zookeeper

复制bundled_tdh_client目录下的内容到解压后的TDH-Client目录下。

[root@devops opt]#  cp  -nr bundled_tdh_client/*   TDH-Client/

完成后即可使用TDH-Client。 使用TDH-Client前还需设置JAVA_HOME环境变量。

3.4 集群外使用hadoop client

首先您需要保证JAVA_HOME设置正确。已准备好TDH-Client（TDH-Client文件夹下有init.sh），下方假定TDH-Client存储路径为：/opt

3.4.1 使用zookeeper-client

在guardian上下载zookeeper租户的keytab，假定路径是/opt/TDH-Client/kerberos/zookeeper.keytab

将常用的几个 keytab文件下载 放到/opt/TDH-Client/kerberos 路径下

执行

export ZOOKEEPER_KEYTAB=/opt/TDH-Client/kerberos/zookeeper.keytab
source /opt/TDH-Client/init.sh

3.4.2 使用hadoop/hdfs

# 查看 principal
klist -kt /opt/TDH-Client/kerberos/hdfs.keytab
# 认证
kinit -kt /opt/TDH-Client/kerberos/hdfs.keytab hdfs@TDH

创建文件夹和上传文件测试

3.4.3 使用hbase shell

在guardian上下载hbase租户的keytab，假定路径是/tmp/hbase.keytab /opt/TDH-Client/kerberos/hbase.keytab， 如果没有认证直接进入 命令报错如下：

klist -kt /opt/TDH-Client/kerberos/hbase.keytab

确认后执行下方命令方可使用.

export HYPERBASE_KEYTAB=/opt/TDH-Client/kerberos/hbase.keytab
source /opt/TDH-Client/init.sh
kinit -kt /opt/TDH-Client/kerberos/hbase.keytab hbase@TDH

hbase shel 进入命令行，创建表kangll , put 数据

create 'kangll',{NAME=>'d',VERSIONS => 1,DATA_BLOCK_ENCODING => 'FAST_DIFF',COMPRESSION => 'SNAPPY'},{SPLITS=> ['0','1','2','3','4','5','6','7','8','9','a','b','c','d','e','f']}
alter  'kangll', {NAME => 't',VERSIONS => 1,DATA_BLOCK_ENCODING => 'FAST_DIFF',COMPRESSION => 'SNAPPY'},{SPLITS=> ['0','1','2','3','4','5','6','7','8','9','a','b','c','d','e','f']}put 'kangll','e312673c87115b12#20230215#1','t:md','2023-02-23 18:27:07.692'
put 'kangll','f8a5414345987335#20230215#1','t:md','2023-02-23 18:27:07.692'
put 'kangll','ab68b01fb2fb77d9#20230215#1','t:md','2023-02-23 18:27:07.692'
put 'kangll','0fbdc950ab7bac48#20230215#1','t:md','2023-02-23 18:27:07.692'
put 'kangll','03852b8d2e682a2d#20230215#1','t:md','2023-02-23 18:27:07.692'
put 'kangll','36506147bed193c9#20230215#1','t:md','2023-02-23 18:27:07.692'

查询成功

参考文档地址：

https://docs.transwarp.cn/#/documents-support/docs-detail/document/CE-PLATFORM/23-5/003TDH-CE-DEV-InstallManual?docType=docs%3Fcategory%3DTDH%26index%3D0&docName=%E7%A4%BE%E5%8C%BA%E5%BC%80%E5%8F%91%E7%89%88%E5%AE%89%E8%A3%85%E6%89%8B%E5%86%8C

这篇关于【大数据基础平台】星环TDH社区开发版单机部署的文章就介绍到这儿，希望我们推荐的文章对编程师们有所帮助！

原文地址:
本文来自互联网用户投稿，该文观点仅代表作者本人，不代表本站立场。本站仅提供信息存储空间服务，不拥有所有权，不承担相关法律责任。如若转载，请注明出处：http://www.chinasem.cn/article/312909。

相关文章

Python使用vllm处理多模态数据的预处理技巧

Python使用vllm处理多模态数据的预处理技巧

《Python使用vllm处理多模态数据的预处理技巧》本文深入探讨了在Python环境下使用vLLM处理多模态数据的预处理技巧,我们将从基础概念出发,详细讲解文本、图像、音频等多模态数据的预处理方法,... 目录1. 背景介绍1.1 目的和范围1.2 预期读者1.3 文档结构概述1.4 术语表1.4.1 核
阅读更多...
MySQL 删除数据详解(最新整理)

MySQL 删除数据详解(最新整理)

《MySQL删除数据详解(最新整理)》：本文主要介绍MySQL删除数据的相关知识,本文通过实例代码给大家介绍的非常详细,对大家的学习或工作具有一定的参考借鉴价值,需要的朋友参考下吧... 目录一、前言二、mysql 中的三种删除方式1.DELETE语句✅ 基本语法： 示例：2.TRUNCATE语句✅ 基本语
阅读更多...
MyBatisPlus如何优化千万级数据的CRUD

MyBatisPlus如何优化千万级数据的CRUD

《MyBatisPlus如何优化千万级数据的CRUD》最近负责的一个项目,数据库表量级破千万,每次执行CRUD都像走钢丝,稍有不慎就引起数据库报警,本文就结合这个项目的实战经验,聊聊MyBatisPl... 目录背景一、MyBATis Plus 简介二、千万级数据的挑战三、优化 CRUD 的关键策略1. 查
阅读更多...
python实现对数据公钥加密与私钥解密

python实现对数据公钥加密与私钥解密

《python实现对数据公钥加密与私钥解密》这篇文章主要为大家详细介绍了如何使用python实现对数据公钥加密与私钥解密,文中的示例代码讲解详细,感兴趣的小伙伴可以跟随小编一起学习一下... 目录公钥私钥的生成使用公钥加密使用私钥解密公钥私钥的生成这一部分，使用python生成公钥与私钥，然后保存在两个文
阅读更多...
mysql中的数据目录用法及说明

mysql中的数据目录用法及说明

《mysql中的数据目录用法及说明》：本文主要介绍mysql中的数据目录用法及说明,具有很好的参考价值,希望对大家有所帮助,如有错误或未考虑完全的地方,望不吝赐教... 目录1、背景2、版本3、数据目录4、总结1、背景安装mysql之后，在安装目录下会有一个data目录，我们创建的数据库、创建的表、插入的
阅读更多...
Navicat数据表的数据添加,删除及使用sql完成数据的添加过程

Navicat数据表的数据添加,删除及使用sql完成数据的添加过程

《Navicat数据表的数据添加,删除及使用sql完成数据的添加过程》：本文主要介绍Navicat数据表的数据添加,删除及使用sql完成数据的添加过程,具有很好的参考价值,希望对大家有所帮助,如有... 目录Navicat数据表数据添加,删除及使用sql完成数据添加选中操作的表则出现如下界面，查看左下角从左
阅读更多...
SpringBoot中4种数据水平分片策略

SpringBoot中4种数据水平分片策略

《SpringBoot中4种数据水平分片策略》数据水平分片作为一种水平扩展策略,通过将数据分散到多个物理节点上,有效解决了存储容量和性能瓶颈问题,下面小编就来和大家分享4种数据分片策略吧... 目录一、前言二、哈希分片2.1 原理2.2 SpringBoot实现2.3 优缺点分析2.4 适用场景三、范围分片
阅读更多...
SpringBoot开发中十大常见陷阱深度解析与避坑指南

SpringBoot开发中十大常见陷阱深度解析与避坑指南

《SpringBoot开发中十大常见陷阱深度解析与避坑指南》在SpringBoot的开发过程中,即使是经验丰富的开发者也难免会遇到各种棘手的问题,本文将针对SpringBoot开发中十大常见的“坑... 目录引言一、配置总出错？是不是同时用了.properties和.yml？二、换个位置配置就失效？搞清楚加
阅读更多...
Redis分片集群、数据读写规则问题小结

Redis分片集群、数据读写规则问题小结

《Redis分片集群、数据读写规则问题小结》本文介绍了Redis分片集群的原理,通过数据分片和哈希槽机制解决单机内存限制与写瓶颈问题,实现分布式存储和高并发处理,但存在通信开销大、维护复杂及对事务支持... 目录一、分片集群解android决的问题二、分片集群图解 分片集群特征如何解决的上述问题？（与哨兵模
阅读更多...
浅析如何保证MySQL与Redis数据一致性

浅析如何保证MySQL与Redis数据一致性

《浅析如何保证MySQL与Redis数据一致性》在互联网应用中,MySQL作为持久化存储引擎,Redis作为高性能缓存层,两者的组合能有效提升系统性能,下面我们来看看如何保证两者的数据一致性吧... 目录一、数据不一致性的根源1.1 典型不一致场景1.2 关键矛盾点二、一致性保障策略2.1 基础策略：更新数
阅读更多...

Copyright China编程 23002807@qq.com

沪ICP备2023033072号-2