ODPS的Java连接(2)

2024-05-26 18:08
文章标签 java 连接 odps

本文主要是介绍ODPS的Java连接(2),希望对大家解决编程问题提供一定的参考价值,需要的开发者们随着小编来一起学习吧!

maven

<dependency><groupId>com.aliyun.odps</groupId><artifactId>odps-jdbc</artifactId><version>3.0.1</version>
</dependency>

正文

package org.apache.dolphinscheduler.common.utils;import com.aliyun.odps.*;
import com.aliyun.odps.account.Account;
import com.aliyun.odps.account.AliyunAccount;
import com.aliyun.odps.data.Record;
import com.aliyun.odps.task.SQLTask;import java.util.ArrayList;
import java.util.HashMap;
import java.util.List;
import java.util.Map;public class OdpsUtil {/*** odps连接* @param endPoint 地址* @param accessId 用户名* @param accessKey 密码* @param project 数据库名称* @return*/public static Odps getConn(String endPoint, String accessId, String accessKey, String project) {Account account = new AliyunAccount(accessId, accessKey);Odps odps = new Odps(account);odps.setEndpoint(endPoint);odps.setDefaultProject(project);return odps;}/*** 获取OPDS的tables* @param stmt opds已连接对象* @return*/public ArrayList<Map<String, String>> showTables(Odps stmt) {ArrayList<Map<String, String>> tablelist = new ArrayList<>();Tables tables = stmt.tables();for (Table table : tables) {Map<String, String> tableInfo = new HashMap<>();tableInfo.put("tableName", table.getName());tableInfo.put("remarks", table.getComment());tablelist.add(tableInfo);}return tablelist;}/*** 获取OPDS的字段colunmn的信息* @param stmt opds 已连接对象* @param tablename 表的名称* @return* @throws OdpsException*/public ArrayList<Map<String, String>> showTableFields(Odps stmt, String tablename) throws OdpsException {ArrayList<Map<String, String>> tableFieldlist = new ArrayList<>();Table t = stmt.tables().get(tablename);t.reload();TableSchema schema = t.getSchema();List<Column> columns = schema.getColumns();for (Column column : columns) {Map<String, String> fieldInfo = new HashMap<>();fieldInfo.put("columnName", column.getName());fieldInfo.put("remarks", column.getComment());tableFieldlist.add(fieldInfo);}return tableFieldlist;}/*** 获取表的数据预览* @param stmt* @param tablename* @throws OdpsException*/public void getTableData(Odps stmt, String tablename) throws OdpsException {String sql = "select * from " + tablename + " limit 5;";Instance i = SQLTask.run(stmt, sql);i.waitForSuccess();List<Record> records = SQLTask.getResult(i);for (Record r : records) {String fielddata1 = r.getString(1);String fielddata = r.getString("name");}}}

这篇关于ODPS的Java连接(2)的文章就介绍到这儿,希望我们推荐的文章对编程师们有所帮助!



http://www.chinasem.cn/article/1005198

相关文章

Spring Boot整合Redis注解实现增删改查功能(Redis注解使用)

《SpringBoot整合Redis注解实现增删改查功能(Redis注解使用)》文章介绍了如何使用SpringBoot整合Redis注解实现增删改查功能,包括配置、实体类、Repository、Se... 目录配置Redis连接定义实体类创建Repository接口增删改查操作示例插入数据查询数据删除数据更

Java Lettuce 客户端入门到生产的实现步骤

《JavaLettuce客户端入门到生产的实现步骤》本文主要介绍了JavaLettuce客户端入门到生产的实现步骤,文中通过示例代码介绍的非常详细,对大家的学习或者工作具有一定的参考学习价值,需要... 目录1 安装依赖MavenGradle2 最小化连接示例3 核心特性速览4 生产环境配置建议5 常见问题

Java使用Swing生成一个最大公约数计算器

《Java使用Swing生成一个最大公约数计算器》这篇文章主要为大家详细介绍了Java使用Swing生成一个最大公约数计算器的相关知识,文中的示例代码讲解详细,感兴趣的小伙伴可以了解一下... 目录第一步:利用欧几里得算法计算最大公约数欧几里得算法的证明情形 1:b=0情形 2:b>0完成相关代码第二步:加

Java 的ArrayList集合底层实现与最佳实践

《Java的ArrayList集合底层实现与最佳实践》本文主要介绍了Java的ArrayList集合类的核心概念、底层实现、关键成员变量、初始化机制、容量演变、扩容机制、性能分析、核心方法源码解析、... 目录1. 核心概念与底层实现1.1 ArrayList 的本质1.1.1 底层数据结构JDK 1.7

Java Map排序如何按照值按照键排序

《JavaMap排序如何按照值按照键排序》该文章主要介绍Java中三种Map(HashMap、LinkedHashMap、TreeMap)的默认排序行为及实现按键排序和按值排序的方法,每种方法结合实... 目录一、先理清 3 种 Map 的默认排序行为二、按「键」排序的实现方式1. 方式 1:用 TreeM

Java中流式并行操作parallelStream的原理和使用方法

《Java中流式并行操作parallelStream的原理和使用方法》本文详细介绍了Java中的并行流(parallelStream)的原理、正确使用方法以及在实际业务中的应用案例,并指出在使用并行流... 目录Java中流式并行操作parallelStream0. 问题的产生1. 什么是parallelS

Java中Redisson 的原理深度解析

《Java中Redisson的原理深度解析》Redisson是一个高性能的Redis客户端,它通过将Redis数据结构映射为Java对象和分布式对象,实现了在Java应用中方便地使用Redis,本文... 目录前言一、核心设计理念二、核心架构与通信层1. 基于 Netty 的异步非阻塞通信2. 编解码器三、

SpringBoot基于注解实现数据库字段回填的完整方案

《SpringBoot基于注解实现数据库字段回填的完整方案》这篇文章主要为大家详细介绍了SpringBoot如何基于注解实现数据库字段回填的相关方法,文中的示例代码讲解详细,感兴趣的小伙伴可以了解... 目录数据库表pom.XMLRelationFieldRelationFieldMapping基础的一些代

一篇文章彻底搞懂macOS如何决定java环境

《一篇文章彻底搞懂macOS如何决定java环境》MacOS作为一个功能强大的操作系统,为开发者提供了丰富的开发工具和框架,下面:本文主要介绍macOS如何决定java环境的相关资料,文中通过代码... 目录方法一:使用 which命令方法二:使用 Java_home工具(Apple 官方推荐)那问题来了,

Java HashMap的底层实现原理深度解析

《JavaHashMap的底层实现原理深度解析》HashMap基于数组+链表+红黑树结构,通过哈希算法和扩容机制优化性能,负载因子与树化阈值平衡效率,是Java开发必备的高效数据结构,本文给大家介绍... 目录一、概述:HashMap的宏观结构二、核心数据结构解析1. 数组(桶数组)2. 链表节点(Node