阿里云 DataWorks v2.0 常见问题与难点解析整理

2023-11-04 04:40

本文主要是介绍阿里云 DataWorks v2.0 常见问题与难点解析整理,希望对大家解决编程问题提供一定的参考价值,需要的开发者们随着小编来一起学习吧!

一、依赖关系配置

  • 依赖关系原理概述
  • 三种依赖配置方式
  • “自动解析”配置依赖关系:推荐使用
  • 手动配置依赖关系
  • “自动推荐”配置依赖关系

1.1 依赖关系原理概述

在这里插入图片描述

  • 可扩展性差,缺乏解耦
  • 重跑任务的成本太高

输出名称

  • 每个节点(Task)输出点的名称。用于在单个租户(阿里云账号)内设置依赖关系时,连接上下游两个节点(Task)的虚拟实体。

在这里插入图片描述
【原则】

  • 每个节点必须配置至少一个本节点输出名称、一个父节点输出名称
  • 每个输出点必须在同租户、同Region唯一
    在这里插入图片描述

1.2 三种依赖配置方式

【依赖模式】

  • 手动配置:手工搜索上游节点名称实现;
  • 自动推荐:通过SQL血缘找到对应节点名
  • 自动解析:通过SQL insert / create / from 解析输出名。

在这里插入图片描述

1.3 自动解析依赖关系

  • 原理:根据 INSERT / CREATE / FROM 自动填写上游输出名与本节点输出名
  • 前提:下游任务的输入表必须是上游任务的产出表
    在这里插入图片描述
    在这里插入图片描述

1.4 手动配置依赖关系

在这里插入图片描述
在这里插入图片描述

  • 可以通过拉线的方式手动配置,这是最简单的方式
  • 填写上游节点输出名进行手动配置

1.5 “自动推荐”配置依赖关系

在这里插入图片描述

二、常见问题解析

2.1 自动解析后提交失败

Q:自动解析后提交失败,报错:依赖的父节点输出projectname.table不存在,不能提交本节点,请先提交父节点。

在这里插入图片描述
A:出现这种情况有以下两种原因:

  1. 上游节点未提交,提交后可以再次尝试。
  2. 上游节点已经提交,但上游节点的输出名不是 workshop_yanshi.tb_2 。
    在当前的阿里云账号(同Region)下,必须存在一个拥有workshop_yanshi.tb_2输出名的节点已提交。

2.2 本节点输出中,下游节点名称等都是空且不能填写

Q:为什么本节点的输出中,下游节点名称、下游节点ID、责任人都是空且不能填写内容?
A:因为没有其他任意一个节点依赖于该输出名。
只有该输出名被依赖,且依赖它的节点被提交,此处才会自动解析出相关信息。

在这里插入图片描述

2.3 如何不自动解析中间表

Q:使用自动解析依赖关系时,如何不解析到中间表?
A:除了在SQL代码中对表名邮件“删除输出/删除输入”之外,还可以在“配置中心”中约点中间表前缀,符合规则的中间表讲不会被解析。

在这里插入图片描述

在左下角配置中心-项目配置中:
在这里插入图片描述

三、标准模式解析

  • 标准模式介绍
  • 标准模式与简单模式的区别、优势
  • 注意事项

3.1 标准模式介绍

在这里插入图片描述
标准模式与简单模式的区别、优势

在这里插入图片描述
在这里插入图片描述

四、运维中心使用技巧

  • 版面概述
    在这里插入图片描述
  • 周期任务运维
    在这里插入图片描述
  • 手动期任务运维
  • 组合节点
  • 注意事项

在这里插入图片描述

这篇关于阿里云 DataWorks v2.0 常见问题与难点解析整理的文章就介绍到这儿,希望我们推荐的文章对编程师们有所帮助!



http://www.chinasem.cn/article/343296

相关文章

深度解析Spring Security 中的 SecurityFilterChain核心功能

《深度解析SpringSecurity中的SecurityFilterChain核心功能》SecurityFilterChain通过组件化配置、类型安全路径匹配、多链协同三大特性,重构了Spri... 目录Spring Security 中的SecurityFilterChain深度解析一、Security

全面解析Golang 中的 Gorilla CORS 中间件正确用法

《全面解析Golang中的GorillaCORS中间件正确用法》Golang中使用gorilla/mux路由器配合rs/cors中间件库可以优雅地解决这个问题,然而,很多人刚开始使用时会遇到配... 目录如何让 golang 中的 Gorilla CORS 中间件正确工作一、基础依赖二、错误用法(很多人一开

Mysql中设计数据表的过程解析

《Mysql中设计数据表的过程解析》数据库约束通过NOTNULL、UNIQUE、DEFAULT、主键和外键等规则保障数据完整性,自动校验数据,减少人工错误,提升数据一致性和业务逻辑严谨性,本文介绍My... 目录1.引言2.NOT NULL——制定某列不可以存储NULL值2.UNIQUE——保证某一列的每一

kkFileView在线预览office的常见问题以及解决方案

《kkFileView在线预览office的常见问题以及解决方案》kkFileView在线预览Office常见问题包括base64编码配置、Office组件安装、乱码处理及水印添加,解决方案涉及版本适... 目录kkFileView在线预览office的常见问题1.base642.提示找不到OFFICE组件

深度解析Nginx日志分析与499状态码问题解决

《深度解析Nginx日志分析与499状态码问题解决》在Web服务器运维和性能优化过程中,Nginx日志是排查问题的重要依据,本文将围绕Nginx日志分析、499状态码的成因、排查方法及解决方案展开讨论... 目录前言1. Nginx日志基础1.1 Nginx日志存放位置1.2 Nginx日志格式2. 499

MySQL CTE (Common Table Expressions)示例全解析

《MySQLCTE(CommonTableExpressions)示例全解析》MySQL8.0引入CTE,支持递归查询,可创建临时命名结果集,提升复杂查询的可读性与维护性,适用于层次结构数据处... 目录基本语法CTE 主要特点非递归 CTE简单 CTE 示例多 CTE 示例递归 CTE基本递归 CTE 结

Spring Boot 3.x 中 WebClient 示例详解析

《SpringBoot3.x中WebClient示例详解析》SpringBoot3.x中WebClient是响应式HTTP客户端,替代RestTemplate,支持异步非阻塞请求,涵盖GET... 目录Spring Boot 3.x 中 WebClient 全面详解及示例1. WebClient 简介2.

在MySQL中实现冷热数据分离的方法及使用场景底层原理解析

《在MySQL中实现冷热数据分离的方法及使用场景底层原理解析》MySQL冷热数据分离通过分表/分区策略、数据归档和索引优化,将频繁访问的热数据与冷数据分开存储,提升查询效率并降低存储成本,适用于高并发... 目录实现冷热数据分离1. 分表策略2. 使用分区表3. 数据归档与迁移在mysql中实现冷热数据分

C#解析JSON数据全攻略指南

《C#解析JSON数据全攻略指南》这篇文章主要为大家详细介绍了使用C#解析JSON数据全攻略指南,文中的示例代码讲解详细,感兴趣的小伙伴可以跟随小编一起学习一下... 目录一、为什么jsON是C#开发必修课?二、四步搞定网络JSON数据1. 获取数据 - HttpClient最佳实践2. 动态解析 - 快速

Spring Boot3.0新特性全面解析与应用实战

《SpringBoot3.0新特性全面解析与应用实战》SpringBoot3.0作为Spring生态系统的一个重要里程碑,带来了众多令人兴奋的新特性和改进,本文将深入解析SpringBoot3.0的... 目录核心变化概览Java版本要求提升迁移至Jakarta EE重要新特性详解1. Native Ima