阿里云 DataWorks v2.0 常见问题与难点解析整理

2023-11-04 04:40

本文主要是介绍阿里云 DataWorks v2.0 常见问题与难点解析整理,希望对大家解决编程问题提供一定的参考价值,需要的开发者们随着小编来一起学习吧!

一、依赖关系配置

  • 依赖关系原理概述
  • 三种依赖配置方式
  • “自动解析”配置依赖关系:推荐使用
  • 手动配置依赖关系
  • “自动推荐”配置依赖关系

1.1 依赖关系原理概述

在这里插入图片描述

  • 可扩展性差,缺乏解耦
  • 重跑任务的成本太高

输出名称

  • 每个节点(Task)输出点的名称。用于在单个租户(阿里云账号)内设置依赖关系时,连接上下游两个节点(Task)的虚拟实体。

在这里插入图片描述
【原则】

  • 每个节点必须配置至少一个本节点输出名称、一个父节点输出名称
  • 每个输出点必须在同租户、同Region唯一
    在这里插入图片描述

1.2 三种依赖配置方式

【依赖模式】

  • 手动配置:手工搜索上游节点名称实现;
  • 自动推荐:通过SQL血缘找到对应节点名
  • 自动解析:通过SQL insert / create / from 解析输出名。

在这里插入图片描述

1.3 自动解析依赖关系

  • 原理:根据 INSERT / CREATE / FROM 自动填写上游输出名与本节点输出名
  • 前提:下游任务的输入表必须是上游任务的产出表
    在这里插入图片描述
    在这里插入图片描述

1.4 手动配置依赖关系

在这里插入图片描述
在这里插入图片描述

  • 可以通过拉线的方式手动配置,这是最简单的方式
  • 填写上游节点输出名进行手动配置

1.5 “自动推荐”配置依赖关系

在这里插入图片描述

二、常见问题解析

2.1 自动解析后提交失败

Q:自动解析后提交失败,报错:依赖的父节点输出projectname.table不存在,不能提交本节点,请先提交父节点。

在这里插入图片描述
A:出现这种情况有以下两种原因:

  1. 上游节点未提交,提交后可以再次尝试。
  2. 上游节点已经提交,但上游节点的输出名不是 workshop_yanshi.tb_2 。
    在当前的阿里云账号(同Region)下,必须存在一个拥有workshop_yanshi.tb_2输出名的节点已提交。

2.2 本节点输出中,下游节点名称等都是空且不能填写

Q:为什么本节点的输出中,下游节点名称、下游节点ID、责任人都是空且不能填写内容?
A:因为没有其他任意一个节点依赖于该输出名。
只有该输出名被依赖,且依赖它的节点被提交,此处才会自动解析出相关信息。

在这里插入图片描述

2.3 如何不自动解析中间表

Q:使用自动解析依赖关系时,如何不解析到中间表?
A:除了在SQL代码中对表名邮件“删除输出/删除输入”之外,还可以在“配置中心”中约点中间表前缀,符合规则的中间表讲不会被解析。

在这里插入图片描述

在左下角配置中心-项目配置中:
在这里插入图片描述

三、标准模式解析

  • 标准模式介绍
  • 标准模式与简单模式的区别、优势
  • 注意事项

3.1 标准模式介绍

在这里插入图片描述
标准模式与简单模式的区别、优势

在这里插入图片描述
在这里插入图片描述

四、运维中心使用技巧

  • 版面概述
    在这里插入图片描述
  • 周期任务运维
    在这里插入图片描述
  • 手动期任务运维
  • 组合节点
  • 注意事项

在这里插入图片描述

这篇关于阿里云 DataWorks v2.0 常见问题与难点解析整理的文章就介绍到这儿,希望我们推荐的文章对编程师们有所帮助!



http://www.chinasem.cn/article/343296

相关文章

python常见环境管理工具超全解析

《python常见环境管理工具超全解析》在Python开发中,管理多个项目及其依赖项通常是一个挑战,下面:本文主要介绍python常见环境管理工具的相关资料,文中通过代码介绍的非常详细,需要的朋友... 目录1. conda2. pip3. uvuv 工具自动创建和管理环境的特点4. setup.py5.

全面解析HTML5中Checkbox标签

《全面解析HTML5中Checkbox标签》Checkbox是HTML5中非常重要的表单元素之一,通过合理使用其属性和样式自定义方法,可以为用户提供丰富多样的交互体验,这篇文章给大家介绍HTML5中C... 在html5中,Checkbox(复选框)是一种常用的表单元素,允许用户在一组选项中选择多个项目。本

Python包管理工具核心指令uvx举例详细解析

《Python包管理工具核心指令uvx举例详细解析》:本文主要介绍Python包管理工具核心指令uvx的相关资料,uvx是uv工具链中用于临时运行Python命令行工具的高效执行器,依托Rust实... 目录一、uvx 的定位与核心功能二、uvx 的典型应用场景三、uvx 与传统工具对比四、uvx 的技术实

SpringBoot排查和解决JSON解析错误(400 Bad Request)的方法

《SpringBoot排查和解决JSON解析错误(400BadRequest)的方法》在开发SpringBootRESTfulAPI时,客户端与服务端的数据交互通常使用JSON格式,然而,JSON... 目录问题背景1. 问题描述2. 错误分析解决方案1. 手动重新输入jsON2. 使用工具清理JSON3.

MyBatis Plus 中 update_time 字段自动填充失效的原因分析及解决方案(最新整理)

《MyBatisPlus中update_time字段自动填充失效的原因分析及解决方案(最新整理)》在使用MyBatisPlus时,通常我们会在数据库表中设置create_time和update... 目录前言一、问题现象二、原因分析三、总结:常见原因与解决方法对照表四、推荐写法前言在使用 MyBATis

Redis过期删除机制与内存淘汰策略的解析指南

《Redis过期删除机制与内存淘汰策略的解析指南》在使用Redis构建缓存系统时,很多开发者只设置了EXPIRE但却忽略了背后Redis的过期删除机制与内存淘汰策略,下面小编就来和大家详细介绍一下... 目录1、简述2、Redis http://www.chinasem.cn的过期删除策略(Key Expir

Go学习记录之runtime包深入解析

《Go学习记录之runtime包深入解析》Go语言runtime包管理运行时环境,涵盖goroutine调度、内存分配、垃圾回收、类型信息等核心功能,:本文主要介绍Go学习记录之runtime包的... 目录前言:一、runtime包内容学习1、作用:① Goroutine和并发控制:② 垃圾回收:③ 栈和

MySQL复杂SQL之多表联查/子查询详细介绍(最新整理)

《MySQL复杂SQL之多表联查/子查询详细介绍(最新整理)》掌握多表联查(INNERJOIN,LEFTJOIN,RIGHTJOIN,FULLJOIN)和子查询(标量、列、行、表子查询、相关/非相关、... 目录第一部分:多表联查 (JOIN Operations)1. 连接的类型 (JOIN Types)

Spring组件实例化扩展点之InstantiationAwareBeanPostProcessor使用场景解析

《Spring组件实例化扩展点之InstantiationAwareBeanPostProcessor使用场景解析》InstantiationAwareBeanPostProcessor是Spring... 目录一、什么是InstantiationAwareBeanPostProcessor?二、核心方法解

深入解析 Java Future 类及代码示例

《深入解析JavaFuture类及代码示例》JavaFuture是java.util.concurrent包中用于表示异步计算结果的核心接口,下面给大家介绍JavaFuture类及实例代码,感兴... 目录一、Future 类概述二、核心工作机制代码示例执行流程2. 状态机模型3. 核心方法解析行为总结:三