阿里云 DataWorks v2.0 常见问题与难点解析整理

2023-11-04 04:40

本文主要是介绍阿里云 DataWorks v2.0 常见问题与难点解析整理,希望对大家解决编程问题提供一定的参考价值,需要的开发者们随着小编来一起学习吧!

一、依赖关系配置

  • 依赖关系原理概述
  • 三种依赖配置方式
  • “自动解析”配置依赖关系:推荐使用
  • 手动配置依赖关系
  • “自动推荐”配置依赖关系

1.1 依赖关系原理概述

在这里插入图片描述

  • 可扩展性差,缺乏解耦
  • 重跑任务的成本太高

输出名称

  • 每个节点(Task)输出点的名称。用于在单个租户(阿里云账号)内设置依赖关系时,连接上下游两个节点(Task)的虚拟实体。

在这里插入图片描述
【原则】

  • 每个节点必须配置至少一个本节点输出名称、一个父节点输出名称
  • 每个输出点必须在同租户、同Region唯一
    在这里插入图片描述

1.2 三种依赖配置方式

【依赖模式】

  • 手动配置:手工搜索上游节点名称实现;
  • 自动推荐:通过SQL血缘找到对应节点名
  • 自动解析:通过SQL insert / create / from 解析输出名。

在这里插入图片描述

1.3 自动解析依赖关系

  • 原理:根据 INSERT / CREATE / FROM 自动填写上游输出名与本节点输出名
  • 前提:下游任务的输入表必须是上游任务的产出表
    在这里插入图片描述
    在这里插入图片描述

1.4 手动配置依赖关系

在这里插入图片描述
在这里插入图片描述

  • 可以通过拉线的方式手动配置,这是最简单的方式
  • 填写上游节点输出名进行手动配置

1.5 “自动推荐”配置依赖关系

在这里插入图片描述

二、常见问题解析

2.1 自动解析后提交失败

Q:自动解析后提交失败,报错:依赖的父节点输出projectname.table不存在,不能提交本节点,请先提交父节点。

在这里插入图片描述
A:出现这种情况有以下两种原因:

  1. 上游节点未提交,提交后可以再次尝试。
  2. 上游节点已经提交,但上游节点的输出名不是 workshop_yanshi.tb_2 。
    在当前的阿里云账号(同Region)下,必须存在一个拥有workshop_yanshi.tb_2输出名的节点已提交。

2.2 本节点输出中,下游节点名称等都是空且不能填写

Q:为什么本节点的输出中,下游节点名称、下游节点ID、责任人都是空且不能填写内容?
A:因为没有其他任意一个节点依赖于该输出名。
只有该输出名被依赖,且依赖它的节点被提交,此处才会自动解析出相关信息。

在这里插入图片描述

2.3 如何不自动解析中间表

Q:使用自动解析依赖关系时,如何不解析到中间表?
A:除了在SQL代码中对表名邮件“删除输出/删除输入”之外,还可以在“配置中心”中约点中间表前缀,符合规则的中间表讲不会被解析。

在这里插入图片描述

在左下角配置中心-项目配置中:
在这里插入图片描述

三、标准模式解析

  • 标准模式介绍
  • 标准模式与简单模式的区别、优势
  • 注意事项

3.1 标准模式介绍

在这里插入图片描述
标准模式与简单模式的区别、优势

在这里插入图片描述
在这里插入图片描述

四、运维中心使用技巧

  • 版面概述
    在这里插入图片描述
  • 周期任务运维
    在这里插入图片描述
  • 手动期任务运维
  • 组合节点
  • 注意事项

在这里插入图片描述

这篇关于阿里云 DataWorks v2.0 常见问题与难点解析整理的文章就介绍到这儿,希望我们推荐的文章对编程师们有所帮助!



http://www.chinasem.cn/article/343296

相关文章

线上Java OOM问题定位与解决方案超详细解析

《线上JavaOOM问题定位与解决方案超详细解析》OOM是JVM抛出的错误,表示内存分配失败,:本文主要介绍线上JavaOOM问题定位与解决方案的相关资料,文中通过代码介绍的非常详细,需要的朋... 目录一、OOM问题核心认知1.1 OOM定义与技术定位1.2 OOM常见类型及技术特征二、OOM问题定位工具

深度解析Python中递归下降解析器的原理与实现

《深度解析Python中递归下降解析器的原理与实现》在编译器设计、配置文件处理和数据转换领域,递归下降解析器是最常用且最直观的解析技术,本文将详细介绍递归下降解析器的原理与实现,感兴趣的小伙伴可以跟随... 目录引言:解析器的核心价值一、递归下降解析器基础1.1 核心概念解析1.2 基本架构二、简单算术表达

深度解析Java @Serial 注解及常见错误案例

《深度解析Java@Serial注解及常见错误案例》Java14引入@Serial注解,用于编译时校验序列化成员,替代传统方式解决运行时错误,适用于Serializable类的方法/字段,需注意签... 目录Java @Serial 注解深度解析1. 注解本质2. 核心作用(1) 主要用途(2) 适用位置3

Java MCP 的鉴权深度解析

《JavaMCP的鉴权深度解析》文章介绍JavaMCP鉴权的实现方式,指出客户端可通过queryString、header或env传递鉴权信息,服务器端支持工具单独鉴权、过滤器集中鉴权及启动时鉴权... 目录一、MCP Client 侧(负责传递,比较简单)(1)常见的 mcpServers json 配置

从原理到实战解析Java Stream 的并行流性能优化

《从原理到实战解析JavaStream的并行流性能优化》本文给大家介绍JavaStream的并行流性能优化:从原理到实战的全攻略,本文通过实例代码给大家介绍的非常详细,对大家的学习或工作具有一定的... 目录一、并行流的核心原理与适用场景二、性能优化的核心策略1. 合理设置并行度:打破默认阈值2. 避免装箱

Maven中生命周期深度解析与实战指南

《Maven中生命周期深度解析与实战指南》这篇文章主要为大家详细介绍了Maven生命周期实战指南,包含核心概念、阶段详解、SpringBoot特化场景及企业级实践建议,希望对大家有一定的帮助... 目录一、Maven 生命周期哲学二、default生命周期核心阶段详解(高频使用)三、clean生命周期核心阶

深入解析C++ 中std::map内存管理

《深入解析C++中std::map内存管理》文章详解C++std::map内存管理,指出clear()仅删除元素可能不释放底层内存,建议用swap()与空map交换以彻底释放,针对指针类型需手动de... 目录1️、基本清空std::map2️、使用 swap 彻底释放内存3️、map 中存储指针类型的对象

Java Scanner类解析与实战教程

《JavaScanner类解析与实战教程》JavaScanner类(java.util包)是文本输入解析工具,支持基本类型和字符串读取,基于Readable接口与正则分隔符实现,适用于控制台、文件输... 目录一、核心设计与工作原理1.底层依赖2.解析机制A.核心逻辑基于分隔符(delimiter)和模式匹

Java+AI驱动实现PDF文件数据提取与解析

《Java+AI驱动实现PDF文件数据提取与解析》本文将和大家分享一套基于AI的体检报告智能评估方案,详细介绍从PDF上传、内容提取到AI分析、数据存储的全流程自动化实现方法,感兴趣的可以了解下... 目录一、核心流程:从上传到评估的完整链路二、第一步:解析 PDF,提取体检报告内容1. 引入依赖2. 封装

深度解析Python yfinance的核心功能和高级用法

《深度解析Pythonyfinance的核心功能和高级用法》yfinance是一个功能强大且易于使用的Python库,用于从YahooFinance获取金融数据,本教程将深入探讨yfinance的核... 目录yfinance 深度解析教程 (python)1. 简介与安装1.1 什么是 yfinance?