dataphin时间参数配置

2023-10-29 11:50
文章标签 配置 参数 时间 dataphin

本文主要是介绍dataphin时间参数配置,希望对大家解决编程问题提供一定的参考价值,需要的开发者们随着小编来一起学习吧!

节点参数配置说明
参数配置是用以支持代码中所用参数具体做参数值赋值,类似全局变量作用,从而支持节点调度时,参数可以自动被替换执行。
Dataphin调度系统(Voldemort)节点配置的原则
节点代码中引用参数的方式为: n o d e P a r a m 节 点 参 数 配 置 的 格 式 为 K e y A = V a l u e A ; K e y B = V a l u e B , 不 同 参 数 配 置 之 间 的 用 分 号 ; 进 行 分 隔 节 点 的 K e y 不 区 分 大 小 写 , 因 此 K e y A = V a l u e A 和 k e y a = V a l u e A 是 一 样 的 , 在 引 用 配 置 参 数 的 时 候 , 也 不 会 区 分 大 小 写 , 因 此 在 引 用 配 置 参 数 的 时 候 , 可 以 使 用 {nodeParam} 节点参数配置的格式为 KeyA=ValueA; KeyB=ValueB, 不同参数配置之间的用分号;进行分隔 节点的Key不区分大小写, 因此KeyA=ValueA和keya=ValueA是一样的, 在引用配置参数的时候, 也不会区分大小写, 因此在引用配置参数的时候, 可以使用 nodeParamKeyA=ValueA;KeyB=ValueB,;Key,KeyA=ValueAkeya=ValueA,,,,使{KeyA}或 k e y a 或 {keya}或 keya{keyA}都是可以的.
节点配置支持参数的引用, 引用格式为 KeyA= K e y B ; K e y B = V a l u e B , 使 用 引 用 符 号 KeyB; KeyB=ValueB, 使用引用符号 KeyB;KeyB=ValueB,使, 则此时相当于KeyA=ValueB; KeyB=ValueB. 但是这里必须注意, Voldemort会进行循环引用的检测, 因此KeyA= K e y B ; K e y B = KeyB; KeyB= KeyB;KeyB=KeyA或者bizdate=$bizdate这种参数配置在Voldemort中是非法的.
伏地魔提供默认的节点参数配置项, 包括:

默认参数值:{yyyyMMdd}为业务日期,即当前日期的前一天T-1,[yyyyMMdd]为执行日期,即当前日期T
默认参数:bizdate,nodeid,taskid,生产业务板块名和生产项目名.其中 nodeid是节点id, taskid是节点生成实例时候的实例id, bizdate默认为当前日期的前一天,即参数默认参数值赋值为{yyyyMMdd},eg:如果今天是2018年1月10日, 则默认bizdate=20180109,生产业务板块名为当前系统所有生产业务板块名,开发环境执行时替换为开发板块名,生产环境执行时替换为生产板块名,eg:如果系统有Dev-Prod模式生成的生产业务板块为是LD_demo, 则默认生产环境里 L D d e m o 执 行 代 码 时 更 新 为 L D d e m o , 开 发 环 境 里 {LD_demo}执行代码时更新为LD_demo,开发环境里 LDdemoLDdemo{LD_demo}执行代码时更新为LD_demo_dev。 默认参数bizdate的设置及执行效果
可以在节点代码中直接引用这些参数配置项。①支持代码中自定义参数,引用默认参数值,如time= t o d a y , 调 度 参 数 配 置 为 t o d a y = {today},调度参数配置为 today= todaytoday=[yyyyMMdd],则2019年2月28日调度执行时,执行代码为time=20190228. ②如果用户配置的参数和默认参数有重复冲突, 则用户配置的参数赋值会覆盖默认规则. 例如配置了bizdate=ABC, 则在节点代码中引用bizdate时, 该bizdate的值会被替换为ABC,而不是具体日期参数值yyyymmdd。 默认参数bizdate配置为其他参数值的设置及执行效果

即席查询支持参数识别与设置,但是与调度系统规则有所不同,{bizdate}执行时,系统会识别并默认填入执行日期为默认值(2019年2月28日查询执行时,执行代码为替换为20190228),其他参数不会填入默认值,系统会记住当前界面会话下,用户最新填入的参数值,会话有效期内,执行时默认填入最新参数值。
Dataphin调度系统(Voldemort)时间参数的配置
日调度等:提供基于业务日期和预计执行时间两种方式, 基于业务日期的方式: ${yyyyMMdd}; 基于预计执行时间的方式: [ y y y y M M d d ] 。 可 参 考 示 例 配 置 , 实 现 月 调 度 、 年 调 度 小 时 、 分 钟 调 度 : 提 供 基 于 小 时 和 分 钟 偏 移 , 而 实 现 的 小 时 调 度 、 分 钟 调 度 , 暂 不 支 持 秒 。 H H 表 示 小 时 , m i ( 或 m m ) 表 示 分 钟 , s s 表 示 秒 , 小 时 的 偏 移 : d e l t a / 24 , 分 钟 的 偏 移 : d e l t a / 24 / 60 。 例 如 在 指 定 执 行 时 间 前 一 小 时 的 表 达 式 为 : [yyyyMMdd]。可参考示例配置,实现月调度、年调度 小时、分钟调度:提供基于小时和分钟偏移,而实现的小时调度、分钟调度,暂不支持秒。HH表示小时,mi(或mm)表示分钟,ss表示秒,小时的偏移: delta/24, 分钟的偏移: delta/24/60。 例如在指定执行时间前一小时的表达式为: [yyyyMMdd]HH,mi(mm),ss:delta/24,:delta/24/60:[HH-1/24], 在业务日期前1分钟:${HHmmss-1/24/60}
特别说明:如果配置的时间参数只精确到日, 那么小写的mm会被识别为月份。当同时有月和分钟存在的时候, 为了避免歧义, 需要将月大写为MM, 将分钟小写为mm,否则会统一识别为分钟,从而导致月份参数出错(比如更新为大于12的数值)
具体的配置可以参考下面的表格
在这里插入图片描述
特别说明:

周期实例: 系统时间=T(取生成实例的时间) bizdate=T-1(根据系统时间获取默认取值,调度配置参数取值可修改)→影响数据读写的时间分区值 预计执行时间=bizdate+1=T(根据bizdate获取)→影响数据生成时间

补数据实例: 系统时间=T(取生成实例的时间) Bizdate<=T(补数据时传入值)→影响数据读写的时间分区值 预计执行时间=Bizdate+1 →影响数据生成时间 ①如Bizdate+1<=T,取Bizdate+1 ②如bizdate+1>T,特殊处理为T 执行时,会根据调度配置时实例预计执行小时运行(如调度配置设置了定时以及分时段运行等)

这篇关于dataphin时间参数配置的文章就介绍到这儿,希望我们推荐的文章对编程师们有所帮助!



http://www.chinasem.cn/article/300464

相关文章

Spring配置扩展之JavaConfig的使用小结

《Spring配置扩展之JavaConfig的使用小结》JavaConfig是Spring框架中基于纯Java代码的配置方式,用于替代传统的XML配置,通过注解(如@Bean)定义Spring容器的组... 目录JavaConfig 的概念什么是JavaConfig?为什么使用 JavaConfig?Jav

Spring Boot Interceptor的原理、配置、顺序控制及与Filter的关键区别对比分析

《SpringBootInterceptor的原理、配置、顺序控制及与Filter的关键区别对比分析》本文主要介绍了SpringBoot中的拦截器(Interceptor)及其与过滤器(Filt... 目录前言一、核心功能二、拦截器的实现2.1 定义自定义拦截器2.2 注册拦截器三、多拦截器的执行顺序四、过

springboot的controller中如何获取applicatim.yml的配置值

《springboot的controller中如何获取applicatim.yml的配置值》本文介绍了在SpringBoot的Controller中获取application.yml配置值的四种方式,... 目录1. 使用@Value注解(最常用)application.yml 配置Controller 中

springboot中配置logback-spring.xml的方法

《springboot中配置logback-spring.xml的方法》文章介绍了如何在SpringBoot项目中配置logback-spring.xml文件来进行日志管理,包括如何定义日志输出方式、... 目录一、在src/main/resources目录下,也就是在classpath路径下创建logba

C++多线程开发环境配置方法

《C++多线程开发环境配置方法》文章详细介绍了如何在Windows上安装MinGW-w64和VSCode,并配置环境变量和编译任务,使用VSCode创建一个C++多线程测试项目,并通过配置tasks.... 目录下载安装 MinGW-w64下载安装VS code创建测试项目配置编译任务创建 tasks.js

Nginx概念、架构、配置与虚拟主机实战操作指南

《Nginx概念、架构、配置与虚拟主机实战操作指南》Nginx是一个高性能的HTTP服务器、反向代理服务器、负载均衡器和IMAP/POP3/SMTP代理服务器,它支持高并发连接,资源占用低,功能全面且... 目录Nginx 深度解析:概念、架构、配置与虚拟主机实战一、Nginx 的概念二、Nginx 的特点

2025最新版Android Studio安装及组件配置教程(SDK、JDK、Gradle)

《2025最新版AndroidStudio安装及组件配置教程(SDK、JDK、Gradle)》:本文主要介绍2025最新版AndroidStudio安装及组件配置(SDK、JDK、Gradle... 目录原生 android 简介Android Studio必备组件一、Android Studio安装二、A

前端Visual Studio Code安装配置教程之下载、汉化、常用组件及基本操作

《前端VisualStudioCode安装配置教程之下载、汉化、常用组件及基本操作》VisualStudioCode是微软推出的一个强大的代码编辑器,功能强大,操作简单便捷,还有着良好的用户界面,... 目录一、Visual Studio Code下载二、汉化三、常用组件1、Auto Rename Tag2

SpringBoot18 redis的配置方法

《SpringBoot18redis的配置方法》本文介绍在SpringBoot项目中集成和使用Redis的方法,包括添加依赖、配置文件、自定义序列化方式、使用方式、实际使用示例、常见操作总结以及注意... 目录一、Spring Boot 中使用 Redis1. 添加依赖2. 配置文件3. Redis 配置类

JAVA Log 日志级别和使用配置示例

《JAVALog日志级别和使用配置示例》本文介绍了Java中主流的日志框架,包括Logback和Log4j2,并详细解释了日志级别及其使用场景,同时,还提供了配置示例和使用技巧,如正确的日志记录方... 目录一、主流日志框架1. Logback (推荐)2. Log4j23. SLF4J + Logback