虚拟节点 您所在的位置:网站首页 虚拟大柯 虚拟节点

虚拟节点

2024-05-15 06:26| 来源: 网络整理| 查看: 265

复杂依赖场景下的业务管理

当您的实际业务包含多个业务流程时,为了业务流程与业务流程之间便于管理,建议每个业务流程都使用虚拟节点设置一个空跑的统筹起始节点,使数据流转路径更加清晰。业务管理

调度无血缘关系的节点

当业务流程中的最终输出节点有多个分支输入节点,且输入节点没有依赖关系时,您需要将虚拟节点作为多个输入节点的上游,将工作空间根节点作为虚拟节点的上游,实现工作空间根节点调度该虚拟节点,虚拟节点调度下游业务节点。当整个业务流程需要统一调度时间时,您也可以使用该方式指定虚拟节点的定时时间,来控制各分支节点的最早调度运行时间。

说明

工作空间根节点作为上游依赖时,不会呈现在业务流程面板中。您可以在任务提交发布后,进入运维中心查看。运维中心详情请参见周期任务基本运维操作。

示例如下。调度无血缘依赖节点oss_数据同步_dqc、rds_数据同步_dqc节点不存在血缘关系,不能根据血缘关系来设置节点的调度依赖。此时,您可使用虚拟节点(workshop_start_dqc)作为统筹起始节点,统一调度下游无血缘关系的分支节点,当下游分支节点满足运行条件时便会启动运行。

说明

通过离线同步将其他数据源中的数据同步至DataWorks,对于DataWorks上接收同步数据的表来说,在DataWorks侧不存在上游血缘关系。

管理多分支结果的业务流程,实现跨业务流程的调度依赖

包含多个分支结果的业务流程如果要实现跨业务流程依赖,您需要使用虚拟节点对多个分支节点进行汇总,再手动将该汇总节点的输出作为下游业务流程统筹起始节点的输入,以此方式实现跨业务流程依赖。详情请参见跨业务流程配置调度依赖。

说明

一个业务流程存在多个分支结果时,您需要新建一个虚拟节点(例如,业务流程_end_虚拟节点),业务流程_end_虚拟节点依赖上游多个分支结果,当业务流程_end_虚拟节点执行成功,则表示该业务流程执行完成。



【本文地址】

公司简介

联系我们

今日新闻

    推荐新闻

    专题文章
      CopyRight 2018-2019 实验室设备网 版权所有