广佛圈广佛圈广佛圈

广东酱王 上市 批量模式

第二种方式,在实践中证明是更好的一种方式,即能满足单表,也能实现批量。如果单表是是从上到下完成了任务的创建,那么批量模式,即是从左到右的,第一步、第二步、第三步、第四步、第五步来完成任务的创建。

第一步:新建任务

在第一步中进行任务名称、描述,并完成源端和目标端的选择,因为是批量模式,只需要选择数据源即可。

第二步:任务设置

设置任务使用的资源队列,重试次数,失败策略等等任务本身通用的设置。

如果是离线的话,最重要的是周期性调度的设置。

周期性调度到底是在任务创建过程中,还是在任务创建完成,发布上线之后再进行设置。这也是两种不同思路,在任务创建过程中,意味着后续的调度已经确定,随着任务创建就可以了,如果是在发布上线之后再设置,也就是说需要先把任务创建出来,之后再确定调度周期。

第三步:源库设置

在源库设置这一步,就能够实现批量设置的能力。在弹窗中选择批量任务需要批量处理哪些表,表选中后,点击不同的表进行过滤处理等设置。如果要进行批量表的增减再调出弹窗进行表的增减。

这种交互,既能够进行表的批量选择,又能够针对单个表进行设置。个人对这个交互还是比较满意的。

这里提一点,因为数据集成源端和目标端是多种多样的,所以在具体界面显示上,可能会根据不同的数据源类型有特殊的区别。

第四步:目标库设置

在目标库设置中,会进行比较复杂的表级别的映射关系,这个界面和单表模式下的字段映射是类似的,会为每一个源端表来选择一个目标端的表进行映射。当然和源端一样在不同数据源类型下,界面也会有所不同,还会有些是否创建表,是否有冲突策略,写入前、写入后的执行策略等等。

第五步:预检查

最后一步是一步预检查,是在创建任务这一刻来保证任务成功运行所必须的一些条件是否都完全具备的。如源端、目标端的联通性,权限是否开启,是否有一些必须的log权限等等。

热门推荐