This commit is contained in:
wuhao 2020-12-11 10:58:33 +08:00
parent 4934372b42
commit 81343908e4

View File

@ -1,3 +1,13 @@
# data_cleaning
xdata 数据清洗
### 执行流程
1. 检查任务开始时间戳和运行状态,防止锁死钉钉报警。
2. 根据上次游标结束时间戳或传如时间戳 读取 event_{date} 集合,考虑跨集合情况。
3. 标记任务开始时间戳。
4. 标记为运行状态。run=1
5. 清洗数据入库。
6. 设置本次操作游标。
7. 标记运行结束。run=0