wuhao/data_cleaning
1
0
Fork 0
Code Issues Pull Requests Releases Wiki Activity
xdata 数据清洗
8 Commits 2 Branches 0 Tags 297 KiB
Python 100%
c0b829dfb4
Go to file
kf_wuhao c0b829dfb4 优化
2020-12-23 13:35:42 +08:00
db 更新基础模型 2020-12-23 13:32:56 +08:00
task 优化 2020-12-23 13:35:42 +08:00
utils 更新基础模型 2020-12-23 13:32:56 +08:00
.gitignore 'inti' 2020-12-11 10:51:07 +08:00
config.json 更新任务调用 2020-12-23 13:35:20 +08:00
main.py 更新任务调用 2020-12-23 13:35:20 +08:00
README.md 'update' 2020-12-11 10:58:33 +08:00
settings.py 'inti' 2020-12-11 10:51:07 +08:00

README.md

data_cleaning

xdata 数据清洗

执行流程

  1. 检查任务开始时间戳和运行状态，防止锁死钉钉报警。
  2. 根据上次游标结束时间戳或传如时间戳 读取 event_{date} 集合，考虑跨集合情况。
  3. 标记任务开始时间戳。
  4. 标记为运行状态。run=1
  5. 清洗数据入库。
  6. 设置本次操作游标。
  7. 标记运行结束。run=0