Prefect 同步跳过缺失表并推送飞书提醒
This commit is contained in:
@@ -107,7 +107,7 @@ python run_project_bitable_pipeline.py \
|
||||
|
||||
`--no-notify` 表示只同步数据,不发群通知。需要通知时,配置通知渠道并去掉该参数。
|
||||
|
||||
`--skip-missing-tables` 表示找不到对应表时记录日志并继续处理其他项目和日期,不会自动创建月份表。当前实现也会跳过匹配到多个表、映射指定表不存在等表匹配错误;应查看跳过日志确认哪些项目尚未同步。数据库连接或飞书写入失败等其他错误仍会中断运行。
|
||||
`--skip-missing-tables` 表示找不到对应表时记录日志并继续处理其他项目和日期,不会自动创建月份表。匹配到多个表、映射指定表不存在等配置错误仍会中断运行,避免写入错误的表。
|
||||
|
||||
### 预览执行
|
||||
|
||||
@@ -129,7 +129,7 @@ python run_project_bitable_pipeline.py \
|
||||
| `--start-date YYYY-MM-DD` | 开始日期,默认读取 `SYNC_START_DATE` |
|
||||
| `--end-date YYYY-MM-DD` | 结束日期,默认运行机器本地日期的昨天 |
|
||||
| `--no-notify` | 跳过飞书群通知,默认未开启 |
|
||||
| `--skip-missing-tables` | 跳过表匹配错误,默认未开启 |
|
||||
| `--skip-missing-tables` | 本地流水线跳过缺失月份表,默认未开启;Prefect 默认开启,并在完成后推送缺失表提醒 |
|
||||
| `--dry-run` | 预览,不执行飞书写入和通知 |
|
||||
| `--mapping-file PATH` | 指定店铺映射 Excel 文件,覆盖环境变量配置 |
|
||||
| `--table-map-file PATH` | 指定项目月份到飞书表名的 JSON 映射 |
|
||||
@@ -190,7 +190,7 @@ python prefect_gmv_scheduler.py \
|
||||
| `--mode notify` | 只发送通知 |
|
||||
| `--mode all` | 先同步再通知,默认模式 |
|
||||
|
||||
Prefect 同步未显式指定日期时,默认处理截至昨天的最近 5 天,并以 `SYNC_START_DATE` 为最早边界。通知未指定日期时,优先读取上次成功同步保存的日期范围。
|
||||
Prefect 同步未显式指定日期时,默认处理截至昨天的最近 5 天,并以 `SYNC_START_DATE` 为最早边界。缺失月份表会自动跳过,其余表仍会写入;同步结束后,缺失的“项目 + 月份”会汇总为一条飞书提醒。通知未指定日期时,优先读取上次成功同步保存的日期范围。
|
||||
|
||||
`prefect.yaml` 定义了北京时间每天 08:00 同步、09:00 通知两条调度。部署前需准备可访问的 Prefect Server,并配置 `PREFECT_API_URL`。
|
||||
|
||||
@@ -199,7 +199,7 @@ docker compose up -d --build
|
||||
docker exec -it prefect-gmv-worker sh -lc 'cd /app && prefect deploy --all'
|
||||
```
|
||||
|
||||
Compose 启动的是等待调度任务的 worker。定时任务需要跳过缺失表时,将 `prefect.yaml` 对应 deployment 的 `parameters.skip_missing_tables` 改为 `true`,再重新执行 `prefect deploy --all` 注册配置。
|
||||
Compose 启动的是等待调度任务的 worker。当前 Prefect deployment 默认跳过缺失月份表,并在同步结束后推送一条汇总提醒。修改 `prefect.yaml` 后,执行 `prefect deploy --all` 注册新配置。
|
||||
|
||||
更多部署说明见项目中的 `DOCKER_PREFECT_USAGE.md`;其中示例的本机目录需要替换为实际项目目录。
|
||||
|
||||
|
||||
Reference in New Issue
Block a user