 hailin
|
6f668d69bd
|
fix(infra): 添加 Kafka 数据持久化卷，防止容器重建后 Debezium connector 丢失
根因：Kafka 没有配置数据卷，容器重建后 debezium_configs/offsets 等内部
topic 丢失，导致 connector 注册信息消失。新 snapshot 的 offset 与旧
processed_events 碰撞，CDC 数据被跳过。
- docker-compose.yml: 添加 kafka_data 命名卷挂载到 /var/lib/kafka/data
- register-connectors.sh: 添加环境变量替换、幂等注册、--force/--1.0/--2.0 参数
Co-Authored-By: Claude Opus 4.5 <noreply@anthropic.com>
|
2026-02-02 10:16:07 -08:00 |
|
hailin
|
63d73af135
|
refactor(cdc): 统一使用 Debezium CDC 进行数据同步
1. contribution-service:
- 添加 identity topic 订阅，全量同步 1.0 用户数据
- 修改 fromBeginning 为 true，首次启动全量同步
2. mining-admin-service:
- 将 Outbox 事件改为 Debezium CDC 监听 outbox_events 表
- 修改 fromBeginning 为 true，首次启动全量同步
3. 新增 5 个 2.0 服务的 Debezium connector 配置:
- auth-outbox-connector.json
- contribution-outbox-connector.json
- mining-outbox-connector.json
- trading-outbox-connector.json
- mining-wallet-outbox-connector.json
4. 更新 register-connectors.sh 脚本
Co-Authored-By: Claude Opus 4.5 <noreply@anthropic.com>
|
2026-01-11 23:19:34 -08:00 |
|
hailin
|
b5ebf8a615
|
feat(admin-service): 实现 Debezium CDC 数据同步
- 新增 CdcConsumerService 消费 PostgreSQL WAL 变更事件
- 配置 Debezium Connect 服务和 PostgreSQL 逻辑复制
- 更新 deploy.sh 支持 Debezium 启动和连接器管理
- 新增 identity-postgres-connector 配置同步 user_accounts 表
- 保留原有 Outbox 机制用于业务领域事件
🤖 Generated with [Claude Code](https://claude.com/claude-code)
Co-Authored-By: Claude Opus 4.5 <noreply@anthropic.com>
|
2026-01-07 18:35:53 -08:00 |