hailin
/
rwadurian
1
0
Fork 0
Code Issues Pull Requests Packages Projects Releases Wiki Activity
2,311 Commits 1 Branch 10 Tags 175 MiB
Commit Graph

6 Commits

Author SHA1 Message Date
hailin cb8c69788b fix(deploy): curl -s 改为 curl -sf，修复 HTTP 404 不被检测的问题 
curl -s 只是静默输出，HTTP 404 仍然返回 exit code 0，导致就绪
检查在 Kafka Connect REST API 未初始化完时就通过了。
-f 标志让 curl 在 HTTP 4xx/5xx 时返回非零 exit code。

Co-Authored-By: Claude Opus 4.5 <noreply@anthropic.com>
 2026-02-02 10:30:37 -08:00
hailin d8ef156b5e fix(debezium): 修复 authorization connector 凭据和注册重试逻辑 
- authorization-connector.json: 将硬编码的 debezium/debezium_password
  改为 ${POSTGRES_USER}/${POSTGRES_PASSWORD} 占位符，与其他 connector 一致
- register-connectors.sh: 添加 3 次重试逻辑，应对 Kafka Connect REST API
  初始化期间的间歇性 404

Co-Authored-By: Claude Opus 4.5 <noreply@anthropic.com>
 2026-02-02 10:28:52 -08:00
hailin d575287713 fix(deploy): 修复 deploy.sh Debezium connector 注册失败的问题 
根因：就绪检查只检测 Jetty 根路径 /，但 Kafka Connect REST API
(/connectors) 需要更长时间初始化，导致注册时返回 404。

- deploy.sh: 就绪检查改为 /connectors，等待时间从 60s 增加到 120s
- deploy.sh: 删除 250 行硬编码的 connector 配置，改为调用
  register-connectors.sh（单一数据源，JSON 文件）
- register-connectors.sh: 同步修复就绪检查

Co-Authored-By: Claude Opus 4.5 <noreply@anthropic.com>
 2026-02-02 10:22:04 -08:00
hailin 6f668d69bd fix(infra): 添加 Kafka 数据持久化卷，防止容器重建后 Debezium connector 丢失 
根因：Kafka 没有配置数据卷，容器重建后 debezium_configs/offsets 等内部
topic 丢失，导致 connector 注册信息消失。新 snapshot 的 offset 与旧
processed_events 碰撞，CDC 数据被跳过。

- docker-compose.yml: 添加 kafka_data 命名卷挂载到 /var/lib/kafka/data
- register-connectors.sh: 添加环境变量替换、幂等注册、--force/--1.0/--2.0 参数

Co-Authored-By: Claude Opus 4.5 <noreply@anthropic.com>
 2026-02-02 10:16:07 -08:00
hailin 63d73af135 refactor(cdc): 统一使用 Debezium CDC 进行数据同步 
1. contribution-service:
   - 添加 identity topic 订阅，全量同步 1.0 用户数据
   - 修改 fromBeginning 为 true，首次启动全量同步

2. mining-admin-service:
   - 将 Outbox 事件改为 Debezium CDC 监听 outbox_events 表
   - 修改 fromBeginning 为 true，首次启动全量同步

3. 新增 5 个 2.0 服务的 Debezium connector 配置:
   - auth-outbox-connector.json
   - contribution-outbox-connector.json
   - mining-outbox-connector.json
   - trading-outbox-connector.json
   - mining-wallet-outbox-connector.json

4. 更新 register-connectors.sh 脚本

Co-Authored-By: Claude Opus 4.5 <noreply@anthropic.com>
 2026-01-11 23:19:34 -08:00
hailin b5ebf8a615 feat(admin-service): 实现 Debezium CDC 数据同步 
- 新增 CdcConsumerService 消费 PostgreSQL WAL 变更事件
- 配置 Debezium Connect 服务和 PostgreSQL 逻辑复制
- 更新 deploy.sh 支持 Debezium 启动和连接器管理
- 新增 identity-postgres-connector 配置同步 user_accounts 表
- 保留原有 Outbox 机制用于业务领域事件

🤖 Generated with [Claude Code](https://claude.com/claude-code)

Co-Authored-By: Claude Opus 4.5 <noreply@anthropic.com>
 2026-01-07 18:35:53 -08:00