hailin
/
rwadurian
1
0
Fork 0
Code Issues Pull Requests Packages Projects Releases Wiki Activity
2,423 Commits 1 Branch 10 Tags 175 MiB
Commit Graph

14 Commits

Author SHA1 Message Date
hailin b6fb421316 feat(snapshot): 新增 MPC PostgreSQL 备份目标 
MPC 系统使用独立的 PostgreSQL 实例 (mpc-postgres)，之前不在备份范围内。
新增 MPC_POSTGRES handler，通过 MPC_PG_* 环境变量连接，snapshot-service
加入 mpc-network 实现跨 compose 网络访问。

Co-Authored-By: Claude Opus 4.6 <noreply@anthropic.com>
 2026-02-24 03:12:16 -08:00
hailin 08161c64d4 fix(snapshot): API 响应补上 progressMsg 字段 
toSnapshotResponse 手动映射字段时遗漏了 progressMsg，
导致前端轮询拿不到 MB 进度消息。

Co-Authored-By: Claude Opus 4.6 <noreply@anthropic.com>
 2026-02-24 02:11:42 -08:00
hailin 8855491637 feat(snapshot): 进度精度升级 — Float百分比 + MB消息存DB 
- schema: progress Int→Float，新增 progressMsg 字段
- PG handler: 百分比保留2位小数(toFixed(2))，不再 Math.floor
- orchestrator: 每2秒写DB时同时写 progressMsg (含MB信息)
- 前端: 百分比显示 toFixed(1)，message 优先读 progressMsg

效果: 113GB库每次轮询进度条和MB数都有变化，不再卡在整数百分比

Co-Authored-By: Claude Opus 4.6 <noreply@anthropic.com>
 2026-02-24 01:57:47 -08:00
hailin 9cbc0ba580 fix(snapshot): DATABASE_URL 改绝对路径，修复 SQLite 每次重建丢数据 
Prisma 的 file:./data/snapshot.db 相对于 schema.prisma 所在目录
(/app/prisma/)，实际创建在 /app/prisma/data/snapshot.db，不在
volume 挂载的 /app/data/ 下，导致容器重建后数据丢失。

改为 file:/app/data/snapshot.db 绝对路径，确保 SQLite 存入
volume 挂载目录，数据跨容器持久化。

Co-Authored-By: Claude Opus 4.6 <noreply@anthropic.com>
 2026-02-24 01:48:24 -08:00
hailin 7b7bfcac93 fix(snapshot): onModuleInit 增加扫描临时目录清理孤儿文件 
SQLite 可能因重建丢失任务记录，导致 onModuleInit 仅靠查数据库
无法清理遗留的临时目录。新增逻辑：启动时扫描临时目录所有子目录，
若数据库中不存在对应任务则直接删除。

Co-Authored-By: Claude Opus 4.6 <noreply@anthropic.com>
 2026-02-24 01:45:24 -08:00
hailin 669a8a7248 fix(snapshot): 进度写 DB 改为每 2 秒一次，避免前端长时间显示 0% 
Co-Authored-By: Claude Opus 4.6 <noreply@anthropic.com>
 2026-02-24 01:40:32 -08:00
hailin f14f685ea9 fix(snapshot): PG 进度改字节百分比 + Redis 备份防崩溃 + 启动清理遗留任务 
- postgres-backup: 用 pg_database_size 做分母，统计 stdout 字节数算进度（与 pv 方案一致）
- redis-backup: BGSAVE 后先 copyFileSync 到临时目录再打包，防止 tar-stream Size mismatch 崩溃
- orchestrator: onModuleInit 清理遗留 RUNNING 任务，标记 FAILED 并删除临时文件
- docker-compose: 临时文件改挂宿主机 /tmp 目录，方便手动清理

Co-Authored-By: Claude Opus 4.6 <noreply@anthropic.com>
 2026-02-24 01:30:52 -08:00
hailin 9a88fb473a fix(snapshot): Dockerfile 安装 postgresql-client-16 匹配目标 PG 版本 
bookworm 默认 postgresql-client 是 15，目标数据库是 PG16
添加 PGDG 源安装 postgresql-client-16

Co-Authored-By: Claude Opus 4.6 <noreply@anthropic.com>
 2026-02-23 23:20:45 -08:00
hailin 470dc1ccd0 fix(snapshot): PostgreSQL 备份从 pg_basebackup 改为 pg_dumpall 
pg_basebackup -D - -Ft -z 在 PG15 中不支持同时 WAL streaming
改用 pg_dumpall | gzip 逻辑备份，更轻量且不需要 replication 权限

Co-Authored-By: Claude Opus 4.6 <noreply@anthropic.com>
 2026-02-23 23:18:52 -08:00
hailin a4689d5e8b fix(snapshot): 修复 listSnapshots 分页参数 NaN 问题 
NestJS @Query() 返回 string，需手动 parseInt 再传给 Prisma

Co-Authored-By: Claude Opus 4.6 <noreply@anthropic.com>
 2026-02-23 23:15:26 -08:00
hailin b8b4305ea5 fix(snapshot): Dockerfile 添加 ca-certificates 修复 mc 下载 SSL 错误 
Co-Authored-By: Claude Opus 4.6 <noreply@anthropic.com>
 2026-02-23 23:11:07 -08:00
hailin 685aced4e4 fix(snapshot): 修复 6 个 TypeScript 严格模式编译错误 
- infrastructure.module: handler union type 修正
- minio-storage.adapter: obj.name 可选属性安全检查
- minio-backup.handler: listAllObjects 返回 string[] 避免 BucketItem.name 可选问题

Co-Authored-By: Claude Opus 4.6 <noreply@anthropic.com>
 2026-02-23 23:10:08 -08:00
hailin 18c9f8b389 chore(snapshot): 添加 snapshot-service package-lock.json 
Docker build 的 npm ci 需要 lock 文件。

Co-Authored-By: Claude Opus 4.6 <noreply@anthropic.com>
 2026-02-23 23:06:42 -08:00
hailin cf07eb03be feat(snapshot): 数据快照备份服务全量实现（纯新增，零侵入） 
一套代码两处部署的在线备份编排服务，为 1.0 认种分配系统和 2.0 算力挖矿系统
分别提供 PostgreSQL / Redis / Kafka / ZooKeeper / MinIO / Uploads 的在线备份能力。
管理员在 admin-web / mining-admin-web 中选择备份目标和存储方式，点击备份后系统
串行执行各组件备份，通过 Socket.IO WebSocket 实时推送进度到前端。

## 后端 snapshot-service（NestJS 10 + Prisma 5 + SQLite）

架构: DDD 四层（api / application / domain / infrastructure）

- api 层:
  · SnapshotController — REST API（创建/查询/删除/下载）含 Range/206 断点续传
  · SnapshotGateway — Socket.IO WebSocket 实时推送 5 类事件
  · HealthController — 健康检查
  · CreateSnapshotDto — class-validator 验证
  · toSnapshotResponse — BigInt→string 序列化

- application 层:
  · SnapshotOrchestratorService — 核心编排引擎
    - startSnapshot() 异步启动，不阻塞 HTTP
    - 按 PG→Redis→Kafka→ZK→MinIO→Uploads 顺序串行执行
    - 单目标失败不中断整体任务
    - MinIO 模式: 备份完上传到 MinIO 后删除本地临时文件
    - LOCAL 模式: 保留在服务器临时目录供下载
    - @Cron(EVERY_HOUR) 自动清理过期本地备份（默认 72h）
    - runningTaskId 防止并发执行

- domain 层:
  · BackupTarget 枚举（6 种目标）+ BACKUP_TARGET_ORDER 执行顺序
  · SnapshotStatus 枚举（PENDING/RUNNING/COMPLETED/FAILED）
  · StorageType 枚举（MINIO/LOCAL）
  · BackupHandler 接口 + BACKUP_HANDLER_TOKEN

- infrastructure 层:
  · 6 个备份 Handler（均实现 BackupHandler 接口）:
    - PostgresBackupHandler: pg_basebackup 通过网络流式备份，解析 stderr 进度
    - RedisBackupHandler: BGSAVE + LASTSAVE 轮询 + 打包 dump.rdb/AOF
    - KafkaBackupHandler: archiver 打包数据卷，按字节计算进度
    - ZookeeperBackupHandler: archiver 打包 data/ + log/
    - MinioBackupHandler: SDK 列举并下载所有桶（排除备份桶）后打包
    - UploadsBackupHandler: archiver 打包上传文件目录
  · 2 个存储适配器:
    - MinioStorageAdapter: fPutObject 上传 / removeObjects 批量删除
    - LocalStorageAdapter: 本地临时目录管理 + 过期清理
  · PrismaService (SQLite) + SnapshotRepository (完整 CRUD)
  · BACKUP_HANDLER_TOKEN 工厂: 根据 AVAILABLE_TARGETS 环境变量过滤可用 handler

- Prisma Schema (SQLite):
  · SnapshotTask: 主表，targets 存 JSON 字符串，totalSize 用 BigInt
  · SnapshotDetail: 明细表，每个目标一行，@@index([taskId])
  · onDelete: Cascade 级联删除

- Dockerfile: 多阶段构建，生产镜像安装 postgresql-client + mc (MinIO CLI)
  SQLite 使用 prisma db push 而非 migrate deploy

- 部署端口: 1.0 系统 = 3099，2.0 系统 = 3199

## Docker Compose overlay（纯新增，不修改现有 docker-compose）

- docker-compose.snapshot.yml (1.0):
  · 挂载 redis_data/kafka_data/zookeeper_data/zookeeper_log/admin_uploads_data 只读卷
  · AVAILABLE_TARGETS=POSTGRES,REDIS,KAFKA,ZOOKEEPER,MINIO,UPLOADS
  · 依赖 postgres + redis 健康检查

- docker-compose.2.0-snapshot.yml (2.0 standalone):
  · 挂载 redis_2_data/mining-admin-uploads/trading-uploads 只读卷
  · AVAILABLE_TARGETS=POSTGRES,REDIS,UPLOADS
  · 依赖 postgres-2 + redis-2 健康检查

## 前端 admin-web（Next.js 15 + SCSS）

- 新增 /snapshots 页面: 创建备份表单 + 实时进度条 + 历史列表 + 下载/删除
- 新增 useSnapshotWebSocket hook: Socket.IO 连接 + 5 类事件监听
- 新增 snapshot.api.ts: 独立 fetch（不走通用 apiClient，snapshot 服务独立端口）
- 新增 snapshot.types.ts: 共享类型定义
- 新增 page.module.scss: 表单/进度条/表格样式
- 修改 Sidebar.tsx: 添加「数据快照」菜单项
- package.json: 添加 socket.io-client 依赖

## 前端 mining-admin-web（Next.js 14 + Tailwind CSS）

- 新增 /snapshots 页面: 同 admin-web 功能，Tailwind CSS 风格
- 新增 useSnapshotWebSocket hook
- 新增 snapshot.api.ts + snapshot.types.ts
- 修改 sidebar.tsx: 添加「数据快照」菜单项 + HardDrive 图标
- package.json: 添加 socket.io-client 依赖

Co-Authored-By: Claude Opus 4.6 <noreply@anthropic.com>
 2026-02-23 21:53:09 -08:00