回到主页
个人项目 · 数据工程No. 12

6521 条速记的多 agent 合并流水线

6521 条速记(含 2948 张截图)清洗后并进笔记库: 原始导出切成结构化记录, OCR 补全截图文字, 对既有笔记查重后按 66 个 tag 合并; 写入前唯一锚定校验, 重跑幂等, 每批条数守恒对账.

智能体后端

审批网页与落盘器1 段

8 条合成速记分诊完, 执笔 agent 交出两个 hunk, 等本人在审批页裁决

演示滚到这里时加载

这一段证明: 锚点命中 2 处被拒, 换锚写入, 重跑幂等跳过, 8 条去向守恒

背景: 本人的速记攒了 6521 条, 很多条只有一个链接或一张截图; 要把它们并进自己的笔记库, 又不放心让模型直接改笔记. 数据源与抽取: 速记原文之外, 2948 张截图经 OCR 取回文字; 链接背后的视频走字幕接口, 没有字幕的走语音转写. 抽取层不用模型.

规范化: 按 tag 把原始导出切成结构化记录(批次 行号 时间 tag 原文), 切片时先记条数.

查重与分流: 每条归入六种去向之一(并入已有笔记 新建节点 待办 省身 待指示 标记待确认); 并入前先对既有笔记查重, 已有的不重复写.

写入与幂等: 写入由不含模型调用的脚本执行, 插入位置在目标文件里唯一命中才写, 否则拒绝; 内容已在目标里就跳过, 重跑不会双写.

对账: 每批要求切出来的条数等于各去向条数之和; 66 个 tag 两轮走完, 前后 29 天; 收尾核对查出六处记账错, 内容没有丢失.

人工审核: 自建审批网页, 并入稿按 hunk 显示锚点与新增行; 本人逐条裁决 294 次: 整单元通过 87, 返工 41, 逐条翻案 166.

分工: 处理规则由本人口述十二条, 流水线由 Claude Code 据此搭建; 分诊 执笔 交叉审由多个 agent 做, 写的不审自己写的.

追问

追问 · 第 2 层多个 agent 之间怎么交换信息, 怎么不互相覆盖?

每个 agent 只写自己的单元目录; 写入阶段一个目标文件只归一个 agent, 串行走; 单元目录里的状态文件最后才写, 审批网页以它为就绪信号.

追问 · 第 2 层怎么知道没丢条目?

每批先记切出来的条数, 要求等于各去向条数之和.

追问 · 第 2 层重跑或中途恢复时, 怎么不把同一段写两次?

写入脚本先查要插的内容是否已在目标文件里, 在就跳过; 同一个目标文件只归一个写入者串行写, 不让两个 agent 同时落同一个文件.

联系我