企业交付
给荣耀 PC 软件部做的 RAG 评测平台
原需求只是一个评测脚本, 交付的是带完整前后端的平台, 另补 14 项需求外功能; 还查出 RAGAS 两项指标恒为满分的原因.
承接模型评测需求, 将评测脚本需求扩展为带完整前后端的 RAG 评测平台, 需求外补充 14 项功能; 发现 RAGAS 两项指标恒为满分, 定位为评测集过易且参考答案与检索段落同源导致的虚高.
这是什么 · 追问 · 看细节
- 这是为荣耀 PC 软件部开发的大模型研发工具里的一件; 同一批交付的还有浏览器自动化工具库和文档解析入库工具链.
- 评测可信度 -- 发现 RAGAS 两项指标恒为满分, 按指标算法逐条拆样本, 定位为评测集过易且参考答案与检索段落同源导致的虚高, 提出加入困难样本重建评测集.
追问 · 第 2 层两项指标为什么会恒为满分?
评测集过易, 且参考答案与检索段落同源, 导致虚高; 对策是加入困难样本重建评测集.
RAGAS 评测的虚高1 段
第 8 步: 两项恒满分查到原因, 提出加困难样本
演示滚到这里时加载
这一段证明: 两项恒为 1.00 来自评测集过易与参考答案同源

