企业交付No. 1a
给荣耀 PC 软件部做的 RAG 评测平台
承接模型评测需求, 将评测脚本需求扩展为带完整前后端的 RAG 评测平台, 需求外补充 14 项功能; 发现 RAGAS 两项指标恒为满分, 定位为评测集过易且参考答案与检索段落同源导致的虚高.
智能体后端AI 评测终端与通用软件
RAGAS 评测的虚高1 段
第 8 步: 两项恒满分查到原因, 提出加困难样本
演示滚到这里时加载
这一段证明: 两项恒为 1.00 来自评测集过易与参考答案同源
这是为荣耀 PC 软件部开发的大模型研发工具里的一件; 同一批交付的还有浏览器自动化工具库和文档解析入库工具链.
评测可信度 -- 发现 RAGAS 两项指标恒为满分, 按指标算法逐条拆样本, 定位为评测集过易且参考答案与检索段落同源导致的虚高, 提出加入困难样本重建评测集.
追问
追问 · 第 2 层两项指标为什么会恒为满分?
评测集过易, 且参考答案与检索段落同源, 导致虚高; 对策是加入困难样本重建评测集.