Project Case Study
RayData 企业知识库机器人问答系统
RAG / 企业知识库 / Prompt Studio / LLMOps 治理闭环
面向多行业企业知识管理与智能问答场景，构建从知识入库、权限治理、可信问答到 Bad Case 闭环修复的一体化知识库机器人平台；既支持 RayData Web 场景，也具备独立域名部署与商业化交付能力。
项目定位这个项目不是单纯聊天机器人，而是把知识管理后台、检索增强生成、权限控制、Prompt 资产、评测集和运营看板串起来的企业知识服务平台。
产品是做什么的
面向多行业企业知识管理与智能问答场景，把知识入库、检索增强生成、权限控制、引用溯源和运营治理串成可信问答平台。
我主要负责什么
设计知识库管理、标签治理、数据集、PE 管理、编排和数据看板，把 AI 问答从单点能力推进到可运营的产品系统。
拿到了什么结果
问答准确率从 56% 提升到 88%，复杂问法 Top1 命中率 87%，沉淀 1000+ 优质问答对，并支撑每月 5 万+ 咨询自动化处理。
01 / Prototype
原型图与模块说明
企业知识进入系统的第一站。
文档管理
覆盖文件导入、目录管理、状态流转、标签与批量操作。它解决的是企业知识散落在文档、IM、交付物里的问题，让知识先被统一管理，再进入检索链路。文件导入目录分组解析状态批量运维
把 RAG 的关键中间过程可视化。
切片详情
切片质量直接影响召回准确率。该页面让运营者查看文档切片、定位切片边界和内容缺失，避免系统只是“黑盒向量库”。切片预览检索验证质量检查问题定位
知识组织和筛选的结构化基础。
标签管理
通过标签分类、权重、颜色和使用统计，支持场景分类、知识过滤、数据看板归因和后续运营分析。标签分类权重排序使用统计场景归因
把用户反馈转化成治理样本。
数据集管理 / 线上异常监控
线上点踩、无结果、转人工、意图异常会进入监控池，运营者可以按归因、渠道、场景标签筛选，并拉取到 Bad Case 治理集。异常筛选样本拉取Trace 归因治理流转
验证优化是否真实有效。
评测训练集
通过评分、GSB 对比、人工打标和自动评分沉淀回归样本。修复知识或 Prompt 后，用评测集确认效果，避免凭感觉上线。评分评测GSB 对比人工打标回归样本
治理结果进入知识库前的质量门禁。
发布入库
对治理后的问答对做全新、相似、重复检查，防止重复或冲突知识污染知识库，让修复动作可控地反哺生产环境。查重相似检测二次确认写入知识库
把 Prompt 从临时文本变成可治理资产。
PE 管理 / Prompt Studio
支持 Prompt 编辑、变量解析、知识绑定、模型运行、评分反馈、GSB 对比和版本治理。它解决的是 Prompt 散落、不可复现、难回归的问题。变量系统知识绑定评分 / GSB版本 Diff
把问答能力扩展成可编排工作流。
编排管理
通过 Workflow Studio 配置 LLM 节点、知识检索节点、代码节点、条件分支和工具调用，让复杂售前咨询、售后排障、内容审核等场景可以复用同一套能力。节点配置条件分支工具调用执行日志
AI 问答系统的运营监控中心。
数据看板
看板把知识覆盖、召回效果、回答准确性、用户反馈、转人工和修复效率放在同一处观察。初次了解项目的人可以从这里看到：系统上线后不只是统计聊天量，还能发现问题、定位原因并推动修复。核心指标趋势异常样本下钻治理状态跟踪触发回归验证
02 / Architecture
产品结构
用户入口
RayData Web、企业微信、Widget、Open API
对话体验
流式输出、多轮上下文、引用溯源、点赞点踩
RAG 引擎
意图识别、权限过滤、混合检索、Rerank、证据生成
知识中台
文档、标签、PE、编排、数据集统一管理
数据看板
覆盖率、准确率、反馈、转人工、修复效率
治理闭环
归因、修复、验证、上线、再监控
03 / RAG Pipeline
一次问答如何可信生成
用户提问
来自 Web、企微、嵌入式助手或独立知识库入口。
意图识别
识别是知识问答、操作指引、排障咨询还是需要转人工。
权限过滤
按租户、项目、角色和敏感级别先过滤可见知识。
混合检索
结合关键词、向量和元数据筛选，兼顾精确词与自然语言问法。
排序与生成
通过 Rerank 选择证据，再让模型基于证据生成答案。
引用与反馈
展示引用来源，用户反馈进入数据集和治理流程。
04 / LLMOps
线上问题如何持续修复
发现问题
从点踩、无结果、转人工、低分评测和看板异常发现问题。
定位原因
查看 Trace，判断是知识缺失、切片问题、Prompt 问题还是检索策略问题。
执行修复
补充文档、调整标签、优化 Prompt、修改编排或补充评测样本。
验证上线
用评测训练集回归验证，通过后发布入库或上线新版本。
05 / Value
项目价值
知识资产化
把分散在文档、表格、FAQ 和交付经验里的内容统一入库、切片、打标和检索。
回答可信化
通过权限过滤、证据约束生成和引用溯源，降低错答、幻觉和越权风险。
运营闭环化
用数据看板、评测集和 Bad Case 流程，让问题能被发现、修复、验证和持续追踪。