从业务出发，理解 DataClaw 的「为什么、怎么做、做到了什么、接下来去哪」。
它解决了什么真实问题？为什么现在做？带来怎样的业务杠杆？
DataClaw = Data Agent + 自主决策。Agent Harness 框架与系统分层。
当前工程落地：前端、Java BFF、Python Harness、SSE 协议、UI Envelope。
阶段一 Chat BI（基础底座）→ 阶段二 Data Claw（自主决策）。
从「对话即取数」的数据助手起步，
最终进化为「洞察即行动」的自主归因引擎。
这是从"提工单 → 排期 → 跑数 → 校验"到"对话即取数"的范式切换。
人介入 4 个环节，等待与排期占大头
用户只在两端介入，中间由 Agent 自动协作完成
围绕 快、全、准 三件事建立产品差异化护城河。
将数据获取时间从
借助 LLM + Skill 编排，用户提问到拿到可视化结果之间，全链路压缩为分钟级。
覆盖全场景多源数据
统一面向：埋点、画像、标准指标、数据表、业务库、上传文件等多种数据形态。
让 LLM 输出的结果
通过统一指标口径 + 工具调用确认 + 结果可追溯，确保每个数字都有出处。
两个阶段递进式构建：先做"对话即取数"的可信底座，再做"洞察即行动"的自主决策。
阶段一是 能不能 的问题——能不能在保证准确性的前提下用对话取数；
阶段二是 用不用 的问题——能不能让 Agent 自主发起分析并交付建议。
这是 DataClaw 全部技术工作的"第一性原理"。
用户说一句话，Agent 完成意图识别、语义解析、查询执行、可视化与结论的端到端编排。
系统主动巡检指标，发现异常时自主下钻、定位归因、生成报告，把 BI 升级为 Decision-as-a-Service。
Agent 的智能上限取决于模型，但 Agent 的工程上限取决于 Harness。
大模型决定 Agent 的语言能力、推理深度、上下文理解。是基础设施，可热替换。
除模型之外的全部工程：上下文管理、持久化、流程编排、工具/技能、Hooks 中间件、沙箱执行。
Harness 是 Agent 的"操作系统"，决定 Agent 能否在生产环境稳定、可控、可演进。
角色约束、行为准则、输出风格。本项目通过 SOUL.md 与 Skill 元数据下沉。
带描述的可调用能力。包括 search_metrics / query_semantic_data / visualize_query_result 等。
文件系统、沙箱、浏览器。本项目以 Python 沙箱执行 + artifact 引用机制规避大结果污染上下文。
子 Agent 派发、Handoff、模型路由。Java BFF 把会话请求映射为 LangGraph 风格的 Run 协议。
上下文压缩、续跑、Lint 检查等确定性中间件。让非确定性的 LLM 在确定性的轨道上跑。
模型迭代周期 ~ 月级；Harness 工程能力是项目的真护城河。
前端 / 后端 / Data Flow / Skill & Tool —— 四象限映射 Harness 全部组件。
对话 · 执行过程 · 用户设置
飞书等渠道接入，未来扩展 Slack / Telegram
会话/记忆/工具/数据集/Token/权限管理
上下文管理 · 沙箱执行 · 技能管理 · 流程编排
问数 / 查数 / 分析 / 报告 + 元数据/查询/可视化/分析工具
前端纯渲染 · Java BFF 屏蔽差异 · Python 是 DeerFlow Harness 的运行时。
前端不是等"一次性大响应"，而是实时消费 11 类 SSE 事件，逐步构建对话与结果。
把 LLM 的非结构化输出，约束到一个稳定的 page → components Schema 上。
{
"result_type": "success",
"code": "OK",
"message": "分析完成",
"ui_schema_version": "1.0",
"trace_id": "run_xxx",
"page": {
"layout": "vertical",
"components": [
{
"id": "summary_markdown",
"type": "text.markdown",
"data": { "content": "## 结论..." }
},
{
"id": "province_table",
"type": "table.grid",
"data": { "headers": [...], "rows": [...] }
},
{
"id": "province_chart",
"type": "chart.bar",
"data": { "spec": { ... } }
}
]
},
"active_view": "bar",
"token_usage": { "total_tokens": 1432 }
}
统一渲染层 · 兼容旧 result.* 事件 · 支持版本号 ui_schema_version 演进。前端按 type 路由组件，后端按 type 写入。
/Users/wangchengming/Documents/Codex/DataClaw 当前形态。
React 18 · Vite · pnpm · shadcn · 5173
Java 17 · Spring Boot 3 · H2 · 8080
Python 3.11+ · FastAPI · uvicorn · 8000
H2 文件库（MODE=MySQL）· 后续可平滑迁移 MySQL · 路径 ./data/dataclaw。
| 表 | 用途 | 关键字段 |
|---|---|---|
| dc_thread | 会话线程主记录 | title_locked · selected_dataset_id |
| dc_thread_run | 每次提问 = 一次运行 | final_ui_result_json · token_usage_json |
| dc_thread_message | 用户/助手消息 | ui_result_json · reaction |
| dc_thread_step | 分析步骤回放 | stream_order · output_json |
技能（Skill）= Markdown 描述的"工作流剧本"，让 LLM 知道"什么场景做什么事"。
DeerFlow is now evolving from a Deep Research agent into a full-stack Super Agent
Now the agent can better understand you
Plans ahead, reasons through complexity, then executes sequentially or in parallel
Plug, play, or even swap built-in tools. Build the agent you want.
Doubao, DeepSeek, OpenAI, Gemini, etc.
Read, write, run — like a real computer
MIT License, self-hosted, full control
| Skill | 触发场景 | 核心工具链 |
|---|---|---|
| data_query | 纯查询：查/趋势/排行/分组 | search_metrics → search_dimensions → query_semantic_data → visualize_query_result → finalize_ui_result |
| data_analysis | 需要分析、归因、趋势判断 | 同上 + business_summary 输出 + 分析解读 |
基于 RAG · 召回准确度可评测
Java BFF 暴露 /api/chatbi/mcp，让外部 Agent（含前端 MCP 客户端）调用我们的指标 / 数据集工具
Python Skill 链路通过 MCP 调用 vchart-mcp-server 生成图表 spec，由前端 VChart 渲染
把所有抽象拼回一条具体路径，看 Skill / Tool / SSE / DB 是怎么协同工作的。
目标：落地基础架构、提供自助化的准确的 AI 数据服务。
标准指标、数据表、画像、埋点 治理与定义
指标 · 覆盖度
问数 / 查数 / 分析 / 报告 四类核心 Skill
指标 · 准确度
RAG 推荐合适的指标和维度（基于问题库）
指标 · 召回准确度
覆盖标准指标 / 数据表 / 埋点等
指标 · 查询完整度
前端组件化 · 图表 / 表格 / 反馈 / 报告
指标 · 渲染稳定性
归因分析、分布分析、需求拆解
指标 · 准确性
记忆 / 持久化 / 上下文压缩 / Token 控制 / 流程编排 / 沙箱
指标 · 效率成本 / 准确性
能力范围 / 评测标准 / 数据集 / 评测体系
指标 · 评测覆盖率
不再等待用户提问。Agent 主动巡检、主动归因、主动推送。