AI 应用

同一篇文章的摘要做 embedding hash 缓存后，月度 token 成本降到了原来的 31%。关键点是 hash 要包含模型版本号，否则换模型后会命中旧缓存。

给我们的 Markdown 编辑器加了一个「AI 续写」功能，最麻烦的不是模型调用，而是流式输出的全链路设计。 后端：SSE 逐块推送 [代码] 前端：Reader 打字机渲染 [代码] 经验 增量渲…

没有标注数据集怎么做检索质量评估？我的土办法：让模型自己生成 50 个「应该能搜到 X 文档」的问题，跑召回率。虽然不严谨，但迭代时够用了。