@@ -3,14 +3,10 @@
 /**
  * @file app/llms.txt/route.ts
  * @description
- * `/llms.txt` 路由（llmstxt.org 约定）。AI 引擎抓站时先读它拿全站索引。
+ * `/llms.txt` 路由（llmstxt.org 约定）。
  *
- * 为什么是 route handler 而不是 public/llms.txt：文档是 MDX，会增删改，
- * 手维护一份静态索引必然过期。这里从 `source` 现枚举，和 sitemap 同源。
- *
- * force-static：内容全部来自构建期的 MDX，没有请求相关的东西，
- * 构建时产出一次即可，别让它变成每次请求现算的 dynamic 路由
- * （i18n/routing.ts 文件头记着上次全站 dynamic 把 Vercel CPU 打爆的事）。
+ * force-static 是必需的，不是优化：内容只依赖构建期的 MDX，漏了它这条路由
+ * 会退化成每次请求现枚举全站文档的 dynamic 路由。
  *
  * @see https://llmstxt.org
  */
 
@@ -19,20 +19,8 @@
  * sitemap 指向 app/sitemap.ts 产出的 /sitemap.xml，hostname 复用同一份
  * NEXT_PUBLIC_SITE_URL。
  *
- * AI 爬虫策略（2026-08）：按用途分开，不是一刀切。
- *
- * - **引用型**（OAI-SearchBot、ChatGPT-User、Claude-User、PerplexityBot…）：
- *   用户实时提问时才来抓，抓完在回答里附出处链接。本站要的就是被引用，
- *   所以放行 —— 走上面的 `*` 组即可，**不单独开组**。robots.txt 里 UA 专属
- *   组会整体覆盖 `*` 而不是叠加，给它们开组就得把 admin/editor 那串 disallow
- *   再抄一遍，抄漏一条就等于把后台开放给它们。少写一组反而更安全。
- *
- * - **训练型**（见 AI_TRAINING_CRAWLERS）：把正文收进训练语料，不产生任何
- *   回链。内容是 CC BY-NC-SA，整站 disallow。
- *
- * 这份策略取代了 public/robots.txt —— 那份手写文件把两类一起屏蔽，而且
- * 早就不生效了：App Router 下 app/robots.ts 才是线上实际服务的 /robots.txt，
- * 那份文件被静默遮蔽，读代码的人却会以为 AI 爬虫已经被挡住了。已删除。
+ * AI 爬虫按用途分：引用型（实时取用并附出处链接）放行，训练型（收进语料、
+ * 不给回链）整站 disallow —— 内容是 CC BY-NC-SA。
  *
  * @see https://nextjs.org/docs/app/api-reference/file-conventions/robots
  */
@@ -55,10 +43,12 @@ const PRIVATE_PATHS = [
 ];
 
 /**
- * 训练语料型爬虫：只取内容不给回链，整站 disallow。
+ * 训练语料型爬虫，整站 disallow。
  *
- * 刻意不含 ChatGPT-User / Claude-User / OAI-SearchBot / PerplexityBot ——
- * 那几个是用户提问时实时取用并产生引用的，属于放行的一侧（见文件头）。
+ * 刻意不含 OAI-SearchBot / ChatGPT-User / Claude-User / PerplexityBot：
+ * 它们靠 `*` 组放行就够了。**不要**为它们再开一个 Allow 组 —— robots.txt 里
+ * UA 专属组整体覆盖 `*` 而不是叠加，开了就得把 PRIVATE_PATHS 再抄一遍，
+ * 抄漏一条等于把后台放给它们。
  */
 const AI_TRAINING_CRAWLERS = [
   "GPTBot", // OpenAI 训练语料
 
@@ -3,16 +3,11 @@
 /**
  * @file lib/doc-entry.ts
  * @description
- * 文档页 → URL / 可见性的共享判定。
- *
- * 原来这两个函数是 `app/sitemap.ts` 的私有函数。`app/llms.txt/route.ts`
- * 要枚举同一批文档，如果各写一份，早晚会出现「sitemap 过滤了 draft、
- * llms.txt 没过滤」这种单边漂移 —— 草稿泄漏给 AI 引擎和泄漏给搜索引擎
- * 一样糟。抽到这里，两边共用一份，理由同 `lib/site-url.ts` 文件头。
+ * sitemap 与 llms.txt 共用的文档过滤 / URL 编码，两边必须同进同退：
+ * 只有一边过滤 draft 的话，草稿会静默泄漏给另一边的抓取方。
  *
  * 刻意不 import `@/lib/source`：那条链会把整个 fumadocs-mdx 管线拖进来，
- * vitest 没配 MDX 插件会直接 parse 失败。入参用结构化的宽类型，
- * 让本文件保持纯函数、可单测。
+ * vitest 没配 MDX 插件会直接 parse 失败。入参因此用结构化宽类型。
  */
 
 import type { PageData } from "@/app/types/doc";
 
@@ -3,17 +3,11 @@
 /**
  * @file lib/llms-txt.ts
  * @description
- * `/llms.txt` 正文生成器（llmstxt.org 约定）。
+ * `/llms.txt` 正文生成器（llmstxt.org 约定）。只出索引不出全文 —— 三百多篇
+ * 正文拼进去是几 MB，会挤爆它本来要省的上下文。
  *
- * 干什么用：AI 引擎（ChatGPT / Perplexity / Claude 等）抓站时先看这个文件，
- * 拿到一份无导航噪音的全站索引，再决定深入读哪几篇。sitemap.xml 只有 URL，
- * 模型得逐个抓才知道讲什么；llms.txt 一次给全 标题 + 描述 + 链接。
- *
- * 只做索引不做全文：站内 152 篇中文 + 152 篇英文，全文拼进去是几 MB，
- * 反而挤爆上下文。约定本身也是「索引 + 链接」。
- *
- * 纯函数，不 import `@/lib/source`（那条链会拖进 fumadocs-mdx 管线，
- * vitest 起不来）。枚举文档的活儿在 `app/llms.txt/route.ts` 里干。
+ * 不 import `@/lib/source`：那条链会拖进 fumadocs-mdx 管线，vitest 起不来。
+ * 枚举文档在 `app/llms.txt/route.ts`，这里保持纯函数。
  */
 
 export interface LlmsTxtEntry {
 
@@ -24,13 +24,22 @@ describe("robots", () => {
     expect(wildcard.disallow).toContain("/*/editor/");
   });
 
+  // 列全当前策略里的每一个训练型 UA：少列几个的话，从 app/robots.ts 删掉
+  // 没列到的那些测试照样绿，等于白守。新增不用同步（放宽是安全方向）。
   it("训练型爬虫整站 disallow", () => {
     for (const ua of [
       "GPTBot",
       "ClaudeBot",
+      "anthropic-ai",
       "Google-Extended",
-      "CCBot",
+      "Applebot-Extended",
+      "meta-externalagent",
+      "FacebookBot",
       "Bytespider",
+      "Amazonbot",
+      "CCBot",
+      "Omgilibot",
+      "DataForSeoBot",
     ]) {
       expect(blockedAgents).toContain(ua);
     }