# SenseAudio robots.txt # # 采用「默认允许 + 显式屏蔽敏感路径」的黑名单模型。 # # 为什么不是白名单: # 历史版本写的是 `Disallow: /` 配合 `Allow: /`。按 robots.txt 规范(RFC 9309 / Google), # 冲突时取路径更长(更具体)的规则,长度相同则取**最不严格**的一条; # `Allow: /` 与 `Disallow: /` 长度相同,因此 Allow 胜出——实际效果是全站可抓取, # 那份「白名单」从未真正生效。改成严格白名单会突然收紧索引范围, # 有把活动落地页这类带专属 SEO metadata 的页面挤出索引的风险。 # 故此处保持既有的可抓取行为,只把确实不该被收录的路径显式列出。 # # 上次按 app/**/page.tsx 核对路由:2026-07-26 User-agent: * # —— 管理后台 —— Disallow: /admin Disallow: /admin-agent Disallow: /audioclaw-admin Disallow: /sales-admin # —— 接口与内部路由 —— Disallow: /api/ Disallow: /internal-api/ # —— 登录 / 鉴权 / 回调(无内容价值,且 URL 常带一次性参数)—— Disallow: /login Disallow: /auth-intermediate Disallow: /oauth/ Disallow: /oauth2/ Disallow: /verification-successful # —— 需登录的个人工作区(对爬虫只会重定向到登录页,浪费抓取配额)—— Disallow: /workspace/account-management Disallow: /voice-studio/ Disallow: /editor/ Disallow: /projects # —— 分享 / 一次性链接 —— Disallow: /share/ Disallow: /call-guide # 说明:以下为历史遗留的失效条目,已移除 # /platform/* 路由已不存在(现为 /api-platform/*) # /workspace/vip-pay 路由已删除 # /audioclaw 已 301 重定向至 /SoWork # /token-rush 活动结束,路由已删除(2026-10) # /workspace/events 商汤龙虾节活动页已下线(2026-10)