1. 确定要检查的搜索服务
ChatGPT 网页搜索、Google AI 功能和 Bing 的 AI 回答是不同的服务。网站运营人员应先确定要检查的服务和页面，再阅读该服务的爬虫说明。OpenAI 分别说明了用于搜索的 OAI-SearchBot 和用于模型训练的 GPTBot。
检查 OpenAI 搜索爬虫的规则时，要核对 robots.txt 中针对 OAI-SearchBot 的规则及适用于全站的规则。训练偏好可以通过 GPTBot 的单独规则管理。
2. 一起检查三个位置
首先，不登录就打开公开网址。其次，查看网站 robots.txt 中适用于该路径的规则。最后，检查页面的搜索指令，以及 CDN 或托管服务的安全设置。人能看到页面，并不代表所有爬虫都能访问。
如果不清楚拦截来自哪里，把检查时间和准确的网址告知开发或托管负责人。整体调整访问策略或安全功能之前，先核实准备公开的路径和影响范围。
3. 分开记录访问结果和回答结果
搜索爬虫访问是可见性检查的起点。分别记录公开网址能否打开、是否在搜索服务中核实了索引或抓取状态，以及 AI 回答是否确实引用了该页面，便于明确下次要检查的事项。
TRY THIS TODAY
今天可以做的事
- 在检查表中建立“服务、待查网址、访问状态、索引检查、引用检查”几列。
- 先检查一个服务和一个页面，未检查的字段标记为“未测量”。
来源与核查日期
已核查。本文用于帮助实务准备，不保证搜索曝光。