AI Index

GoTryAI-Collector

GoTryAI-Collector 读取 AI 厂商和卖方公开的官方页面(定价页、模型页与文档页),让 ai.gotry.io 展示这些事实并链接回原页面。

  • User agent:“Mozilla/5.0 (compatible; GoTryAI-Collector/1.0; +https://ai.gotry.io/bot)”。
  • 遵守 robots.txt(RFC 9309),包括 Crawl-delay;只抓取一份固定的页面清单(几百个页面),大约每天一次。
  • 每个站点同一时间最多 3 个请求(需要渲染的页面最多 2 个),相邻两个请求的发起间隔至少一秒;robots.txt 设置了 Crawl-delay 或服务器返回 429 时,改为一次一个。服务器支持条件请求时,未变化的页面会跳过。
  • 只记录事实(价格、规格、日期),每个数值都链接到它来自的页面。

如需禁止,请在 robots.txt 中对“GoTryAI-Collector”设置 Disallow;下一次每日运行即会遵守。

如需我们停止采集、更正或删除任何内容,请发邮件至 contact@gotry.io。 条款、声明与隐私