# ai-hub.buzz robots.txt
# 目的：让 Baiduspider / 其他爬虫顺利抓全内容页，同时屏蔽无价值的素材目录（省抓取预算）

User-agent: *
Allow: /
# demo/ 里是视频素材与临时截图，没有内容价值，不参与索引
Disallow: /demo/
Disallow: /demo
# 下载出口与私有目录：不是内容页，不需要被索引
Disallow: /download.php
Disallow: /_private/
# 发布目录：改为凭激活码查看，不开放给爬虫
Disallow: /releases/

# 百度系爬虫显式放行
User-agent: Baiduspider
Allow: /
Disallow: /demo/

User-agent: Sogou web spider
Allow: /
Disallow: /demo/

User-agent: 360Spider
Allow: /
Disallow: /demo/

# 字节系 AI（豆包）与常见 AI 抓取
User-agent: ByteDance
Allow: /
Disallow: /demo/

Sitemap: https://ai-hub.buzz/sitemap.xml