User-agent: *
Allow: /
Disallow: /admin/
Disallow: /api/
Disallow: /search?*
Disallow: /category?*

# 允许爬取SEO友好的URL
Allow: /c/
Allow: /v/
Allow: /s/

# Sitemap位置
Sitemap: https://916691.xyz/sitemap.xml

# 抓取延迟（避免服务器压力）
Crawl-delay: 1

# Google爬虫
User-agent: Googlebot
Crawl-delay: 0

# Bing爬虫
User-agent: Bingbot
Crawl-delay: 1