User-agent: *
Allow: /

# 主要功能页面 - 允许爬取
Allow: /
Allow: /about
Allow: /categories
Allow: /category/*
Allow: /idiom/*
Allow: /search
Allow: /practice
Allow: /practice/*
Allow: /chain
Allow: /chain/*
Allow: /daily
Allow: /contact
Allow: /privacy
Allow: /terms
Allow: /favorites
Allow: /wrong-answers
Allow: /stats
Allow: /quiz


# 测试页面 - 禁止爬取
Disallow: /test-*

# API和管理路径 - 禁止爬取
Disallow: /api/
Disallow: /_next/
Disallow: /favicon.ico
Disallow: /apple-touch-icon.png

# 网站地图
Sitemap: https://zh.learn-idioms.cc/sitemap.xml
Sitemap: https://zh.learn-idioms.cc/sitemap-idioms.xml
Sitemap: https://zh.learn-idioms.cc/sitemap-categories.xml
Sitemap: https://zh.learn-idioms.cc/sitemap-chain.xml

# 爬取延迟
Crawl-delay: 1