User-agent: *
Allow: /
Disallow: /admin/
Disallow: /private/
Disallow: /search/

# 阻止搜索引擎收录不存在的页面
Disallow: /tags/CAD/
Disallow: /tags/CAE/
Disallow: /categories/%E6%95%B0%E5%AD%97%E5%B7%A5%E7%A8%8B/

# 允许搜索引擎抓取重要页面
Allow: /categories/
Allow: /tags/
Allow: /archives/

# 网站地图
Sitemap: https://gyznsw.cn/sitemap.xml
Sitemap: https://gyznsw.cn/baidusitemap.xml

# LLM / AI agent discovery
Allow: /llms.txt

# 爬取延迟设置（可选）
# Crawl-delay: 10

# 指定搜索引擎
User-agent: Googlebot
Allow: /
Disallow: /admin/

User-agent: Baiduspider
Allow: /
Disallow: /admin/

User-agent: 360Spider
Allow: /
Disallow: /admin/

User-agent: Sogou web spider
Allow: /
Disallow: /admin/

User-agent: YisouSpider
Allow: /
Disallow: /admin/