# robots.txt for solarfam.nl
# 最后更新：2026-07-02

User-agent: *
# 允许所有主流爬虫抓取商品和分类页面（默认允许所有，仅禁止特定路径）
Disallow: /api.php
Disallow: /user/
Disallow: /xmlrpc.php
Disallow: /.git/
Disallow: /.env
Disallow: /pdf/         # 如果PDF仅供下载而非索引，可禁止
Disallow: /apple-touch-icon*.png   # 避免无效图标请求记录
Disallow: /fr/search/   # 如搜索功能存在，禁止抓取搜索结果
Disallow: /*?*          # 禁止带参数动态URL（可根据需要细化）
# 注意：若您的商品页URL不带参数，该规则不影响；若带参数则需调整

# 针对高频爬虫设置抓取延迟（单位：秒）
User-agent: SemrushBot
Crawl-delay: 10

User-agent: Amazonbot
Crawl-delay: 10

User-agent: DotBot
Crawl-delay: 10

User-agent: Bytespider
Crawl-delay: 10

User-agent: ChatGPT-User
Crawl-delay: 10