User-agent: * Allow: / # 禁止抓取后台和动态参数 Disallow: /admin/ Disallow: /api/ Disallow: /cgi-bin/ Disallow: /*?* Disallow: /*sort= Disallow: /*page= # 允许重要资源被抓取 Allow: /images/ Allow: /css/ Allow: /js/ # 百度爬虫专属规则 User-agent: Baiduspider Allow: / Crawl-delay: 1 # 百度站长平台验证文件允许 Allow: /baidu_verify_*.html # Sitemap 位置 Sitemap: https://www.sdckzk.com/sitemap.xml # Host 指令(百度支持) Host: www.sdckzk.com