1. 主页 > SEO问题 >

网站robots.txt文件写法教程

1、网站想要让所有的搜索引擎抓取(常用写法)

User-agent: *
Allow: /

2、禁止所有搜索引擎访问网站的所有部分

User-agent: *
Disallow: /

3、禁止百度索引你的网站

User-agent: Baiduspider
Disallow: /

4、禁止Google索引你的网站

User-agent: Googlebot
Disallow: /

5、禁止除Google外的一切搜索引擎索引你的网站

User-agent: Googlebot
Disallow:
User-agent: *
Disallow: /

6、禁止除百度外的一切搜索引擎索引你的网站

User-agent: Baiduspider
Disallow:
User-agent: *
Disallow: /

7、禁止蜘蛛访问某个目录(例如禁止admin\css\images被索引)

User-agent: *
Disallow: /css/
Disallow: /admin/
Disallow: /images/

8、允许访问某个目录中的某些特定网址

User-agent: *
Allow: /css/my
Allow: /admin/html
Allow: /images/index
Disallow: /css/
Disallow: /admin/
Disallow: /images/

本文由夜岛黑帽SEO整理发布,欢迎转载:http://www.mctpro.cn/a/SEOsuanfa/4148.html

联系我们

在线咨询:点击这里给我发消息

微信号:夜岛SEO

工作日:9:30-18:30,节假日休息