SEO培训中心提供免费SEO公开课,SEO技术问题解答,SEO培训教程下载和系统SEO培训及技术指导。SEO课程,SEO教程应有尽有。
SEO优化培训

Robots.txt 文件应放在哪里?robots.txt文件有什么必要?

[复制链接]
查看: 372|回复: 0

261

主题

261

帖子

811

积分

管理员

Rank: 9Rank: 9Rank: 9

积分
811
发表于 2018-12-20 18:01:16 | 显示全部楼层 |阅读模式
Robots.txt 文件应放在哪里?

  Robots.txt 文件必须放在网站的根目录。放在子目录的 Robots.txt 文件搜索引擎不能爬取到,所以不会起任何作用。


  如果你不能控制根目录的 robots.txt,则你可以通过在子目录网页中使用标签阻止网页被收录。


robots.txt文件有什么必要?

  什么是robots.txt文件?

  搜索引擎机器人通过链接抵达互联网上的每个网页,并抓取网页信息。搜索引擎机器人在访问一个网站时,会首先检查该网站的根目录下是否有一个叫做robots.txt的纯文本文件。当我们的网站有一些内容不想被搜索引擎收录,我们可以通过设置robots.txt文件告知搜索引擎机器人。

  如果网站上没有禁止搜索引擎收录的内容,则不用设置robots.txt文件,或设置为空。
u=2255043002,550553792&fm=15&gp=0.jpg

  从SEO的角度,robots.txt文件是一定要设置的,原因:

  ① 网站上经常存在这种情况:不同的链接指向相似的网页内容。这不符合SEO上讲的“网页内容互异性原则”。采用robots.txt文件可以屏蔽掉次要的链接。

  ② 网站改版或URL重写优化时原来不符合搜索引擎友好的链接需要全部屏蔽掉。采用robots.txt文件删除旧的链接符合搜索引擎友好。

  ③ 一些没有关键词的页面,比如本站的这个页面http://www.seodax.com/home.php?mod=space&uid=1&do=profile,屏蔽掉更好。

  ④ 一般情况下,站内的搜索结果页面屏蔽掉更好


回复

使用道具 举报

SEO优化培训教程

百度SEO教程-SEO培训课程课件大纲,共十一

主讲:9519990 日照

要做好网站优化,需要从哪几方面入手,又该

主讲:SEO老师 日照

面对B2C商城类型网站,我们该如何优化,又

主讲:SEO老师 菏泽

SEOer在做SEO优化的时候有哪些实用的技巧?

主讲:SEO顾问 南昌

SEO新手在进行网站优化时应该避免进入的12

主讲:SEO老师 大连

我们在做SEO的时候,应该怎么样去布局关键

主讲:SEO顾问 吉安

网站SEO优化对于用户分析我们应该从哪些细

主讲:9519990 山东

网站SEO优化的时候外链建设应该注意什么事

主讲:9519990 山东

商务合作

SEO培训学院电话:400-050-4004
SEO课程,SEO教程

关注SEO培训公众号

Robots.txt 文件应放在哪里?robots.txt文件有什么必要 ...

SEO教程,SEO课程 SEO教程,SEO课程 SEO课程,SEO教程 SEO课程,SEO教程 SEO课程,SEO教程
深圳帝国网络服务有限公司;  ©2006-2018  专业网站优化学校  技术支持:SEO培训学院