详解robots.txt的使用方法和注意事项

robots.txt的使用方法是每个seo人员必须能熟练操作的内容，但实际上并不是真的每个seo 人员都知道robots.txt是什么，更别说熟练的使用了。曾经我和一个做了将近半年seo工作的人提到robots.txt时，他竟一脸茫然，这真的是让我大吃一惊。依林搜服网下面就和大家介绍一下到底什么是robots.txt，他的作用是什么以及他的是使用方法有哪些？

一、什么是robots.txt

robots.txt是搜索引擎中访问网站的时候要查看的第一个文件。robots.txt文件告诉蜘蛛程序在服务器上什么文件是可以被查看的。

当一个搜索蜘蛛访问一个站点时，它会首先检查该站点根目录下是否存在robots.txt，如果存在，搜索机器人就会按照该文件中的内容来确定访问的范围；如果该文件不存在，所有的搜索蜘蛛将能够访问网站上所有没有被口令保护的页面，所以如果你的网站没有需要被搜素引擎禁止访问的东西就可以不必写robots.txt。

二、robots.txt的使用注意事项

1、必须命名为robots.txt

robots.txt文件必须命名为robots.txt，因为他是搜索引擎公认的一个协议，不可写错，也一定要小写。

2、robots.txt必须放在根目录下

robots.txt必须放在网站的根目录下面，以为搜索引擎在访问一个网站时会首先去访问网站的根目录，去看看有没有robots.txt这个文件，根据robots.txt文件的内容去访问我们的网站。

3、robots.txt文件中的函数后面一定要有一个空格

拿User-agent函数来举个例子，例如我们想定义所有搜素引擎访问我们的网站，我们应该写成User-agent:*，千万不要写成User-agent:*。

三、robots.txt的使用方法

1、User-agent函数的使用

User-agent函数是指出本网站允许哪些搜索引擎访问。例如：User-agent:*代表允许所有搜索引擎访问，User-agent:googlebot意思是只允许谷歌访问我们的网站。下面把各个搜索引擎的蜘蛛写法告诉大家：google蜘蛛：googlebot、百度蜘蛛：baiduspider、yahoo蜘蛛：Yahoo!slurp、alexa蜘蛛：ia_archiver、bing蜘蛛：MSNbot、altavista蜘蛛：scooter、lycos蜘蛛：lycos_spider_(t-rex)、alltheweb蜘蛛：fast-webcrawler、inktomi蜘蛛：slurp。

2、Disallow函数的使用

Disallow函数是禁止搜素引擎访问我们网站的内容，例如我的博客的作者只有Dumu我一个人，那么我想禁止搜索引擎收录Dumu这个作者所写的文章页面，因为他和我们的首页内容可以说是完全相似，那么我们就可以写成Disallow:/index.php/archives/author/dumu，如果写成Disallow:/index.php/archives/author/dumu/意思就是搜索引擎禁止访问dumu这个目录下的内容。

3、Allow函数的使用

Allow函数的使用和Disallow函数是一样的，只是和Disallow函数的意思相反，他通常不使用，因为robots.txt文件中默认凡是不禁止的内容都是允许访问的。Allow函数是要和Disallow函数组合使用，他是为了简化robots.txt文件而产生的，例如我们要禁止搜索引擎访问dumu这个目录下的内容，但是又想这个目录下.html文件允许搜索引擎访问，那么就可以这样写：

User-agent:*

Disallow:/index.php/archives/author/dumu/

Allow:/index.php/archives/author/dumu/*.html

如果要是单纯的用Disallow函数来禁止，那么robots.txt文件中的内容就要很多，显得多而乱。

4、robots.txt文件中*和$通配符的使用

*通配符的意思是代表任意个字符。例如：Disallow:/*?*的意思就是禁止搜索引擎访问网站中所有带有?的内容，也就是禁止搜索引擎收录网站中的动态地址内容。

$意思是结束通配符。例如：Disallow:/*.jpg$的意思是禁止搜索引擎收录所有以.jpg结尾的内容，也就是禁止搜索引擎收录我们网站中的所有图片。

总结：robots.txt的使用是每位seo人员必须能够熟练使用的内容，如果一个seo人员连robots.txt的使用都不知道，那么他不算是一个合格的seo人员。robots.txt的使用是每个网站都要用到的内容，他定义了搜索引擎可以访问哪些内容和不可以访问哪些内容，从seo的角度来说是非常必要的内容。

本文由书之都全文字小说网http://www.shu888.net/files/article/html/13/13914/24466.html站长编辑发布，提供全文字小说，网络小说，跟新快的小说网，转载注明出处