robot.txt文件 　　大部分的网站收录问题都是因为被robot.txt文件拦截导致的。 　　robots.txt是一个纯文本文件，在这个文件中网站管理者可以声明该网站中不想被robots访问的部分，或者指定搜索引擎只收录指定的内容。 　　当一个搜索机器人（有的叫搜索蜘蛛）访问一个站点时，它会首先检查该站点根目录下是否存在robots.txt，如果存在，搜索机器人就会按照该文件中的内容来确定访问的范围；如果该文件不存在，那么搜索机器人就沿着链接抓取。 　　格式： 　　1.User-agent： 　　用于指定搜索引擎的名称，如谷歌为User-agent: Googlebot，*代表所有搜索引擎 　　2.Disallow： 　　表示禁止蜘蛛访问的文件 　　User-agent: * 　　Disallow: 　　表明：允许所有搜索引擎访问网站下的所有内容。 　　User-agent: * 　　Disallow: / 　　表明：禁止所有搜索引擎对网站下所有网页的访问。 　　User-agent: * 　　Disallow: /cgi-bin/ 　　表明：禁止所有搜索引擎进入网站的cgi-bin目录及其下所有子目录。需要注意的是对每一个目录必须分开声明。 　　User-agent: Roverdog 　　Disallow: / 　　表明：禁止Roverdog访问网站上的任何文件。 　　User-agent: Googlebot 　　Disallow: cheese.htm 　　表明：禁止Google的Googlebot访问其网站下的cheese.htm文件。 　　3.注释 　　以”#”开头的行，均被视为注解内容，注释需要单独成一行 　　Disallow: bob #comment是错误的 　　4.Allow行 　　Allow行还未普遍使用，对于网站地图，直接写为Sitemap: 　　http://www.xxx.com/sitemap.xml 　　编辑模式： 　　在UNIX模式下编辑你的robots.txt文件并以ASCII码格式上传。显然并非所有的FTP客户端软件都能够天衣无缝地将文件格式转换为UNIX命令行终端，所以在编辑robots.txt文件时，一定要确保你的文本编辑器是在UNIX模式下。 　　或者使用工具如爱站工具生成robots,直接粘贴复制到网站后台。 　　检测robots是否生效： 　　在百度站长后台检测robots 　　二 robots和nofollow的区别是什么 　　robots只用于站内链接。禁止蜘蛛抓取进行收录； 　　nofollow的链接蜘蛛依然可以收录，但是不会传递权重，一般用于站外链接或者是公司电话，地址的页面有助于网址权重的集中。 　　三 网站误封robots后的处理 　　1.解封robots，然后到百度站长后台检测并更新Robots。 　　2.在百度站长后台抓取检测，此时显示抓取失败，通常更改完robots不会立即生效，需要等待几天，可以多点击抓取几次，触发蜘蛛抓取站点。 　　3.在百度站长后台抓取频次，申请抓取频次上调。 　　4.百度反馈中心，反馈是因为误操作导致了这种情况的发生。 　　5.百度站长后台链接提交处，设置数据主动推送（实时）。 　　6.更新sitemap网站地图，重新提交百度，每天手工提交一次。 　　四.新站robots的设置 　　对于已经上线但是还没有设置好的新站在robots中用 　　User-agent：* 　　Disallow:/ 　　来禁止蜘蛛进行访问 　　meta标签 　　meta robots 标签是页面head部分meta标签的一种，用于指令搜索引擎禁止索引（收录）本页内容。 　　meta robots 标签的写法： 　　 　　标签的意义：禁止所有搜索引擎索引本页面，禁止跟踪本页面上的链接。 　　Noindex：搜索引擎不索引此网页（可以抓取，但不出现在搜索结果中）。 　　Nofollow： 搜索引擎不继续通过此网页的链接索引搜索其它的网页。 　　=”robots”content=”noindex” > 　　标签的意义：禁止索引本页面，但允许蜘蛛跟踪页面上的链接，也可以传递权重。 　　使用了noindex meta robots标签的页面会被抓取，但不会被索引，也就是说页面URL不会出现在搜索结果中，这一点与robots文件不同。 　　meta robots 标签的作用： 　　1、不想让网站被收录使用meta robots 标签，禁止搜索引擎索引本页，同时禁止跟踪页面上的链接。 　　2、禁止索引本页面，但是允许蜘蛛跟踪页面链接，也可以传递权重。 　　meta robots标签很多搜索引擎是不支持的，只有少数搜索引擎能够识别并按给定的值抓取。因此还是推荐用robots.txt文件来限制抓取. 　　有违规记录的域名 　　有些站长会选择购买有一定注册年份的域名，但是需要注意这些域名是否曾经被搜索引擎惩罚过，如果这样，网站也是非常难收录的。 　　建议对于这种情况，站长可以查看一下网站日志，如果蜘蛛未爬取，只需要去站长后天提交即可。如果蜘蛛有爬取记录，但是没有收录，就可能是域名的问题。当然也不排除网站自身存在一定的问题。例如镜像网站等。 　　如何让网站收录 　　熊账号后台提交：熊账号对于原创文章的收录要求较高，但是通常首页的收录是非常快的，一般第二天就可以看到效果。而且熊掌号会显示不收录的原因，方便站长进行整改。

　　在做百度收录的时候，很多SEO新人总是在探讨SEO收录规则，实际上，万变不离其中，常见的SEO收录规则，总是那么几项，反复被提及，比如： 　　① 创建优质的内容 　　② 发外链，且是高质量的链接 　　③ 提高网站加载速度 　　④ 配置结构化数据的提交，比如：熊掌ID 　　⑤ 利用API接口，自动提交，制作sitemap网站地图等 　　但在实操的过程中，仍然有很多SEO收录规则是被忘记的，而它往往却起着决定性的作用。 　　那么，SEO收录规则，很少人知道的三个秘密是什么？ 　　根据多年做百度快速收录的经验，蝙蝠侠IT，将通过如下内容，进一步阐述： 　　1、网站的架构 　　对于新站而言，很少有新站长会关注网站架构信息，而实际上对于搜索引擎，评估整站的相关性以及更新频率与行业覆盖率，有着直观的作用。 　　因此，对于新站而言，SEO收录规则，最为首要的就是： 　　① 精简栏目，突出整站核心主题 　　② 使得栏目之间，具有一定逻辑结构 　　③ 优化栏目的URL结构，它包括：URL的长度、URL的唯一性、最好是伪静态 　　2、内容稀缺性 　　在做内容收录的时候，我们经常强调，要做高质量的内容，这是毋庸置疑的，它并不代表，你只要详细的针对某一个主题，进行多方面且相关性的阐述就可以了。 　　搜索引擎总是喜欢收录稀缺性的内容，并不喜欢围绕某些特征，陈词滥调的反复提及，即使是原创，也很容在索引与排序阶段，不能够有效的进入高质量库。 　　这个时候，你可能需要： 　　① 寻找行业鲜为人知，并不总是被提及的内容。 　　② 前期，尽量规避谈论行业热点。 　　③ 参考SERP，寻找TOP10的内容样本，寻找独特的角度。 　　3、社交媒体影响 　　一个网站的社交媒体影响力，相对于搜索引擎而言，是衡量站点影响力的一个重要参考指标，它理论上会逐年提高权重。 　　因此，对于SEO收录规则而言，我们认为，社交媒体的运营，是一个必不可少的环节。 　　你可能需要： 　　① 建立自有的官方媒体账号。 　　② 参与行业话题，提高媒体号的热度，比如：转发与评论。 　　③ 创建容易被收录的媒体文章。 　　总结：相对于SEO收录规则而言，对于常规的几项配置指标，我们仍然需要关注上述，鲜为人知，不经常被提及的问题，而以上内容，仅供参考。