广州网站推广,广州SEO,广州网站建设

电话 : 020-8092 8113 手机/微信 : 189 2629 2763
  • 广州SEO
  • 万词霸屏
  • 客户案例
  • 联系我们
  • 扫描添加微信

    30秒获取报价:

    提交您的电话,免费赠送一年维护及关键词排名

  • 联系人*
  • 手机号*
  • 欧冠足球免费辅助让网站收录快速提升的

    您现在的位置:首页 > 新闻中心 > 公司新闻
    作者: 发布于:2019-3-13 10:32:00 点击量:

    在网站上线之前,我们要做一些操作,其中,有一项是很重要的,那就是robots.txt文件的设置,其实,robots文件的书写也是一种seo技术,有一定的技术含量。那么,下面顺时seo博客就来教大家robots.txt写法,让你的网站收录能够快速稳定的提升。

      什么是robots

      robots是Robots Exclusion Protocol的缩写,意思是“网络爬虫排除标准”,通俗的说就是爬虫协议或者是机器人协议,通常用名为robots.txt这样的文件来写这个协议,意在告诉搜索引擎,网站上哪些页面可以抓取,哪些页面不可以抓取。搜索引擎在访问网站时,会先查看robots.txt文件,遵守我们设置的robots协议进行页面的抓取,不过有些搜索引擎可能会不遵守robots协议而随意抓取我们网站的内容,我们将之称为流氓。注意:robots.txt文件必须放在网站根目录中。

      robots常见属性含义

      User-agent:用户代理,用于书写搜索引擎蜘蛛的名称,*代表所有的搜索引擎,写法是:User-agent: /*,注意冒号后面要有一个空格,如果是某个搜索引擎,那么,在冒号后面写上该搜索引擎蜘蛛的名称即可,如百度蜘蛛,则是:User-agent: Baiduspider。

      Disallow:用于告诉搜索引擎不可以抓取的页面。

      Allow:用于告诉搜索引擎可以抓取的页面。

      robots.txt常见写法示例

      1.所有搜索引擎可以访问网站所有页面:

      robots写法:User-agent: *

      Allow: /

      不让访问任何页面则把Allow换成Disallow

      2.某个搜索引擎可以访问网站所有页面:(以百度举例)

      robots写法:User-agent: Baiduspider

      Allow: /

      不让访问任何页面则把Allow换成Disallow

      3.限制某个目录不被任何搜索引擎抓取,以目录a举例:

      robots写法:User-agent: *

      Disallow: /a/

      4.限制某个路径不被任何搜索引擎抓取,以路径123.html举例:

      robots写法:User-agent: *

      Disallow: /123.html

      5.允许目录a中的1.html被抓取,目录a其他页面不被抓取:(部分目录中的页面允许抓取)

      robots写法:User-agent: *

      Disallow: /a/

      Allow: /a/1.html

      6.禁止访问以.html为后缀的路径:

      robots写法:User-agent: *

      Disallow: /*.html(*表示任意字符)

      7.禁止动态页面被抓取:

      robots写法:User-agent: *

      Disallow: /*?*

      8.禁止所有图片被抓取:

      robots写法:User-agent: *

      Disallow: /*.jpg$($表示结束字符)

      Disallow: /*.png$

      Disallow: /*.gif$

      Disallow: /*.bmp$

      Disallow: /*.swf$

      Disallow: /*.psd$

      注意:要将所有的图片格式屏蔽掉

      robots协议写法要点

      1.一个User-agent:代表一个协议,协议可以有多个,但是User-agent: *只能有一个;

      2.所有冒号后面必须有一个空格

      3.隐私文件一定要屏蔽抓取,比如网站后台,还有一些博客插件、模板等文件也要屏蔽抓取。

      射手座的爱是自由浪漫,他们不会想天长地久的爱情。他们喜欢刹那的激情,他们对待爱情是放荡不羁的,是洒脱自然的。射手座的男性 热情、乐观、总是满怀巨大的热忱。无论是在感情上,还是在思想上,射手男的视野总是向着新的地平线,向往着遥远的国度。 射手男的独立精神很强,喜欢我行我素,不愿受到别人的约束。感情上十分真诚,是个情感丰富的人,爱情很早就在你的心中燃起了绚丽多彩的火花。你的一生机遇横生,美好的爱情在期待着你。你对自己所喜欢的人会表现得十分无私和慷慨,并希望自己周围的每个人都能满意和幸福。

      当射手男拿起酒杯的时候,会对家庭和社会产生一种强烈的感情。射手男喜欢出主意,喜欢安排家人的生活,同时又尊重每个人的独立性和你们完全的行动自由。如果射手男的家庭生活是特别幸福和满意的,那么感情也是坚贞不渝的。射手男喜欢凡事来龙去脉都能一清二楚,不喜欢含糊其辞和模棱两可。

      狮子座们对待爱情是霸道强势的,是不可思议。绝对的控制占欲,不容爱情脱离他们的控制之外。对爱自由不羁的射手座们是不甘心被约束的,当爱变成牢房把他们关闭,他们会好不犹豫的离开你。狮子座的爱就是把小鸟关进牢房的爱。

      狮子女与射手男有同样慷慨的性格,对生活和崇高的事业有着共同的愿望。 速配结果 狮子座 .vs.射手座 你愈想绑着他,他愈想逃离。最好的方式是自由自在的交往,别期待太高,等他想定下来时,他自然会给承诺。 天长地久不适合射手座对狮子座们。烈火的对碰最后只会燃烧于尽,两败俱伤化为乌有。

      

    特别声明:本文为网易自媒体平台“网易号”作者上传并发布,仅代表该作者观点。网易仅提供信息发布平台。


    上一篇: mmd 003网站被百度降权?科学SEO诊断是关键
    下一篇: http www hunanzhibo com 设置404页面详细图文方法

    提交您的电话,免费赠送一年维护及关键词排名

  • 联系人*
  • 手机号*
    1. 首页
    2. 网站建设
    3. 网站推广
    4. 软件开发
    5. 案例展示
    6. 关于我们
    7. 联系我们

      扫码添加微信咨询

    Copyright 2008-2018信科网络科技有限公司广州分公司 Shenzhen Sinco Network Co., Ltd 严禁抄袭模仿本站 违者依法追究责任!粤ICP备14083186号-3

  • 拨打电话
  • 添加微信
  • 联系我们