最新公告
  • 欢迎您光临,本站秉承服务宗旨 履行“站长”责任,销售只是起点 服务永无止境!立即加入我们
  • 建站过程中有很多问题啊,不懂!不是搜索就是询问别人,所以自己遇到得一些问题,发出来做个备份,也分享给大家参考!

    一、什么是Robots.txt?

        我相信很多站长都不太明白这个,到底怎么用,其实Robots.txt 是存放在站点根目录下的一个纯文本文件。虽然它的设置很简单,但是作用却很强大。它可以指定搜索引擎蜘蛛只抓取指定的内容,或者是禁止搜索引擎蜘蛛抓取网站的部分或全部内容。

    当搜索蜘蛛访问这个站点时,它会首先检查该站点根目录下是否存在robots.txt,如果存在,搜索蜘蛛就会先读取这个文件的内容所以Robots.txt 文件应该放在网站根目录下,并且该文件是可以通过互联网进行访问的!


    二、robots怎么写,在这里给大家参考下!


    User-agent: * 这里的*代表的所有的搜索引擎种类,*是一个通配符
    
    Disallow: / 这里定义是禁止爬寻站点所有的内容
    
    Disallow: /admin/ 这里定义是禁止爬寻admin目录下面的目录
    
    Disallow: /ABC/ 这里定义是禁止爬寻ABC目录下面的目录
    
    Disallow: /cgi-bin/*.htm 禁止访问/cgi-bin/目录下的所有以".htm"为后缀的URL(包含子目录)。
    
    Disallow: /? 禁止访问网站中所有包含问号 (?) 的网址
    Disallow: /.jpg$ 禁止抓取网页所有的.jpg格式的图片
    Disallow:/ab/adc.html 禁止爬取ab文件夹下面的adc.html文件。
    Allow: /cgi-bin/ 这里定义是允许爬寻cgi-bin目录下面的目录
    Allow: /tmp 这里定义是允许爬寻tmp的整个目录
    Allow: .htm$ 仅允许访问以".htm"为后缀的URL。
    Allow: .gif$ 允许抓取网页和gif格式图片
    Sitemap: 网站地图 告诉爬虫这个页面是网站地图

    免责声明:
    1. 本站所有资源来源于用户上传和网络,如有侵权请邮件联系站长!
    2. 您必须在下载后的24个小时之内,从您的电脑中彻底删除上述内容资源!
    3. 如果你也有好源码或者教程,可以到审核区发布,分享有NB奖励和额外收入!
    4. 本站提供的源码、模板、插件等等其他资源,都不包含技术服务请大家谅解!
    5. 如有链接无法下载、失效或广告,请联系管理员处理!
    6. 本站资源售价只是赞助,收取费用仅维持本站的日常运营所需!
    7. 本站不保证所提供下载的资源的准确性、安全性和完整性,源码仅供下载学习之用!
    8. 如用于商业或者非法用途,与本站无关,一切后果请用户自负!
    9. 如遇到加密压缩包,默认解压密码为"www.flzyz.com",如遇到无法解压的请联系管理员!

    福利资源站 » 【wordpress教程】网站下得robots.txt有什么用|如何去写robots

    常见问题FAQ

    免费下载或者VIP会员专享资源能否直接商用?
    本站所有资源版权均属于原作者所有,这里所提供资源均只能用于参考学习用,请勿直接商用。若由于商用引起版权纠纷,一切责任均由使用者承担。更多说明请参考 VIP介绍。
    提示下载完但解压或打开不了?
    最常见的情况是下载不完整: 可对比下载完压缩包的与网盘上的容量,若小于网盘提示的容量则是这个原因。这是浏览器下载的bug,建议用百度网盘软件或迅雷下载。若排除这种情况,可在对应资源底部留言,或 联络我们.。
    找不到素材资源介绍文章里的示例图片?
    对于PPT,KEY,Mockups,APP,网页模版等类型的素材,文章内用于介绍的图片通常并不包含在对应可供下载素材包内。这些相关商业图片需另外购买,且本站不负责(也没有办法)找到出处。 同样地一些字体文件也是这种情况,但部分素材会在素材包内有一份字体下载链接清单。