A-A+

七牛云储存的robots设置

2014年07月07日 分享 评论 8 条 阅读 1,007 次

七牛云储存这一年多以来,很多blog、个人网站使用其免费的cdn额度。我是在去年7月,配合WP Super Cache的cdn功能,注册并使用了七牛云。

实话说,由于良好的加载速度,和宽容的免费流量额度,我也逐渐放弃了自己搭建图床,而直接使用wordpress上传并镜像到七牛云。

当然这其中,也对七牛云的镜像站点功能心存疑惑,毕竟存在一个和风向吧主站相同内容的镜像站,还是令人有所不安,对于搜索引擎也非常不友好。比如说打开:http://fengxiangba.com和打开http://fengxiangba.qiniudn.com所呈现的内容、页面完全一致,肯定不是很爽的事情。

上七牛的官网搜索查阅了一圈相关内容,终于还是在绑定镜像源项目下,看见了相关提示及解决方案,因为我注册、绑定的比较早,所以在当时并没有能够关注到这么重要的提示内容。

2014-07-07_201706

其实解决方法就是屏蔽各种搜索引擎爬虫对于镜像页面的索引,具体的robots内容如下:
# robots.txt generated at http://portal.qiniu.com
User-agent: Baiduspider
Disallow: /
User-agent: Sosospider
Disallow: /
User-agent: sogou spider
Disallow: /
User-agent: YodaoBot
Disallow: /
User-agent: Googlebot
Disallow: /
User-agent: Bingbot
Disallow: /
User-agent: Slurp
Disallow: /
User-agent: MSNBot
Disallow: /
User-agent: googlebot-image
Disallow: /
User-agent: googlebot-mobile
Disallow: /
User-agent: yahoo-blogs/v3.9
Disallow: /
User-agent: psbot
Disallow: /
User-agent: *
Disallow:

最后,好的服务不怕被推荐:带我的推荐码尾巴

 

8 条留言  访客:7 条  博主:1 条

  1. 阿樂

    博主你好,能否幫忙更新下similar.js這個文件(http://i.nfil.es/KqGhFV.js)?謝謝!

  2. 男士笔记微博

    七牛的robots一直不好设置

  3. 阿樂

    博主你好,我訪問你的博客速度非常快,能否試你幫個忙把 https://i.nfil.es/87pF9w.js 這個文件托管在你的七牛嗎?我只需要引用就可以了,非常感謝。請回復我的郵箱3169962446@qq.com

  4. 续笔记

    按照七牛这样设置,被搜索引擎K站是必然的,因为搜索引擎抓取的图片也是七牛的,而七牛的robots文件被禁止后,后果是什么,自己去想把!

  5. 网站基础优化

    写的不错,支持!禁止蜘蛛抓取是一个非常好的办法,robots设置好就可以了。

  6. Luckerme

    才发现我的也还没有设置,按你的方法更新了下

    • 靖哥哥

      没设置的,都是早期用户,这个应该是官方近期添加的,估计是对搜索引擎有所影响。

      • Luckerme

        嗯, 对搜索引擎确实不好, 存在两个一模一样的站。。

给我留言

Copyright © 风向吧 保留所有权利.   Theme  Ality

用户登录

分享到: