A-A+
七牛云储存的robots设置
七牛云储存这一年多以来,很多blog、个人网站使用其免费的cdn额度。我是在去年7月,配合WP Super Cache的cdn功能,注册并使用了七牛云。
实话说,由于良好的加载速度,和宽容的免费流量额度,我也逐渐放弃了自己搭建图床,而直接使用wordpress上传并镜像到七牛云。
当然这其中,也对七牛云的镜像站点功能心存疑惑,毕竟存在一个和风向吧主站相同内容的镜像站,还是令人有所不安,对于搜索引擎也非常不友好。比如说打开:https://fengxiangba.com和打开http://fengxiangba.qiniudn.com所呈现的内容、页面完全一致,肯定不是很爽的事情。
上七牛的官网搜索查阅了一圈相关内容,终于还是在绑定镜像源项目下,看见了相关提示及解决方案,因为我注册、绑定的比较早,所以在当时并没有能够关注到这么重要的提示内容。
其实解决方法就是屏蔽各种搜索引擎爬虫对于镜像页面的索引,具体的robots内容如下:
# robots.txt generated at http://portal.qiniu.com User-agent: Baiduspider Disallow: / User-agent: Sosospider Disallow: / User-agent: sogou spider Disallow: / User-agent: YodaoBot Disallow: / User-agent: Googlebot Disallow: / User-agent: Bingbot Disallow: / User-agent: Slurp Disallow: / User-agent: MSNBot Disallow: / User-agent: googlebot-image Disallow: / User-agent: googlebot-mobile Disallow: / User-agent: yahoo-blogs/v3.9 Disallow: / User-agent: psbot Disallow: / User-agent: * Disallow:
最后,好的服务不怕被推荐:带我的推荐码尾巴
才发现我的也还没有设置,按你的方法更新了下
没设置的,都是早期用户,这个应该是官方近期添加的,估计是对搜索引擎有所影响。
嗯, 对搜索引擎确实不好, 存在两个一模一样的站。。
写的不错,支持!禁止蜘蛛抓取是一个非常好的办法,robots设置好就可以了。
按照七牛这样设置,被搜索引擎K站是必然的,因为搜索引擎抓取的图片也是七牛的,而七牛的robots文件被禁止后,后果是什么,自己去想把!
博主你好,我訪問你的博客速度非常快,能否試你幫個忙把 https://i.nfil.es/87pF9w.js 這個文件托管在你的七牛嗎?我只需要引用就可以了,非常感謝。請回復我的郵箱3169962446@qq.com
七牛的robots一直不好设置
博主你好,能否幫忙更新下similar.js這個文件(http://i.nfil.es/KqGhFV.js)?謝謝!