猛买网张磊:基于又拍云存储解决静态文件存储问题

阅读数:4705 2012 年 4 月 5 日

话题:DevOps语言 & 开发

今年秋天,我加入猛买之后,遇到的第一个挑战就是图片托管。当时,网站流量快速增长,原有服务器几次增加带宽依然无法满足需求,流量常常跑满。现在回头总结一下,像我们这样的小公司,自己维护静态资源服务器大致有这些不爽:

  • 峰值带宽决定大部分成本

    如果峰值带宽在 20Mb,那就得买 20Mb,哪怕在凌晨只有几百 Kb。
  • 运维的成本不可忽视

    除了买带宽,还得时时处处留意服务器运行情况、网卡流量、安全状况等,也需要持续投入。
  • 单机达不到 CDN 的功效

    虽然我们用的机房速度和稳定性都不错,但毕竟是单机,无法保证全国各地的访问速度。

后来,我通过@Fenng联络到了@gofeeling和又拍,正赶上又拍云处在最后测试阶段,我们成了又拍云第一批用户。又拍云(以下简称为 UpYun)恰好为我们解决了上面的问题。

  • 按需付费,带宽需求再高,也只需要按流量付费,据粗略计算成本低至原先三成;
  • 抛开运维负担,如不放心,配置几个 URL 监控即可;
  • CDN 不再是问题,不同地区的用户都能享受到最好的访问速度。

在两个月的使用过程中,UpYun 确实出现过 2 次不稳定的状况,但又拍同学们都很及时地解决了。正式上线后,稳定性极佳,到目前为止可用率高达 100%。

这篇文章主要是从用户的角度谈谈 UpYun 的特点和使用技巧,让对 UpYun 感兴趣的朋友们更好地了解这个平台,可以加深了解,更好地使用它。 UpYun 目前提供的是文件存储 +CDN 的服务,可以认为是 AWS 的 S3+CloudFront,但实际用起来,有些细节上的不同。

0、与众不同的 Bucket

和一般云存储服务提供的 Bucket 不同,UpYun 中的 Bucket 分为文件类和图片类。文件类 Bucket 可以存放任何文件;图片类 Bucket 仅能存放图片文件,妄图上传其他类型会被拒绝。每个 Bucket 都可以绑定多个域名。



 

1、文件增量同步

使用第三方服务托管静态资源,都会有文件同步的需求。那么,放在主服务器的文件,如何同步到 UpYun 呢?又拍官方提供了两种方式:FTP 和 API。API 功能强大,但是需要做开发,目前还没人开发出类似s3cmd这样的工具;FTP 命令功能有限,想用原生的几个命令辗转腾挪实现 sync 很费劲(不切实际地想,如果支持rsync就好了)。

我们在实际使用时,利用了lftp的 mirror 命令,通过 FTP 协议实现了文件增量同步。再配合 crontab,就能做到定时增量同步了。这样既避免了投入精力围绕 API 做开发,又能达到 rsync 的效果。下面是一个脚本示例供参考:

#!/bin/bash
HOST=”v0.ftp.upyun.com”
USER=”username”
PASS=”password”
LCD=”localpath”
RCD=”remotepath”
lftp -c “open ftp://$HOST;
user $USER $PASS;
lcd $LCD;
cd $RCD;
mirror –reverse \
–delete \
–dereference \
–verbose \
–exclude-glob=*.php”

2、缩略图功能

肯德基说“We do chicken right”,又拍的兄弟们完全可以自豪地说“We do pictures right”。UpYun 的图片类 Bucket 有一个高级功能,那就是自动生成指定尺寸缩略图。

在 Web 页面上如果出现大图小用,不仅浪费流量,也会导致用户浏览器缩小图片从而影响前端性能(小图大用的情况就不用说了吧)。这时,UpYun 的缩略图功能就派上用场了。



 

设置完成后,只要上传一张原图,UpYun 可以按需生成多张不同尺寸的缩略图(如果没有请求是不会生成的,这样可以节约空间)。

下面是 3 个不同尺寸的缩略图:

  • 150px 宽 
  • 200px 宽
  • 310px 宽 

要拥有这些缩略图,只需要上传一张原图:



 

又拍云可通过不同的 URL 得到不同尺寸的缩略图(感兴趣的话可以看看上面几幅图的地址)。是不是有点像淘宝的图片服务器?缩略图功能依然是按照使用的空间和产生流量收费,无额外费用。

3、数据备份

很多公司需要备份各类数据,这种需求也可以利用 UpYun 的文件 Bucket 来满足。当然,首先要将其设为私有,从而使外部无法访问。如图

设为禁止外链后,这个 Bucket 就可以用来安全地存放数据备份了。需注意目前对单个文件有最大 100MB 的限制。

除以上功能外,UpYun 还提供了直观的流量统计图表,如图:

后台还有很多其他功能,就不一一截图了。

CDN 也很赞,在国内不同位置获得的 IP 也不同,而且速度都不错。如图:

看完这些是不是心动了?产品给力,服务更没的说。快到 UpYun申请试用吧。如果感兴趣请在微博或 Twitter 找 @blogkid 索要优惠码,可以为你节约 5%。