S3QLすごい

姫野さんに さくらのナレッジで
S3QLでさくらのオブジェクトストレージサービスをローカルマウントしてみよう - さくらのナレッジ

「S3QLでさくらのオブジェクトストレージサービスをローカルマウントしてみよう」
と言われたので、
さくらのオブジェクトストレージをローカルマウントしてみました。
　
インストール手順はほぼ記事どおりでいけました。
以前にs3fsを入れたときに fuseの新しいバージョンインストールしてたので、
yumでのfuseインストールを省略したら pythonのeasy_installでllfuseが入らなくて とまどったくらい。
　
いや、S3QLすごいです……。
マウントしたドライブにrsyncで200GBくらいファイル放り込んでみましたが、何の問題も無く完了しました。
ファイル数にして50万くらい。1ファイルあたり最大のものは1G。
転送に掛かった時間は8時間ほどでした。
　
以前にさくらのオブジェクトストレージでs3fs使ったときは、1時間経たずに 途中で止まっちゃったんですよね。
それで実用はあきらめていたのですが、s3qlだとまったく問題なく使えそうです。
　
白眉なのが、ストレージの使用量！
計200GBちかく転送したのに、さくらのコントロールパネルで見ると 70GB程度しか使われてない！！
540円に収まってるよ！！！ 神だ！
画像ファイルも結構入ってたと思うんだけど・・・あまりに使用量が少なくて逆に不安になる。
圧縮込みで、50万ファイル200GBを8時間で転送してくれるレベルなら速度も支障なし。

ただ、やはりCPUとメモリは結構使います。
転送中はLoad average 3～くらいをキープしてました。
テンポラリディスクも1GBくらい使ってたようですが、こちらは転送が終わるとまもなく戻りました。

あとはなんだろう、独自ファイル形式なので ファイルシステムが壊れないか不安なのですが、
オブジェクトストレージで更にバックアップ取るのも変な気がするしなあ。