ラベル file system の投稿を表示しています。 すべての投稿を表示
ラベル file system の投稿を表示しています。 すべての投稿を表示

2011年3月6日日曜日

btrfsの遅さは異常

新しいノートを買ったので、ubuntu-10.10を入れました。
ファイルシステムにbtrfs (v0.19前後)が使えたので、試してみました。

zfs, nilfs2と並んで、
スナップショットをネイティブサポートしたファイルシステムらしいので
あまり深い意味はなく試したのですが。

これがまた激遅い。

ノートが、core i5にしては安かったので、
最初は内蔵HDDが遅いのかと思っちゃってたのですが、
#あー、ここで価格を抑えてるのか、とか。
#他にも、キーボードがペタペタだったので。
#無線キーボード使ってるからいいんですが。

動画エンコード等をさせても、CPUをちっとも食わないので、
そこで気がついたわけですよ。

体感的に、ext3系の3倍(1/3というべきか)前後は遅い気がします。
btrfsのウリは、早さではないにしても、
正直、まだ実用ではないな、と思いました。

これを書いたのは2011年ですが、現在(2013年)もかなり怪しいらしい。

http://togetter.com/li/513383

http://d.hatena.ne.jp/meech/20130604/1370316162

時刻:
ラベル: ,

2010年7月17日土曜日

ハードディスク故障

ハードディスクが故障したっぽい。
カッコンカッコンという系。

と言っても、初体験ではありません。
人生的には、4台目ぐらいか？

中途半端な容量のIDEを、ドライブドアで繋げてる奴なのですが、
それの「どれか」が異音を発するようになりました。

linux用なので、ファイルシステムの選択肢は幾つもありましたが、
割と最近まで非ext3を使っていたのですが、


  • reiserfsは、どうも大量＆大型のファイルに弱いらしい、とか。
  • jfsは、ジャーナルからの回復が弱いらしい？マウントしてくれない？とか。
  • xfsも、「目が覚めるほど早い」って訳でも無いしCPU使用率がやや高い感じなので、


#これらは全て、運用上の感触です。何か本格的なテストをやったわけではありません。
全体のバランスから、ext3に戻した。つもりだったのですが。

折角だから、とfsck.ext3をやってみると？

でるわでるわbad allocationが。
ビビって途中で止めました。

ここまで壊れると、
bad blockを頑張って避けるext3より、
諦めるxfs等の方が正解なのか？
という気がしてきました。

以前の故障の時は、同容量のドライブを買ってきて、
ディスクイメージをそのままコピー、ドライブドアの該当と差し替える、
という乱暴な運用でしたが、結構やっていけてました。
当時は、reiserfs/xfsだから出来た。のかも知れません。

とは言え、もう250GB世代のIDEドライブなんか手に入らないだろうし、
ボチボチあいつら(ドライブドア＋中身)も引退でしょうか。
時刻:
ラベル: ,

2010年5月4日火曜日

ext4は、まだ仕事に使うには危険かも 2010年

まったくの別件の検索中、
いつのまにかubuntu 9.10でext4を使えることに気づきました。

/proc/filesystems を見ると、確かにext4が居ます。
入れた覚えが無いんだけどなー、と思ってたら、
カーネルに組み込みらしい。

ubuntu-9.10からは、新規インストールの
デフォルトのファイルシステムがext4になっちゃったらしいですが、
筆者は、惜しくも？ ubuntu-9.04だったので、
ext3で据え置き。だったらしい。

パフォーマンスもxfsに匹敵もしくは凌駕してるらしい。
http://www.phoronix.com/scan.php?page=article&item=ubuntu_ext4&num=4

と良い事づくめな感じを漂わせつつ。
実は、ファイル消失の危険が幾つかあるらしい。
https://wiki.ubuntu.com/JauntyJackalope/ReleaseNotes/ja#ext4%E3%83%91%E3%83%BC%E3%83%86%E3%82%A3%E3%82%B7%E3%83%A7%E3%83%B3%E3%81%AE%E3%83%AA%E3%82%B5%E3%82%A4%E3%82%BA%E3%82%92%E8%A1%8C%E3%81%A3%E3%81%9F%E5%A0%B4%E5%90%88%E3%80%81%E3%83%87%E3%83%BC%E3%82%BF%E3%82%92%E6%B6%88%E5%A4%B1%E3%81%99%E3%82%8B%E5%8F%AF%E8%83%BD%E6%80%A7%E3%81%8C%E3%81%82%E3%82%8A%E3%81%BE%E3%81%99

うーん。


ext4は、2008年のリリースから2年が経ちましたが、
残念ながらまだまだ枯れてない模様。

ext2からext3への移行は、比較的穏便だった気がしますが、
wikipedia的に書くことが少ないみたいですし。

しかし、あちこちの記述を見ると、
ext4は、大規模な機能追加やら強化やらをやっちゃったらしいですね。

後発の、と言うか、参入組のファイルシステムに負けが混んでたし、
不良セクタに対応しているのは、extシリーズ位なので、
高速になってくれれば、それに越したことはないのは確か。

ext3は2001年リリースらしいので、
大規模バージョンアップの潮時ではあったと思います。

ubuntuが油断して、デフォルトにしちゃう位だったのに、
流石はファイルシステム、2年ぐらいじゃ枯れませんか。

もう1年ぐらい待つかー。と思う次第です。

時刻:
ラベル:

2010年4月28日水曜日

nilfs2 の運用で要注意

フツーに運用するだけで、
勝手にバックアップ(厳密にはスナップショット)を取ってくれるという
便利この上ないファイルシステム。
linuxでだけ稼働します。まあ役得でしょう。

筆者は、現状　二つのパーティションをnilfs2で運用中ですが、
うち1パーティションを、xfsに移すことにしました。

数百MBオーダのファイルの取扱いが苦手っぽいのと、
パーティションが100％近くなってきたのが理由です。

新しいドライブを買ってきてxfsでフォーマット。
とりあえず機械的に移動開始。

find . -type d -exec mkdir /NEWPARTITION/\{\} \;
find . -type f -exec mv -v \{\} /NEWPARTITION/\{\} \;


その過程で、弱った事態が発生。

nilfs2は、パーティション(の)ルートに、
".nilfs"というファイルがあるのは
使ってる人ならご存知だと思いますが。

  • 消せます。
  • しかし、削除すると、lscp等が動かなくなります。
前述の、別パーティションへのデータの引越し中、
/.nilfsをmvしちゃったから、アラ大変。
どうやら、ガベージコレクションも止まっちゃう模様。

100％に成る前なら、手動で、"/.nilfs"を作成すれば済む話ですが、
成っちゃったら、最後

  • .nilfsを作成できない
  • .nilfsが無いので、ガベージコレクションが稼働しない。
  • ガベージコレクションが稼働しないので100％のまま。

という、それはそれは恐ろしいスパイラル発生。

そんなに大事なら、何らか救済処置が必須だった筈。

  • 削除できないようにしておく
  • mountしなおしたら勝手に復活


仕方がないので、rsyncで、不足ファイルをコピー中。
もう、移転は最後までやり切っちゃうしかありません。
完全に後に引けなくなりました。

結論として、
容量ギリギリまで使っちゃいそうなパーティションには、
nilfsは使っちゃ駄目！ということになっちゃいそうです。

時刻:
ラベル:

2010年4月19日月曜日

linuxのファイルシステム

前フリは辞めて、reiserfs jfs xfs の運用経験を述べます。

reiserfs
ライザーさん作。
自分の名前をつけるなんて素晴らしい度胸です。
小さいファイルを扱うのに特化、と言っちゃって良いでしょう。
一方、数百メガ単位のファイル群の大量に扱うディレクトリは、
苦手っぽいです。
大量のファイルが入っているディレクトリを検索するのが苦しそう。
CPUパワーもやや食ってる感じ。
明確な長所は、フォーマット(初期化？構築？)がやたら早いことですね。
500GBのパーティションを30秒で終わります。
#他のファイルシステムは1分以上掛かります。

現在カーネルに入ってるのは、reiserfs3.6だかですが、
4の時に、カーネルパッチ責任者(?)と揉めたりとか、
ライザーさんが逮捕されちゃったりとか。
メンテナンスをしているnamesys社のサイトも
今は存在してません。

色々不遇。

jfs
IBM製。
正式にunicodeサポートをしているので、
euc-jpベースのVinelinux3.6から、utf-8ベースのubuntuへの
ファイル移動に使ったりもしました。
ですが、ファイルシステムエラーが有ると、mountを諦めます。
書き込んだシステムと、読み出すシステムが違うから？？
jfsckをやればまあ復活はするんですが
そんなもん勝手に修復してくれよ、と思う。

xfs
シリコングラフィックス社製
現状では一番信用してます。
数百メガ程度のファイル群を大量に扱っても、余裕な感じ。

と言うわけで、
巷のベンチマークテストを見ると、概ねreiserfsの勝利な感じですが、
総合性能で行くと、xfs だろうか。と思う次第です。

時刻:
ラベル: ,

安全なファイルシステムとは

筆者が3年間ぐらい考えてるのが、
「安全なファイルシステムとは何か」です。
いや済みません。別に作ったりとかしてないです。
時間と実力は無いので。

期待している「安全」には幾つか「層」があって、

  • ハードウエア故障からの回復
  • ソフトウエア故障からの回復
  • 人的ミスの回復
前二つについては、幾つか方法があるので、
今回は割愛＆あるいは別エントリを書きます。

人的ミスとは、つまり「間違って削除しちゃった」です。
人間は間違えます。
コンピュータは、人間が間違えたとおりに実行するだけです。

大抵は、削除しちゃった直後に自分で気がつくので、
「本当に削除する前の執行猶予」があれば
概ね上手くいきそうです。

「ごみ箱」もその手段の一部ですが、
人間に丸投げなので、解決には至りません。
また「「ごみ箱」に移動しない」方法も依然として有るので、
形骸化していると言えます。

その証拠が、ファイル復旧プログラムの存在ですね。

ハードウエア故障の懸念もあるので、
世間一般には「バックアップしようね」って事になってますが、
「間違って消す人間」はほとんどバックアップなんかしません。

ここまで否定的な話が続きましたが、
実は筆者自身が「間違って消す人間」なので、
馬鹿にしてるわけではありません。

やはり、運用上は、極めてフツーに使えて、
「消しちゃった！」時にサラリと復活できるのが理想です。

MacOS では、10.5以降、"time machine"を内蔵しました。
自動バックアップシステムらしい。

商用OSでコレが付くのは珍しいと思います。
復活の操作方法も、流石のMacOS。恰好良いですね。

筆者が常用しているのは、ubuntuです。
ファイルシステムでの解決策が幾つかあります。
zfs_fuse と nilfs2 です。いずれも2ヶ月以上は試してはみました。

zfs そのもので言えば、ストレージプールの発想は
やはりエンタープライズ向きでしょう。
個人ベースでやっても混乱するだけです。

筆者が試したのは2009年夏で、当時の選択肢としては、
他にOpenSolarisとFreeBSD-8が有りましたが、

OpenSolarisは、用意していたサーバ用PCでは
インストーラがまず起動せず断念。

FreeBSD-8は当時はまだリースしてませんでした。
今はリリースしてるけどZFSはno longerでexperimetalですと。
仕事のデータは入れられないなあ。

OpenSolaris版もFreeBSD版も、
zfsそのものの事情は一緒で、
メモリを大量に確保しないと落ちる。らしい。

zfs_fuse特有の欠点として、
fuse上で再現したものなのでnfsサーバ側で使えない上に、
linux上では、マジックナンバーがぶつかるらしく、
xfsと同時には使えません。
2008年で開発が止まっちゃってるのも残念。

nilfs2は、コンセプトは期待通りなのですが、
明確な欠点があり。
ただ巨大なファイルの削除と更新が、恐ろしく遅いです。
リネームも遅かったと思った。
「裏で、なんか色々コピーしてるなー」、と実感できる遅さ。

スナップショットの参照は、マウントオプションで指定するのですが、
デバイス名が本体と一緒なので、本体のマウントを一旦外さないと、
正常にスナップショットの中身が参照できません。

現状、
1TBと500GBの二つのパーティションはnilfs2で据え置きですが、
数百メガ単位のファイルを扱うと、絶望的な遅さです。
心が折れてきて、片方をxfsに移そうかと思っているところ。

時刻:
ラベル: ,
登録: 投稿 (Atom)