Fastladder の crawler のメモリ消費量 - 浅学少識日記帳

俺は Windows Server で利用している.で,勿論真っ先に確認したのは clawler を含む Fastladder のメモリ消費量だ.Windows の場合はサービスとして動作する Fastladder 用の Ruby.exe と crawler 用の Ruby.exe の 2 つがある.確認したときの結果は以下の通りだった.

• Fastladder サービス用 Ruby.exe のメモリ消費量 約 40MB
• clawler 用 Ruby.exe のメモリ消費量 約 60MB

両方を併せても約 100MB に収まっている.1GB や 700MB とかの尋常ではないメモリ消費量とは違う.プラットフォームによってメモリ消費量に大きくバラツキがあるのは何故だろうね…あるとしたらプロセス単位での実行かスレッド単位の実行か等の違いだろうか.

尋常じゃないメモリを食べるのはおそらく Favicon 取得のせい。
Favicon を利用しているサイトをクロールすると重くなる。
残りの数十 MB っていうのは RSS フィード本体による物だから、上記の場合は先日書いたハックはあんまり効果が無いのかもしれない。

最近は Favicon を取得しつつメモリは軽くしたいな、とか思ってるんですけど。
Favicon をメモリ上に持っちゃうからめちゃくちゃ重くなる。つまり、メモリに持たずに HDD に保存すればいいんですね。
いろいろソース見てたんですけど、複雑に絡み合ってて、直せるけど直すファイルが膨大で面倒な事に。

じゃあデータベースのデータが全部メモリ上にあるのが行けなくて、適宜スワップアウトするのはどうか lang:ja
Fastladder で使っている db は SQLite3
これの PRAGMA で cache_size とか設定できるらしいんだけども、Rails でどうすればいいかわからない。

ああ MySQL とかにするのはどうか → めんどい

わかんねー！助けてエロい人！