Rubyのインストールするならapt-get install ruby1.8-dev

タイトルのまま。
注:ruby 1.8時代の話です

apt-get install ruby1.8-dev

devパッケージじゃないとPassengerやらインストールするときにライブラリが足りなくなるらしい。あーもう慣れないUbuntu

ここらへんのからみ、以下のエントリがすごく役に立ちます。
Passenger (mod_rails for Apache) を使ってRedmineを動かしてみたよ! - 元RX-7乗りの適当な日々