ぼくが熱心な Mac ユーザーだったのは 漢字Talk 時代までなので、近年の Mac OS X 事情についてはとんと疎いのですが......。
Mac 環境の Java は、Sun (現 Oracle)からではなく Apple から Java for Mac として提供されていたと思います。
で、Apple のサポートページ
Java for Mac OS X 10.5 Update 8 について を読んでみると、「この J2SE 5.0 のリリースは、すべての Intel および PowerPC ベースの Mac に対応しています。Java SE 6 は 64 ビットの Intel ベースの Mac 専用です」と書いてありました。
これは、J2SE 5.0 は 32bit 版が提供されているが、Java SE 6 は 64bit 版が提供されてるという意味ではないでしょうか?
もしそうなら、Mac OS X 10.5 は、32bit / 64bit の両方を扱える OS だと記憶していますので、通常は利用するプログラムが 32bit か 64bit かをあまり意識しないですむのかもしれませんが、今回はそれではすまない事例だと思います。
お使いの Firefox 3.6.xx は、公式ビルドであるならば 32bit アプリケーションです。
この Firefox が呼び出して Firefox 内で使えるのは、上記の記述から考えると J2SE 5.0 しかないといえます。
一方、Java SE 6 が 64bit 版なら、これを 32bit アプリの Firefox が呼び出して Firefox 内で使えないのは仕方ないと思うのですが、いかがでしょうか?
どうしても Java SE 6 を使う必要があるなら、Safari を使うか、非公式ビルドの Mac 用 64bit 版 Firefox を使うか、自分で 64bit 版をビルドするか、そのあたりが選択肢になろうかと思われます。
Mac 版の Firefox + Java for Mac OS X を試せる環境がなく具体的なことはわかりませんから、Mac ユーザーの方からアドバイスが寄せられるのを待っていただくとして、とりあえず話の接ぎ穂程度にはなろうかと、コメントさせていただきました。
外してたらすみません。