はじめまして Hayama です。
thunderbird バージョン 2.0.0.12 (20080213) をwindows/XP
で使用しています。

s/mime の暗号化アルゴリズムを rc2 から他の方法に
変えることは出来ないでしょうか。

s/mime でサインをした場合は問題ないのですが、s/mime で
暗号化したときに rc2 で暗号化されるため gnupg の gpgsm を
使用しているメールアプリケーションで復号出来ません
(gnupg の gpgsm には rc2 が実装されていません)。

設定エディターで rc2 を探してみると３行表示されるのですが
s/mime との関連は判りませんでした。

S/MIMEの内部的な話しは詳しくはないんですが...

S/MIMEの暗号化アルゴリズムって相手から受け取っている証明書に書いてあるんじゃなかったでしたっけ？
証明書の中に証明書所有者が復号可能なアルゴリズムが列挙されていて、送信者はその中から送信者が利用可能なアルゴリズムで暗号化するものだと思っているのですが。

証明書所有者が証明書の作り方を間違えているのではないかと思うんですが、、、、違うかなぁ