直接的な解答ではなく申し訳ないのですが......。
当方、ハードウェアが非力なためハードウェアアクセラレーションの恩恵に浴していません(苦笑)。
単純に好奇心からご質問に関する事柄をざっくり調べてみましたが、残念ながら Firefox 側からご要望のようなコントロールを可能にするユーザー設定は(現時点では?)見出せませんでした。
例えば、Windows 環境なら DirectX 経由でハードウェアとのやりとりがおこなわれているようですから、DirectX 側で何かうまい設定がないかを捜してみましたが、これも見出せませんでした。
もしかしたら、グラフィックボード / ビデオカード(のドライバ)側のユーティリティ・ソフトで、特定のアプリケーションに対するリソース配分のコントロールをできるものがあるのかもしれませんが、こちらは探すこと自体に手がつけられませんでした。
(もしこのようなユーティリティがあるなら、個人的にはその方向からのアプローチがもっとも現実的かと思います。)
(参考)すでにご存知ならすみません。
・
Firefox 4: ハードウェアアクセラレーション << Mozilla Developer Street (modest)
*ここにある「ご協力のお願い」などに応じつつ、今後の Firefox に搭載してほしい機能などをリクエストしていくのは、エンドユーザーでも可能な開発協力になると思います。
ご希望の答えではないと思いますが、とりあえず以上です。的外れなことを書いてたらすみません。
(余談)
テーマから少しズレますが......。
ご要望の動機には共感できますが、この種の設定項目はけっこう "危険" な部類に属するのかもしれませんね。
このようなコントロールがアプリケーション側で可能だとしたら、例えばご質問とは逆にむやみにパフォーマンス向上を志向するユーザーが無謀に高い設定をおこなうようなことも考えられ、これはこれで危ないと思うわけです。
ハードウェアは、いちアプリケーションが専有するものではないため、原則的には OS のコントロール下で各アプリが利用すると考えるのが妥当ではないでしょうか。
各アプリからハードウェア自体の動作条件を任意に変更できるとしたら、それはそれで競合が起こりやすくなる気がしますし...。
Firefox については、ハードではなく Firefox 側のレンダリング処理をコントロールするユーザー設定を実装してもらえれば、少しはご要望にそうようになるかもしれませんね。