JavaScript の（だけでなく他も）専門的なことは知らないのですが、手持ちの空き時間にやったテストの報告を......。

Windows XP SP3 + Firefox 4.0.1 の環境において、ごく単純にこの↓スクリプト

window.open("./newwindow.html", "", "width=300, height=500");

で新しく開くページ（newwindow.html）に

document.write(window.innerWidth);
document.write(window.innerHeight);

を記述しておいて、オープンされたウィンドウのサイズ取得を試してみました。

テーマや拡張機能をあれこれ入れたり、ユーザースタイルをいじった Firefox 4.0.1 では、その適用状況に応じて innerWidth や innerHeight の取得値が微妙に変動したのですが、セーフモードおよびテスト用に作った新規プロファイルでは、すべて 300 / 500 で取得できました。

これは、Firefox 3.6 系でも同様の結果でした。
JIT コンパイラの有効・無効のパターンを組み合わせて試すところまではやっていません。

即席なテストなので信憑性はさだかではありませんが、どうも Firefox をカスタマイズした条件が影響しているような感じです。技術的なことはわかりませんけど...（汗）。

役立たずな報告かもしれませんが以上です。　的外れなことを書いてたらすみません。

（参考 - Mozilla の開発者向けドキュメント）　すでにご存知なら余計なお世話でした...。
・[url=https://developer.mozilla.org/ja/JavaScript]MDC > Docs > JavaScript[/url]
・[url=https://developer.mozilla.org/ja/DOM/window.innerHeight]MDC > Docs > DOM > innerHeight[/url]
・[url=https://developer.mozilla.org/ja/DOM/window.innerWidth]MDC > Docs > DOM > innerWidth[/url]

環境：
Firefox4.0
Windows7 Professional バージョン6.1

JavaScriptでwindow.open関数に幅：300、高さ：500を指定して開いたサブウィンドウに対して、
window.innerWidth、window.innerHeightで幅、高さを取得したところ、下記の通りでした。
幅：298
高さ：498

幅、高さともにビューポート境界に表示されるグ4.レーの線分(2ピクセルずつ）少ない値が返却されます。

Firefox3.6ではこの線は表示されず、window.innerWidth、window.innerHeightからは300、500が返却され問題ありません。

この事象をFirefox4.0の場合のJavaScriptの仕様と考えたらよいのかどうか判断つかないでおります。なお、Firefox4.0のリリースノート、Bugzillaのレポートは検索しましたが、該当事象はありませんでした。どなたかご教授していただければ幸いです。よろしくお願いします。