(前置き)
公式のアナウンスでは、Firefox のシステム要件は次のように書かれています。
https://www.mozilla.org/en-US/firefox/3 ... uirements/実際には、記載外の OS やハードウェア条件でも動作するケースはありますし、記載内の条件でも正常に動作しないケースはあります。
ただ、いちおう公式に明示されていることなので、目安にしてください。
(本題)
ストレートに原因と対策がわかるわけではありませんが、現状で起こっている症状を起点に、問題点の切り分けを進めてみてはいかがでしょう。
同じネットワーク環境で、Windows Server 2008 R2 SP1 以外の OS(例えば Windows 8.1)を使えるなら、そこに Firefox 39.0 を入れ、YouTube の動画が正常に再生できるかどうかを比較・検証することで、OS のバージョンに依存した問題かどうかを、ある程度切り分けられるのではないでしょうか。
同様に、Windows Server 2008 R2 SP1 に Firefox 38.1.0 ESR など 39.0 以外の Firefox を入れ、YouTube の動画が正常に再生できるかどうかを比較・検証することで、同一 OS 上における Firefox のバージョンの違い起因する問題かどうかを、ある程度切り分けられるかもしれません。
すでにご覧になっているかもしれませんが、「動画が再生できない」の一般的なヘルプ記事は、次を参考にしてください。
(参考)・動画や音声が再生されない | Firefox ヘルプ
https://support.mozilla.org/ja/kb/fix-c ... deo-issues比較のために当方の動作状況を書いておきます。
Windows 8 Pro 64bit / 7 Home Premium 64bit SP1 の2つの OS に入っている Firefox 39.0 / 38.1.0 ESR の組み合わせのすべてで、HTML5 Player でも、Flash Player (18.0.0.209) でも、YouTube の動画は正常に再生できています。
ストレートな解決策でなく申し訳ありませんが、とりあえず以上です。役に立たない話だったらすみません。