userChrome.cssによる他のカスタマイズはすべて効いているので、userChrome.css が有効になているといえます。
また、本件のカスタマイズ部分に関しては、Windows版とまったく同じであり、Windows版・mac版ともにファイル末尾に付加しています。

私はmacを持っていないので検証できませんが、この部分が macだけ違っているというのも考えにくいように思います。
userChrome.css が有効になっているか、ファイルに不備（改行とか）は無いか確認してみてください。

mac版のFirefoxです。
タブバー右クリックメニューの「垂直タブをオンにする」というメニュー項目を非表示にすることはできないのか
間違ってクリックすることがあるから困る

以下のCSSは、Windows版では効果があったが、mac版では効かなかった
#toolbar-context-toggle-vertical-tabs, #sidebarRevampSeparator {
display: none !important;
}