自分のサイトのHTMLが原因との事で解決と云う流れですが、此の際HTMLの勉強を改めてしては？
オーサリングツールに頼るのでは無く手打ちでのコーディングの勉強が確実です。
遠回りでも一番の早道です。

まず、お勉強してください。
ヘタに作れば、「踏み台」になりかねません。

とりあえず、この[url=https://bugzilla.mozilla.org/buglist.cgi?bug_status=RESOLVED&bug_status=VERIFIED&bug_status=CLOSED&f1=target_milestone&f2=cf_status_firefox22&o1=anywords&o2=anywords&resolution=FIXED&v1=mozilla22%2C%20Firefox%2022&v2=fixed%2Cverified&order=bug_id&limit=0]リスト[/url]がFirefox 22で修正された全バグです。
関連バグがあるかもしれませんので、お時間があるようなら探してみるといいかもしれません。

なるほど、HTMLの不具合でしたか。気付きませんでした。ページをご覧になったのならお判りかもしれませんが、このサイトのベースを作ったのは１９９８年で、当時のホームページビルダーで基本を作った後、ビルダーの吐き出すIEの方言を手で修正したものです。当時も今もHTMLのコトなんてさっぱり判らず、ひたすらネットで調べた謎の呪文を書き込むような状態です。ですので、XHTML 1.0 Strictとか言われても何の事だかさっぱり判りません。少しは勉強しないといけませんね。
該当箇所をご提示くださったように修正いたしましたところ、２２でも再生できるようになりました。QuickTimeの再インストールを求められたのは謎ですが。
また、お教えいただいたサイトにURLを放り込んでみましたが、たしかに山の様にエラーが出るのですが何の事だか判りません。
しかし、今回の問題は解釈が厳しくなった、と言うご意見には納得させられ、また例までご提示いただいたのは感謝の限りです。
まことにありがとうございました。

[quote="sawabeizumi"]urlはココです
http://www.k5.dion.ne.jp/~i_sawabe/[/quote]Firefox 21 と Aurora 23.0a2 で試してみました。Firefox 21 は初回ロード時には再生されませんがリロードで再生でき、２回目以降の表示では自動再生されます。一方、Aurora はリロードでも再生されません。
で、HTML ソースを拝見しました。XHTML 1.0 Strict で記述されているようですが HTML Validator でチェックを行うと多数のエラーが報告されます。Firefox 22 で自動再生できない問題はそのエラーの中の [b]<embed>[/b] ではないでしょうか。XHTML では <embed> タグは推奨しないとなっており、Firefox 21 では緩やかに解釈していたものが 22 では厳格になりタグを無視した。Safari やその他のブラウザは緩やかな解釈を行うのではないかと。
こちらの [url=http://validator.w3.org/]The W3C Markup Validation Service[/url] へサイト URL を入れてチェックされるとよいでしょう。

そして提示いただいたページをローカルに保存して embed を object に変更してみました。私のローカル環境でチェックする限りこの修正で全ての Firefox は自動再生しています。この変更点は下記のようになっています。
[code]（現在）<EMBED src="http://sawabeizumi.pro.tok2.com/Pink_Linda.mp3" autostart="true" hidden="true" loop="true">
（修正）<object data="http://sawabeizumi.pro.tok2.com/Pink_Linda.mp3" type="video/quicktime" id="MP3-Test" />
<param name="src" value="Pink_Linda.mp3" />
<param name="autostart" value="true" />
</object>[/code]
注）type="video/quicktime" の MIME Type は QuickTime で再生するようになっていますので、目的に合わせて変更してください。また id="MP3-Test" もご自身の管理方法で変更ください。
参考）[url=http://yupotan.sppd.ne.jp/web/xhtml-multimedia.html]マルチメディアファイルを XHTML 文書に埋め込む @ ぽかぽかWeb研究室[/url] などなど、検索すれば多くの情報が得られます。

全て試しました。
指定のあったサイトではBGMは鳴りました。
新しくプロファイルを作ってみましたが結果は変わりません。
リロードしてもダメです。
urlはココです

http://www.k5.dion.ne.jp/~i_sawabe/

こちらを参項に：[url=https://support.mozilla.org/ja/kb/troubleshoot-firefox-issues-using-safe-mode]セーフモード | Firefox ヘルプ[/url]
[quote="sawabeizumi"]HTMLが正しいのは今までずっとそれでやってきて問題なかったことから適切であると判断します[/quote]BGM が鳴らないのはご自身のサイトでしょうか？そのページ URL を提示していただくと回答してくださる方々も判断しやすくなると思いますが（アダルトコンテンツが含まれる場合はご遠慮ください）
[quote="sawabeizumi"]Firefox22を除いてみんな正常に鳴っているということです。Firefoxでも２１までは正常に鳴っていました。[/quote]例えば、このサイトを表示すると BGM は流れますか？：[url=http://utokou.com/kouka.html]熊本県立　宇土高等学校　[/url]
また、このサイトは Safari は読み込みと同時に再生を始めますが Firefox は読込み後リロードしなければ再生されませんが、リロードしても再生できないでしょうか？：[url=http://www.takasick.com/]笑うカメのお話 The story of turtle smile[/url]
ちなみに、当方の環境 Mac OS X 10.7.5 の Firefox 22, Firefox 23 Beta, Aurora 24.0a2, Nightly 25.0a1 の何れでも再生できています。
[quote="sawabeizumi"]ちなみにAurora、UXでも試しましたが鳴りません。２２以降、Firefoxにはなにか致命的な欠陥があると考えるに充分なのでは。[/quote]新規プロファイルについてお分かりでないのに開発版を起動したということでしょうか？ それぞれの Firefox でプロファイルを使い回したとすれば、プロファイルに問題が起きている可能性もありますよ。特に UX などは現行 Firefox とは異る設定が入っているかもしれませんし。
プロファイルを使い回されたのでしたら、[url=https://support.mozilla.org/ja/kb/profile-manager-create-and-remove-firefox-profiles]プロファイルの管理 | Firefox ヘルプ[/url] を参項に Firefox 22 用のプロファイルを用意して起動し、BGM が再生される可確認ください。

自分はメインマシンがMACで、WindowsマシンはLinux Ubuntuとデュアルブートですのでセーフモードでの起動の仕方がわかりません
新規プロファイルとか言われても何の事だかわからないので説明願います
HTMLが正しいのは今までずっとそれでやってきて問題なかったことから適切であると判断します

ただひとつ言えることは、Windowsで１５個くらい、Mac、Linuxでそれぞれ１０個くらいブラウザ持ってますが、Firefox22を除いてみんな正常に鳴っているということです。Firefoxでも２１までは正常に鳴っていました。
セーフモードとか新規プロファイルとかこの際関係ないのでは。「他のブラウザが普通にできることがFirefox22では出来ない」という認識で正しいのではないでしょうか。
ちなみにAurora、UXでも試しましたが鳴りません。２２以降、Firefoxにはなにか致命的な欠陥があると考えるに充分なのでは。

セーフモードや新規profileでも再現しますか？
又、HTMLコーディングは適切ですか？

ファイルフォーマットはMP3ですが最新のプラグインを入れていますし２１まではそれで鳴っていました
第一Mac版で鳴らないという事自体が解せません

embed で参照してる BGM のファイルフォーマットは何ですか？
素の状態の Firefox が自前で再生できるファイルフォーマットは限られています。
適切なプラグインを導入する必要があります(例えば、midi や mp3 の再生には QuickTime プラグインが必要です)。

[url=https://support.mozilla.org/ja/kb/fix-common-audio-and-video-issues]動画や音声が再生されない | Firefox ヘルプ[/url]

embedで作ったBGMが最新バージョンでは鳴りません。Windows版だけではなく、Mac、Linux版でも鳴りません。コレは困りものですが、全てのプラットフォームで鳴らないということはコレは仕様ですか？　だとしたらふざけてますが。　どうすればいいのでしょうか。