以前のバージョンでは、mousedown時のイベント内でalertを実行し、ダイアログボックスを表示した場合、mouseupは基本的には発生しませんでした（キーボード操作でダイアログボックスを消した場合など、レアケースな場合には以前でも発生する可能性はありました）。
しかし、FireFox57では、mouseupが必ず発生するようになっています。

例えば、以下のようなhtmlにて、チェックボックスにチェックした際の動作が異なっています。

• FireFox57では、「down」「up」が表示され、チェックボックスにチェックの状態が変更されます
• FireFox57以前では、「down」だけが表示され、チェックボックスの状態は変更されません(IE11・Chromeもこの動作をします)。

FireFox57の変更点を読む限り、イベント周りの動作変更はないという認識でしたのが、こちらは、意図しない仕様変更でしょうか？
https://developer.mozilla.org/ja/Firefox/Releases/57

_________________
Mozilla/5.0 (Windows NT 6.1; WOW64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/59.0.3071.104 Safari/537.36 Vivaldi/1.91.867.42