シロウトのたわごとかもしれませんが、情報交換ということで......。

・Custom Buttons :: Add-ons for Thunderbird
https://addons.mozilla.org/ja/thunderbird/addon/custom-buttons/
・Custom Buttons :: Add-ons for Firefox
https://addons.mozilla.org/ja/firefox/addon/custom-buttons/
―― の「このアドオンについて」に記載されている
Discussion (both in English and Russian):
http://custombuttons.sf.net/forum/
で、Custom Buttons に対するバグ報告や議論はできるようです。
また、
If you have found a bug, don't complain here, but try to explain it here http://sourceforge.net/p/custombuttons/tickets if you want to have it fixed
とも書いてありますので、コンタクトを試みられてはいかがでしょうか。


個人的には、メールを書いたり編集したりする関係上キーボードナビゲ―ションを使うことが多いため、Thunderbird には Custom Buttons を入れていないのですが、Firefox には入れています。

ぼくが把握している範囲でいえば、開発版の Firefox 51.0 以降、Custom Buttons で作ったボタンが機能しなくなっているのを経験しています。
最初、開発版ではマルチプロセス（e10s）が有効化されている影響かと思っていましたが、e10s を無効化した Firefox 51.0 / 52.0 上でも Custom Buttons のボタンは機能しません。
一方、正式リリース版の Firefox 49.0.x / 50.x で、e10s を強制的に有効化しても、同じ条件で作った Custom Buttons のボタンは機能していますから、必ずしも e10s の影響ともいえないように思います。

ぼく自身はプログラムソースを読み解く能力はないので細部の事情はわかりませんが、Custom Buttons は 2016 年 3 月 リリースの 0.0.5.8.9 以降、どうもメンテナンスが滞っているみたいです。
ご存知のように Firefox の拡張機能は現在、WebExtension への移行途上にありますし、次期 ESR に相当する 52.0 とそれ以降のバージョンではプラグインなどの扱いを含めて一定の区切りが付けられるような感じです。
（参考）・アドオン開発 | Mozilla Developer Street (modest) >> Firefox ** アドオン互換性情報
https://dev.mozilla.jp/project/addons/

Thunderbird の方はよくわかりませんが、次のメジャーバージョンは 52.0 でしょうから、そこをターゲットに Firefox に準じた区切りが付けらるのかもしれませんね。

【参考 - Custom Buttons で作ったボタンの Firefox での動作結果】
いずれも各チャンネルのデフォルト設定のまま、Custom Buttons を入れて試しました。
────┬────┬───┬─────
Nightly │ Aurora │ Beta │ Release
────┼────┼───┼─────
52.0a1　│51.0a2　│50.0b │49.0
NG　　　│NG　　　│OK　　│OK
────┼────┼───┼─────
　　　　│52.0a2　│51.0b │50.0
　　　　│NG　　　│NG　　│OK

（注）
53.0a1 はまだ使っていないので試していません。
等幅フォントで最適化。


とりあえず以上です。ピント外れなことを書いていたらすみません。

Custom Buttonsが、Daily 53.0a1 (2016-12-17) で動きません。
OS : Windows 10
Firefox Daily : 53.0a1 (2016-12-17) (64-bit)
Thunderbird Daily : 53.0a1 (2016-12-17) (32-bit)
ボタンの作成・編集などはできてカストマイズツールバーに登録するなども問題なく動くのですが、再起動時には添付のようなエラーがでて、ボタンを押しても何も起こらず、その時には何のエラーも表示されません。

53で動かなくなったのか、mozilla-centralの変更（ Bug 1322414 ）がThunderbirdにも入って起こった、Thunderbird の trunkの 2016-12-16 buildでの bug 1323968(folderPaneに何も表示されない) と同様に、そのmozilla-centralの変更によるものなのかは、その前のビルドを追いかけて確認していたわけではないので、ちょっとわかりません。
以前のThunderbirdの53.0a1で動かなくてあきらめたような気もするんですが、そんなに頻繁にNightlyを立ち上げるわけではなく、45とauroraとバージョンは気にしないtrunkを切り替えてバグのテストをしていた時なので、どこでどうなっていたか、よく覚えていません(^^;
Thunderbird 52(aurora)では動いていたと思います。

どこにどうやって問題を報告して対応してもらえばいいんでしょうか。

[quote]
Firefox Daily : 53.0a1 (2016-12-17) (64-bit)

TypeError: can't convert undefined to object cbbuttonimpl.js:11:1
__defineGetter__ self-hosted:3541:18
<anonymous> chrome://custombuttons/content/cbbuttonimpl.js:11:1
toolbarbutton_XBL_Constructor chrome://custombuttons/content/toolbarbutton.xml:18:5
insertWidgetBefore resource://app/modules/CustomizableUI.jsm:1197:5
buildArea resource://app/modules/CustomizableUI.jsm:756:9
registerToolbarNode resource://app/modules/CustomizableUI.jsm:671:9
registerToolbarNode resource://app/modules/CustomizableUI.jsm:3059:5
_init chrome://browser/content/customizableui/toolbar.xml:86:11
onReadyStateChange chrome://browser/content/customizableui/toolbar.xml:38:15
Cross-Origin Request Blocked: The Same Origin Policy disallows reading the remote resource at https://www.google.com/_/og/promos/z. (Reason: CORS header ‘Access-Control-Allow-Origin’ missing). (unknown)
[/quote]
[quote]
Thunderbird Daily : 53.0a1 (2016-12-17) (32-bit)

TypeError: can't convert undefined to object cbbuttonimpl.js:11:1
__defineGetter__ self-hosted:3541:18
<anonymous> chrome://custombuttons/content/cbbuttonimpl.js:11:1
toolbarbutton_XBL_Constructor chrome://custombuttons/content/toolbarbutton.xml:18:5
set_currentSet chrome://global/content/bindings/toolbar.xml:277:17
_init chrome://global/content/bindings/toolbar.xml:182:13
toolbar_XBL_Constructor/< chrome://global/content/bindings/toolbar.xml:145:15

Warning: ‘nsIOService::NewChannel()’ deprecated, please use ‘nsIOService::NewChannel2()’ CustomButtonsService.js:1152:10
[/quote]