Thuderbird 60.3.0で、件名にU+FFFDが入るようになった

返信する

スマイリー
:D :) :( :o :shock: :? 8) :lol: :x :P :oops: :cry: :evil: :twisted: :roll: :wink: :!: :?: :idea: :arrow: :| :mrgreen: =D> #-o =P~ :^o [-X [-o<
スマイリーを全て表示する

BBCode: ON
[img]: ON
[url]: ON
スマイリー: ON

トピックのレビュー
   

展開ビュー トピックのレビュー: Thuderbird 60.3.0で、件名にU+FFFDが入るようになった

Re: Thuderbird 60.3.0で、件名にU+FFFDが入るようになった

by さかもと » 2020年2月20日(木) 19:44

もう一度、過去の投稿を読み返し、2019年9月03日に書き込まれたものを見つけて、納得しました。

お手数をおかけしました... 

Re: Thuderbird 60.3.0で、件名にU+FFFDが入るようになった

by EarlgreyTea » 2020年2月20日(木) 19:29

さかもと さん、情報提供ありがとうございます。

しかしながら、 Posted: 2020年2月03日(月) 09:58 で私が書きましたように、
すでに原因は完全に解明されていますが仕様ということで終了しています。
AL-MAILから送信のISO-2022-JPメールで起こることもわかっています。
したがってその手の情報はもう十分です。

今必要なのは、bugzilla上でThunderbirdの開発陣に、日本のIS-2022-JPメールのユーザーが大変困っているということを納得させる行動です。
どのメールクライアントから送信されたメールで現象が起き、それがユーザーにどれくらい深刻な被害をもたらしているか、ということです。
一部の有名なビジネス用WEBメールサービスで起きることも知られていますが、私はそれをテストできる状況にありませんし、
そもそも本件で困っているわけでもありません。

実際に不具合が起きて困っている人が行動を起こしてもらわないとどうにもならないわけです。
Posted: 2020年2月11日(火) 19:20 で貼った漫画はそういう現状を憂いたものになります。

できましたら、このトピックを最初から通して読んでいただけたらと思います。
このトピックは窓口ではありませんので、いくら報告をいただいても何も変わらないのです。

Re: Thuderbird 60.3.0で、件名にU+FFFDが入るようになった

by さかもと » 2020年2月20日(木) 17:05

少しでも役に立てれば、と思い投稿します。

同じメールサーバーに接続されたメールアドレスから、以下のような Subject で
AL-Mail 1.13d からメールを送信したところ、

---
さま1さま2さま3さま4さま5さま6さま7さま
---

受信した Thuderbird 68.5.0 では、

---
さま1さま2さま3さま4�さま5さま6さま7さま
---

と表示されています。受信した Thuderbird 側でメールのソースを表示させて
みると、� U+FFFD が挿入されているところで改行されてしまっています。

---
Subject: =?ISO-2022-JP?B?GyRCJDUkXiMxJDUkXiMyJDUkXiMzJDUkXiM0GyhK?=
=?ISO-2022-JP?B?GyRCJDUkXiM1JDUkXiM2JDUkXiM3JDUkXhsoQg==?=

---

送信した側の AL-Mail の送信箱に保存されているメールは、Shift-JIS で保存
されていましたが、上記のような途中で改行された状態にはなっていませんで
した。

件名を以下のように変更して、同様にメールを送信したところ、� U+FFFD
が挿入される位置もずれました。

---
0さま1さま2さま3さま4さま5さま6さま7さま
---
 ↓
---
0さま1さま2さま3さま�4さま5さま6さま7さま
---


ソースを確認しても、やはり改行されているところで � U+FFFD が挿入さ
れています。

---
Subject: =?ISO-2022-JP?B?GyRCIzAkNSReIzEkNSReIzIkNSReIzMkNSReGyhK?=
=?ISO-2022-JP?B?GyRCIzQkNSReIzUkNSReIzYkNSReIzckNSReGyhC?=

---

こんな感じの情報で役に立つでしょうか? 他に確認することあれば、教えてください。

Re: Thuderbird 60.3.0で、件名にU+FFFDが入るようになった

by EarlgreyTea » 2020年2月11日(火) 19:20

このトピックが立ったのは 2018年11月09日 のことですから、もう1年と3か月経っているんですね。
ここのフォーラムのモデレータグループにも名前がある Piro さんが、技術書典8というイベントで出す予定の本の挿絵をツイートで流していまして、
それが本件の状況にあまりにハマりすぎなので貼ってみます。

画像
引用: https://twitter.com/piro_or/status/1226972915238920198

Re: Thuderbird 60.3.0で、件名にU+FFFDが入るようになった

by EarlgreyTea » 2020年2月03日(月) 09:58

アミノさん さん、すでに原因はわかっていますが仕様ということで放置されています。
対応が必要だということを客観的に示して訴えかけることが必要です。
ぜひこのトピックを最初から通して読んでいただくとよいでしょう。

Re: Thuderbird 60.3.0で、件名にU+FFFDが入るようになった

by アミノさん » 2020年2月03日(月) 09:14

あれから随分Verも上がったので、「68.4.2」(自動更新で上がるところまで)更新してみましたが、
依然、�(又は%uFFFD)表示が残っているようですね。

数百通の受信メールを確認すると、件名あるいは添付ファイル名に既存の名称に�(又は%uFFFD)が追加されています。
Thunderbird上の表示が、例として「2020年」➡「2020�年」となっており、添付ファイルの場合で直接開くと
そのプログラム上の表示は「2020%uFFFD年」だったりしますね。

規則性が読み取れず、困ったものです。
一応、カキコしとこうかなと・・・。

Re: Thuderbird 60.3.0で、件名にU+FFFDが入るようになった

by Rereremio » 2019年9月11日(水) 13:28

EarlgreyTea さんが書きました: てっきり、ご自身が問い合わせをしてなんとか問題解決したいという話かと思いましたが、英訳のお手伝いならできますよ、という感じのスタンスでしたか。
そうですね、私は技術者ではなく文字コードの知識もありませんし、Bugzillaの仕組みも理解していませんので、議論を率先するつもりはなく、何かお手伝いできれば、くらいの気持ちでした。失礼いたしました。
私も上記のことを調べてBugzillaで議論を始めよう、というほどのモチベーションが生まれるほど困ってはいませんので、このままで良いかなと思います。

# EarlgreyTeaさんご自身はそれほどお困りではなかったのですね。。。こういうかたがいらっしゃるからソフトウェア開発は進んでいくのだなと思いました。

Re: Thuderbird 60.3.0で、件名にU+FFFDが入るようになった

by EarlgreyTea » 2019年9月10日(火) 23:47

Rereremio さんが書きました:得意というほどでもないですが、それほど苦でもありません。一助になるのであれば喜んで文章作成いたします。元ネタを書いていただけませんでしょうか。
てっきり、ご自身が問い合わせをしてなんとか問題解決したいという話かと思いましたが、英訳のお手伝いならできますよ、という感じのスタンスでしたか。
ネタというか材料なら、このトピックで十分に提供してきたつもりです。
このトピックが立った2018年11月09日当初から関わってきました。もう10カ月になります。
その間の私の投稿数を数えたところ17回です。

やっぱりモチベーションというのは大事だと思うんですよ。
私はもう、この件に関してモチベーションを維持するのはちょっと無理です。
遅きに失した感がありますし、そもそも私自身はさして困っているわけではないからなんです。
(むしろ、電子メールでISO-2022-JPを使うこと自体を早くやめるべきだと思っています)
本当に困っている人が、自ら行動すべきだと思います。

Re: Thuderbird 60.3.0で、件名にU+FFFDが入るようになった

by fluidicB » 2019年9月10日(火) 19:21

Office365のwebアプリ版OutlookとThunderbird60.9.0を併用しています。
Outlookから送信 Thunderbiedで受信すると、添付ファイル名が
(ひらがな19文字).docx
では18文字目の後ろにU+FFFDの菱形が入ります。
長さを変えてみるとdot手前の文字数が18文字と19文字に境目があり、18文字以下なら問題なし、
19文字以上だと18文字目の後ろに菱形が入ります。
拡張子の有無や拡張子文字列の長さは無関係です。

これらのメールはそのままサーバーに残っていてOutlookでも受信できますが、
すべて元のファイル名どおりで文字化けしません。
すべてを試したわけではありませんが、これら長いファイル名のファイルを
Thunderbirdから送信しても文字化け問題は起こりません。

Re: Thuderbird 60.3.0で、件名にU+FFFDが入るようになった

by Rereremio » 2019年9月09日(月) 15:51

EarlgreyTea さん、ご回答ありがとうございます。

やはりThunderbird側で対応すべきとの旨、理解しました。私もそうすべきだと思いました。
EarlgreyTea さんが書きました: 英語お得意なのでしょうか。
私は正直言って得意ではありませんので、bugzilla にバグ出すのも一苦労です。
もしよろしければ、代わりに bugzilla にThunderbirdのバグ報告出していただけないでしょうか。

得意というほどでもないですが、それほど苦でもありません。一助になるのであれば喜んで文章作成いたします。元ネタを書いていただけませんでしょうか。
以下、ご依頼です。
  • レポートする技術的な部分については、知識がほとんどありませんので、そのまま英訳できる形で書いていただけると助かります
  • Thunderbirdで対応すべき、というところは、だいたいわかりましたので、要旨を箇条書きにしていただければ英文にいたします
  • bugzillaに書き込んだことはないので、投稿はEarlgreyTeaさんからしていただけると助かるのですが。。。

Re: Thuderbird 60.3.0で、件名にU+FFFDが入るようになった

by John Smith » 2019年9月03日(火) 22:51

Thunderbirdとは関係ないですが
こちらの現象、Androidスマホ Huawei mate20 lite の標準メーラーでも起こっていますね。

発生条件はヘッダなどの確認ができないので調査できませんが。

Re: Thuderbird 60.3.0で、件名にU+FFFDが入るようになった

by EarlgreyTea » 2019年9月03日(火) 00:12

Rereremio さん、情報ありがとうございます。
Rereremio さんが書きました:リスクレジスタ(〇〇〇�〇〇〇) 20190605(案0).xlsx
〇:全角日本語
User-agent: Active! mail(Webメールですね)
添付ファイル名ですね。そして Active! mail ですか。
公式サイトの宣伝文句曰く「国内売り上げシェアNo.1を誇るビジネスWebメール」とのことなので、法人ユーザーは相当数いるものと思われます。
そして、実は Bug 1374149言及 されていたので、実際の事例の報告を待っていたところだったのです。
Rereremio さんが書きました:どこかに報告して話が転がればよいと思うのですが、どこに問い合わせればよいものでしょうか。
bugzilla (https://bugzilla.mozilla.org/show_bug.cgi?id=1506049) ではWHATWGに回されていますが、技術的背景を理解していない素人がWHATWGに書き込むのは少し気が引けます。
WHATWGはもういいと思います。
そもそもあの Issue の発端は、2017年6月に報告された
  • Bug 1374149 Folded subject header using ISO-2022-JP doesn't get decoded properly
なわけです。そして 2018年11月に Firefoxのバグとして出された、
  • Bug 1506049 TextDecoder returns wrong result for ISO-2022-JP text
では、Firefoxは仕様に準拠しているとしてクローズになっています。
そこで WHATWG のIssueを紹介されたのでそちらにコメントしてみたわけですが、
意味が無かったとは思いませんが、あまり効果的なやりかたではなかったようです。

私たちがやるべきことは、Thunderbirdのバグとして報告を行い、そこでこの問題が日本でのThunderbirdのシェアに直結した深刻な問題であることを訴えることだと思うのです。

標準仕様ではエスケープシーケンス間が0バイトなら、セキュリティ上の懸念があるためエラーにする…まあいいでしょう。

しかし、それが重要な懸念であるならば、CVE などの脆弱性情報データベースに登録され、それをもとに日本の JPCERT/CC や IPAが動いて、標準仕様に準拠しない、瀬弱性のあるISO-2022-JPエンコーダー/デコーダーソフトウェアを根絶させるキャンペーンを打つ、というのでなければ、現実を無視した机上の空論というものです。
重要なのは、
  • 日本のThunderbirdユーザーは、ThunderbirdでデコードしてエラーとみなされるようなISO-2022-JPエンコードの電子メールを日々扱うことを求められており
  • Thunderbird以外の Outlookや、Windowsメールアプリや、Windows Liveメールや、Sylpheed や、AL-MAIL32 や、Gmail などの Webメールなんかは全く問題ない
という厳然たる事実でしょう。
Rereremio さんが書きました:むしろOfficeにフィードバックを送っても良いかなと思います。
いやあ、「ThunderbirdでエラーになるのでOutlookのISO-2022-JPエンコード処理を適合するように修正してください」とマイクロソフトに要望を出すというのは、ちょっと違う気がします。
ダメなのは(メールソフトでは)Thunderbirdだけであり、Thunderbirdが対応するのが筋だ思います。
それに、Thunderbirdがエラーを出すメールを送ってくるのはOutlookだけではないので、解決にはなりませんね。
Rereremio さんが書きました:英語にして書き込むくらいのことはしたいと思っています。
英語お得意なのでしょうか。
私は正直言って得意ではありませんので、bugzilla にバグ出すのも一苦労です。
もしよろしければ、代わりに bugzilla にThunderbirdのバグ報告出していただけないでしょうか。

Re: Thuderbird 60.3.0で、件名にU+FFFDが入るようになった

by Rereremio » 2019年9月02日(月) 10:15

事例を報告させていただきます。添付ファイルの文字化けです。日々起きているので枚挙にいとまがありませんが。。。

使用(受信)ソフトウェア:Thunderbird 60.8.0 (32 ビット)

例1
リスクレジスタ(〇〇〇�〇〇〇) 20190605(案0).xlsx
〇:全角日本語
User-agent: Active! mail(Webメールですね)

例2
概算見積用実施内容案_ xxxx〇�〇〇〇〇〇〇〇〇〇〇.docx
x: 半角文字、〇:全角日本語
User-agent: Microsoft Outlook 16.0
Office 365 の Outlook です。バージョン 1908、ビルド 11929.20254

他には、大手メーカーからの添付ファイルが頻繁に文字化けします。
User-agentは消えていますが、Outlookを使っているのは話を聞いてわかっています。

添付ファイルを自動で保存するようにしているのですが、ファイル名の検索で見つけづらくなってしまい、少し困っています。

どこかに報告して話が転がればよいと思うのですが、どこに問い合わせればよいものでしょうか。
bugzilla (https://bugzilla.mozilla.org/show_bug.cgi?id=1506049) ではWHATWGに回されていますが、技術的背景を理解していない素人がWHATWGに書き込むのは少し気が引けます。
# hsivonen さんが提案書まで準備してくれているのに止まっているのももったいない気もしますが。。。

これまでの流れを見ていると、Thunderbirdとは標準仕様に合わせているものと理解しました。
むしろOfficeにフィードバックを送っても良いかなと思います。
Office側でどうエンコード処理をしてもらえばよいのかどなたか書いていただけませんでしょうか。英語にして書き込むくらいのことはしたいと思っています。

Re: Thuderbird 60.3.0で、件名にU+FFFDが入るようになった

by EarlgreyTea » 2019年8月07日(水) 22:15

◆?◆ さんが書きました:私がかつて表現した内容は、まさにまとめ一覧の(7)に該当する事例であり、添付ファイルのファイル名に挿入されるものです。
確認いただきましてありがとうございます。
(5)の「概要」の文言が他と多少違っていましたので修正しました。
実例がありませんでしたので「詳細」は不明とさせていただいています。
◆?◆ さんが書きました:近しい人にメールを送信した場合(Thunderbird→Outlook)も、同様の症状(件名あるいは添付ファイルのファイル名に文字化け)があったと聞いております。
つまり、Thunderbird ユーザーのため受信には気が付くケースが多いかもしれませんが、実際は送信でも発生しているものと推察しております。(58に戻してから、その症状はなくなったと聞いております。)
大変興味深い関連する話ではありますが、別な問題として区別すべきかと思います。
このトピックで取り上げている問題は、ThunderbirdのISO-2022-JPデコード処理が標準仕様に準拠するように変更された結果、それに適合しない動作のISO-2022-JPエンコード処理で作成されたメールを受信した場合に、エラーを検出してU+FFFDが挿入されてしまうということです。

Thunderbirdから送信してOutlookで受信した場合というのは、ThundedrbirdのISO-2022-JPエンコード処理とOutlookのISO-2022-JPデコード処理の関係です。
ThundedrbirdのISO-2022-JPエンコード処理も、もちろん標準仕様に準拠するように変更されているはずで、Thunderbirdの両者の処理は適合しているはずです。
ThunderbirdからOutlookへ送信したメールの送信済みフォルダーに保存された控えは、Thunderbirdで問題なく表示できていますか?

新しいThunderbirdはISO-2022-JPの処理は、簡単にいうと厳格で融通の利かないものに変更になっており、それに対して従来のメールソフトはある程度のいい加減さを許容する処理になっている、という風に私は認識しています。

すなわち、その理屈からいうとThunderbirdのメールはOutlookで適切に表示されるはずです。
詳細がわかりませんので確かなことは言えませんが、Outlookで文字化けするというのは別の問題のように思われます。

Re: Thuderbird 60.3.0で、件名にU+FFFDが入るようになった

by ◆?◆ » 2019年8月07日(水) 15:53

[-WEBKIT-CENTER][highlight=#efefef]EarlgreyTeaさん[/highlight][/-WEBKIT-CENTER]

まとめ、ありがとうございます。わかりやすいです。
ユーザー名の「◆?◆」はまさに[highlight=#efefef]�です。[/highlight]
[highlight=#efefef][/highlight]
私がかつて表現した内容は、まさにまとめ一覧の(7)に該当する事例であり、添付ファイルのファイル名に挿入されるものです。
そして、これはあくまで受信メールで確認できている情報でありますが、
近しい人にメールを送信した場合(Thunderbird→Outlook)も、同様の症状(件名あるいは添付ファイルのファイル名に文字化け)があったと聞いております。
つまり、Thunderbird ユーザーのため受信には気が付くケースが多いかもしれませんが、実際は送信でも発生しているものと推察しております。(58に戻してから、その症状はなくなったと聞いております。)
以上、簡単な報告です。

ページトップ