MozillaZine.jp フォーラム
https://forums.mozillazine.jp/

Thuderbird 60.3.0で、件名にU+FFFDが入るようになった
https://forums.mozillazine.jp/viewtopic.php?f=3&t=17271		 ページ 1 ／ 4
作成者:  tano [ 2018年11月09日(金) 09:32 ]
記事の件名:  Thuderbird 60.3.0で、件名にU+FFFDが入るようになった
Thunderbird 60.3.0にバージョンアップしたところ、
過去の受信メールも含めて、特定のメールの件名の途中にひし形に？（U+FFFD）の文字が
入るようになりました。
52.9.1のときは、同じ件名のメールにはU+FFFDの文字は入っていませんでした。
60.3.0でも本文には入っておらず、正常に表示されます。
メールヘッダも、文字コードは正しく指定されているように見えます。
同じような現象が発生した方はいらっしゃらないでしょうか？
--------------------------------------------------------------------
Subject: [plm-icadsx-support:238274] =?ISO-2022-JP?B?W1dFQg==?=
=?ISO-2022-JP?B?GyRCJVUlKSE8JWAlNyU5JUYlYBsoQl0=?=
=?ISO-2022-JP?B?IBskQiVXJW0bKEIbJEIlMCVpJWAbKEI=?=
=?ISO-2022-JP?B?GyRCJTUlXSE8JUglNSE8JVMlOU14GyhC?=
=?ISO-2022-JP?B?GyRCTVEzKztPRVBPP0ZPJDEkWCRORn5OTyQsGyhC?=
=?ISO-2022-JP?B?GyRCJCIkaiReJDckPxsoQg==?=
Mime-Version: 1.0
Content-Type: text/plain; charset="ISO-2022-JP"
Content-Transfer-Encoding: 7bit
メールの一覧で表示される件名の「プロ」と「グラム」の間にU+FFFDが入ります。
作成者:  KENT [ 2018年11月09日(金) 12:17 ]
記事の件名:  Re: Thuderbird 60.3.0で、件名にU+FFFDが入るようになった
当方でも、Thundirbird60.3.0にバージョンアップ後、過去に受信したメールも含めて、宛先名、メール本文に黒菱形の中に白ヌキ「？」の記号が表示されるものがでてきました。
調べてみると、いずれもキャラクタセットがISO-2022-JPで、かつ文字列中に半角カナ文字が使用されているパターンで上記の記号がでています。
emlファイルの内容をバイナリエディタで見ると、半角カナ文字の前後のエスケープシーケンスのところが上記記号に変換されています。
バージョンアップ以前は問題なかったので、バージョンアップ時にISO-2022-JPの処理方法が内部的に変更されたのでしょうか？
作成者:  EarlgreyTea [ 2018年11月09日(金) 21:10 ]
記事の件名:  Re: Thuderbird 60.3.0で、件名にU+FFFDが入るようになった
tano さんが書きました:
メールの一覧で表示される件名の「プロ」と「グラム」の間にU+FFFDが入ります。

Subjectが
コード:
Subject: [plm-icadsx-support:238274] =?ISO-2022-JP?B?W1dFQg==?=
 =?ISO-2022-JP?B?GyRCJVUlKSE8JWAlNyU5JUYlYBsoQl0=?=
 =?ISO-2022-JP?B?IBskQiVXJW0bKEIbJEIlMCVpJWAbKEI=?=
 =?ISO-2022-JP?B?GyRCJTUlXSE8JUglNSE8JVMlOU14GyhC?=
 =?ISO-2022-JP?B?GyRCTVEzKztPRVBPP0ZPJDEkWCRORn5OTyQsGyhC?=
 =?ISO-2022-JP?B?GyRCJCIkaiReJDckPxsoQg==?=
である .eml のテストデータを作って Thunderbird 60.3.0 に取り込んで見たところ、当方でも下の添付画像のようになりました。
添付ファイル:
Subject文字化け.jpg
Subject文字化け.jpg [ 20.93 KiB | 表示数: 61927 回 ]


上記エンコード文字列を http://www.encodemaniax.com/ サイトにてデコードしたところ
コード:
Subject: [plm-icadsx-support:238274] [WEBフォームシステム] プログラムサポートサービス利用開始登録届けへの入力がありました
でしたので、メールソフト Sylpheed 3.7.0 を使って charset=ISO-2022-JP にてテストメール送信してみたところ、
Thunderbird で文字化けは起こらず、エンコードされたソースは下記となっていました。
コード:
Subject: [plm-icadsx-support:238274] =?ISO-2022-JP?B?W1dFQhskQiVVJSkbKEI=?=
 =?ISO-2022-JP?B?GyRCITwlYCU3JTklRiVgGyhCXSAbJEIlVyVtJTAlaSVgJTUlXSE8GyhC?=
 =?ISO-2022-JP?B?GyRCJUglNSE8JVMlOU14TVEzKztPRVBPP0ZPJDEkWCRORn5OTyQsGyhC?=
 =?ISO-2022-JP?B?GyRCJCIkaiReJDckPxsoQg==?=

http://www.encodemaniax.com/ サイトでエンコードした結果も同じです。

送信メールソフトのエンコードにも問題ありますし、そのエンコード結果のデコードで文字化けを生じさせる Thunderbird側にも問題がある、
そういうことのように思えます。
ヘッダに X-Mailer とかの情報が入ってると思います。送信メールソフトがどれなのかわかりますでしょうか？
作成者:  tano [ 2018年11月12日(月) 09:37 ]
記事の件名:  Re: Thuderbird 60.3.0で、件名にU+FFFDが入るようになった
KENT様

返信ありがとうございました。
私のメールには、半角カナは含まれてはいませんでしたので、別の条件が
あるかもしれません。

EarlgreyTea様

返信ありがとうございました。
送信側のメールソフトが何であるか、わかりませんでした。

Thunderbird 52.9.1では、同じタイトルのメールでもU+FFFDは表示されませんので、
Thunderbird 60.3.0になって、なにか表示の処理が変わったという動きに見えます。
作成者:  EarlgreyTea [ 2018年11月12日(月) 21:30 ]
記事の件名:  Re: Thuderbird 60.3.0で、件名にU+FFFDが入るようになった
引用:
Thunderbird 60.3.0になって、なにか表示の処理が変わったという動きに見えます。

たぶん ISO-1022-JP の処理に変化があったのでしょう。
すでに申し上げましたように、文字化けが起こるソースのISO-1022-JPエンコードも間違いとまではいいませんが、ちょっと変なのです。
文字化けが起こる箇所の行だけ、手作業でBase64のデコード（途中経過は省きます）してみますね。

　参考：
　 http://www.kipwmi.com/fm/tips/base64.htm
　 http://charset.7jp.net/jis.html

----------------------------------------------------------------------------
=?ISO-2022-JP?B?IBskQiVXJW0bKEIbJEIlMCVpJWAbKEI=?=
↓
20 : 半角空白
1B 24 42 : ESC $ B ［新JIS漢字の開始］
25 57 : プ
25 6D : ロ
1B 28 42 : ESC ( B ［ASCIIの開始］
1B 24 42 : ESC $ B ［新JIS漢字の開始］
25 30 : グ
25 69 : ラ
25 60 : ム
1B 28 42 : ESC ( B ［ASCIIの開始］

----------------------------------------------------------------------------


青文字部分に注目してください。
「プロ」と「グラム」の間でいったん「ESC ( B」でASCIIに戻し、すぐに「ESC $ B」という不要なシーケンスが挿入されています。
そしてその箇所でThunderbird 60は文字化けを起こしています。
素直にエンコードされた Subject であれば文字化けは起きていません。
作成者:  KENT [ 2018年11月13日(火) 09:55 ]
記事の件名:  Re: Thuderbird 60.3.0で、件名にU+FFFDが入るようになった
tanoさま、EarlgreyTeaさま
先日私が報告した過去に受信済のメールの文字化けも、EarlgreyTeaさんの指摘内容と同じシーケンスのパターンでした。

メール本文中に半角カナ文字で「ｵｰﾀﾞｰ」という記述があるのですが、本文テキストをバイナリで見てみると、

1B 28 42　ASCII開始
1B 28 49　半角カナ開始
35　　　　ｵ（半角カナ）
1B 28 42　ASCII開始
1B 28 49　半角カナ開始
30　　　　-（半角カナ）
1B 28 42　ASCII開始
1B 28 49　半角カナ開始
40　　　　ﾀ（半角カナ）
1B 28 42　ASCII開始
1B 28 49　半角カナ開始
5E　　　　ﾞ（半角カナ）
1B 28 42　ASCII開始
1B 28 49　半角カナ開始
30　　　　-（半角カナ）
1B 28 42　ASCII開始（以降、ASCII文字が記載）

となっていました。
60.3.0になる前はこれで文字化けしていなかったので、60.3.0でやはりISO-2022-JPの処理が変わったものと思われます。
作成者:  EarlgreyTea [ 2018年11月13日(火) 12:17 ]
記事の件名:  Re: Thuderbird 60.3.0で、件名にU+FFFDが入るようになった
ちなみに、これは Thunderbird だけではなく、Firefox も同様です。
さらに Chrome も同じです。

閉じ忘れを防ぐためのなのか「ESC ( B」とセットで開始ESCを挿入してくる手抜きエンコードでも
それなりに読めるようにデコードしてくれるのはIE、Edgeだけみたいです。
作成者:  mos [ 2018年11月13日(火) 15:24 ]
記事の件名:  Re: Thuderbird 60.3.0で、件名にU+FFFDが入るようになった
FYI
Thunderbirdが仕様変更すべきかどうかは、GitHubで議論することができます。
Bug 1506049 TextDecoder returns wrong result for ISO-2022-JP text
https://bugzilla.mozilla.org/show_bug.cgi?id=1506049
作成者:  tano [ 2018年11月13日(火) 17:06 ]
記事の件名:  Re: Thuderbird 60.3.0で、件名にU+FFFDが入るようになった
KENT様、EarlgreyTea様、mos様

いろいろと検証や、情報を提供していただきまして、ありがとうございました。

確かに不要と思われる制御コードは入っていますが、他のメーラーではこのような表示にはならなかったので、
メーラー側で調整されていたのでしょうね。

しかし、現実の問題として、Thunberbird 60.3.0では、メールタイトルでの検索が正しくできなくなったり、
返信の時に件名に不要な文字が入っているのを削除せねばならず
メールでの仕事に影響が出ているので、mos様に教えていただいたGitHubへの投稿も検討します。
作成者:  EarlgreyTea [ 2018年11月13日(火) 18:08 ]
記事の件名:  Re: Thuderbird 60.3.0で、件名にU+FFFDが入るようになった
WHATWG の GitHubにエンドユーザーが乗り込んでいって標準仕様の議論をするというのも、ハードルの高い話な気がしています。
標準仕様としてどうあるべきかというよりは、製品としてどうあるべきかの話だと思うからです。
日本のビジネスユーザーにおいて、ISO-2022-JPのメールがいまだ主流であり、しかも「正しいデコーダーでエラーとされるエンコーダー」が多く稼働しているという現実。
そしてそれをMicrosoft製品は問題なく処理できるが、MozillaとGoogle（Appleも？）はエラーにしてしまう。
そうなった場合に、ユーザーはダメなエンコーダーを駆逐しようとはせず、単にMicrosoft製品を選ぶだけです。
そういう観点での議論が必要な気がします。
作成者:  EarlgreyTea [ 2018年11月23日(金) 15:19 ]
記事の件名:  Re: Thuderbird 60.3.0で、件名にU+FFFDが入るようになった
とりあえず、 https://github.com/whatwg/encoding/issues/115 にコメントしてみました。
作成者:  tano [ 2018年11月26日(月) 15:45 ]
記事の件名:  Re: Thuderbird 60.3.0で、件名にU+FFFDが入るようになった
EarlgreyTea様

代わりにgithubにコメントしていただきまして、ありがとうございました。
前向きに議論してもらえるようになることを願っております。
作成者:  wr_papa [ 2019年1月18日(金) 13:51 ]
記事の件名:  Re: Thuderbird 60.3.0で、件名にU+FFFDが入るようになった
本件、なかなか進まないですよね・・・
社内ユーザーの大半が、メーラーとして古いAL-MAILを使っているため、この文字で
溢れかえっていて、返信時はいちいち気にせねばならないのがストレスなんですよね・・・

進捗することを祈っております。
作成者:  maji [ 2019年1月18日(金) 22:23 ]
記事の件名:  Re: Thuderbird 60.3.0で、件名にU+FFFDが入るようになった
wr_papa さん、maji とゆ者です。
ちと気になったので、、、、。。。

wr_papa さんが書きました:
社内ユーザーの大半が、
メーラーとして古いAL-MAILを使っているため、
この文字で溢れかえっていて、
返信時はいちいち気にせねばならないのがストレスなんですよね・・・

このスレッドで初めて「 AL-MAIL 」とゆ情報が出てきたので
その真意を教えてください。
わざわざ AL-MAIL を話題に出されたのは

a) AL-MAIL でも Thunderbird同様に本スレッド掲示の現象が出ていて困っている
b) AL-MAIL で発信したメールを Thunderbird受信すると本スレッドと同じメール現象となる
c) 上記以外/具体的には・・・・・

のドチラでしょうか。

.
作成者:  wr_papa [ 2019年1月18日(金) 23:26 ]
記事の件名:  Re: Thuderbird 60.3.0で、件名にU+FFFDが入るようになった
お世話になります。返信有難うございます。

下記のお問い合わせについては、
b) が回答になります。

社内外からメールを受け取る際、社内でAL-MAILから送信されているメールに
限って文字化けしているようです。
社内発信でもthunderbirdを使っているものや、outlook使用者のメールでは
文字化けは発生しておりません。

これで回答になってますか？

maji さんが書きました:
wr_papa さん、maji とゆ者です。
ちと気になったので、、、、。。。

このスレッドで初めて「 AL-MAIL 」とゆ情報が出てきたので
その真意を教えてください。
わざわざ AL-MAIL を話題に出されたのは

a) AL-MAIL でも Thunderbird同様に本スレッド掲示の現象が出ていて困っている
b) AL-MAIL で発信したメールを Thunderbird受信すると本スレッドと同じメール現象となる
c) 上記以外/具体的には・・・・・

のドチラでしょうか。

.
ページ 1 ／ 4 All times are UTC + 9 hours
Powered by phpBB® Forum Software © phpBB Group
http://www.phpbb.com/