maji様 EarlgreyTea様 偶然的通行人様

本件、ご回答が遅くなり申し訳ございません。

受信間隔を5分に変更したあとの状況ですが、
再発していないことが確認出来ました。


maji様にご教示いただきましたとおり
受信間隔が短すぎたことが原因の様でした。

なおメール受信間隔につきましては、
法人契約であり、当初より契約先も了承しているものの
契約時に比べ、頻繁にメールを受信する必要がなくなっておりますので
今後、受信間隔の見直しも行いたいと思います。

事象が落ち着いていたため当トピックはこれで
クローズとさせて頂きたいと思いますが、
なにかございましたら、引き続きご指摘等、宜しくお願い致します。

最後に今回の件でアドバイス頂き、ありがとうございました。
正直、解決は難しいと勝手に思い込んでおりましたが

最終的には原因特定まで至り、大変感謝しております。
ありがとうございました。

tanaka norio さん

[quote="tanaka norio"]上記の件、おっしゃるとおり1分間隔で受信する必要はなく、
またそれが原因になっている可能性も十分ありそうですので
一旦5分周期に設定し、様子を見てみたいと思います。ありがとうございます。
※週明けに設定してみます。[/quote]
これが4月19日のことでしたが、その後状況はいかがでしょうか。
直近の発生頻度が1ヶ月に2回程度ということでしたので、大型GWもありましたが、改善したと評価できるだけの期間は経過したかと思います。
よろしければ、結果をお知らせください。

EarlgreyTea さん、tanaka norio さん、maji です。
日曜で時間ありチと長文になっちまいました。
そのあたりご容赦ください。 m(_,_)m

# 2019/4/21(日)14:00 頃に編集追記してます。

[quote="EarlgreyTea"][quote="tanaka norio"]一旦5分周期に設定し、様子を見てみたいと思います。[/quote]majiさんも私も5分間隔という値を推奨していません。
初期値の10分ではダメなのですか？
POPメールはスマホのメールやIMAPとは違います。[/quote]
現時点での私のスタンスですが、
今回の tanaka norio のケースは法人内特殊運用の中での事象だと推測され、
まずは[quote="tanaka norio"][quote="maji"]Thunderbirdの受信間隔を長めに設定してみて
現象再発するかどうか確認されてみてはどうでしょうか。[/quote]上記の件、おっしゃるとおり1分間隔で受信する必要はなく、
またそれが原因になっている可能性も十分ありそうですので
一旦5分周期に設定し、様子を見てみたいと思います。
(中略)
※週明けに設定してみます。[/quote]の結果を待ちます。
結果を待って今回の事象の原因が何かを特定しましょう。

その上で、
何分間隔が妥当かの議論したいなぁと思ってます。


-----


今回の tanaka norio さんの 24時間 1分間隔 POP受信運用については
複数の要素がゴチャゴチャになってる感があり、
ポイントを 3つに分けて考えるべきだと思っています。

【１】

まず一つ目はメールサーバへの受信繰り返し間隔の問題。
これは[quote="EarlgreyTea"]これ、メールサーバーによっては攻撃と判断されてアカウントブロックされても文句言えないレベルです。[/quote]と記されてた部分の観点です。

私がかつて使ってた超安価提供の某レンタルサーバ業者では[quote]利用しているメールソフトの設定内容を確認してください。
現状、自動メール受信間隔が 1分になっている場合は要注意。
1分間隔だと、サーバーで外部からの攻撃と見なすことがありますので、
メールの自動受信は最低でも10分間隔程度にしてください。
10分程度だと、
サーバー側で攻撃元として自動ブロックされることがなくなります。[/quote]てな「注意」喚起されてました。
「禁止」ぢぁなくて「注意」ですね。

今回の tanaka norio さんの場合は法人内でのメール利用だと思われ
そのメールサービスは

・法人として契約してる外部のメールサービス
・法人内で独自に構築運営してるメールサービス

のいずれかと思います。
法人ですから当然そのポート窓口があるはずで、
まずはそのサポート窓口へ
「24時間 1分間隔 POPメール受信運用の是非」について照会確認してみてください。
法人内構築メールサーバなら
トラフィックも含め法人の中のイントラネット内だけの問題ですし、
法人外サーバ使用なら
インタネット上のトラフィックも含めその外部業者との兼ね合いも出てきます。

そして
　・そんな無茶は止めてくれ～外部攻撃と見做されかねないぞぉ～
となるか
　・ウチのサーバ高性能なのでヘッチャラ大丈夫どんどん使って～
となるか
その返答によって
tanaka norio さんのお手元の設定を決められてください。

法人メールサービスサポート部門のお墨付きがあればノープロブレムだと思いますし
お墨付き無ければソレナリの対処に変更すべきかと思います。

なお
あくまで個人的な私見ですが、
一般的なインターネットメールサービスで
24時間 1分間隔の POPアクセスは「アウトかセーフか」と問われれば、
私はアウトの可能性が高い
10対0 とは言わないまでも 9対1か 8対2ぐらいの感覚でアウトの可能性が高いと答えます。
せめて 10分にすべきかなと。
そして
「1分でもOK」をネット拡散すべきでは無いかなと。

【２】

次は PCの性能の問題。
これは[quote="EarlgreyTea"]それで、7:00に Thunderbirdがまとまった数のメールを受信し、
いくつものメッセージフィルターを実行して落ち着くまで、いったい何秒かかるのでしょう。
もし、それが60秒ギリもしくは超過するとすると完全にアウトでしょう。
振り分け先は受信トレイ以外なので受信とはかぶらないように思えますが、
そもそもThunderbird自身が受信もメッセージフィルターも１プロセスなので、
自分自身の排他制御が解除されてないというわけです。[/quote]と記されてた部分の観点です。

私の意見も EarlgreyTea さん指摘されてるソノママですが、
tanaka norio さんは
一回の受信処理に掛かる時間はそもそもどれ位だと見込まれていて
そしてそれが今お使いの PCで実現可能か、
ちゃんと評価されてますか？

これも私見ですが
マイクロソフト提供の Windows と言うデスクトップOSに
さらに外部提供サービスのセキュリティ＆ウイルス対策アプリを常駐させ
さらにこれまた外部提供なフリーのメールソフトを使って、
1分間隔での定期処理を時間内キッチリ終わらせるのに 1分が妥当かどうか
私には自信がありません。
Thunderbird的には処理が終わっていても
他の部分で別処理が動いていて直前の処理の後始末が終わってなくてエラーにとして引っかかるなんて事は
十分に起き得るのかなと。

1分はだめで 2分なら良いか
2分でも駄目なら 5分にすべきか
安全を考え 10分にするか、
逆に
もし 1分が必須ならば
どんな対策を処置すべきか、
整理すべきかと思います。

個人的には
Windowsと言うデスクトップOS のリアルタイム処理を私は信用してません。
たとえば突然に WindowsUodateのチェックが入ったり(注:設定によって抑制は出来ますが)
自分が知らない処理がバックで走ったりしてます。
tanaka norio さんの場合も
0時と 7時と 15時台に現象が集中してるみたいなので
この時間帯に OS(Windows)や セキュリティソフトで何か動いたりしてませんか？

そんなこんなの中で
1分刻みで正確に処理を終わらせかつ繰り返さすには
Windowsパソコンでは無理があり(私見)、
もし 1分が必須ならば
その性能遅滞を押さえ込む高性能な PCを用意する(例: ディスクアクセス高速化の為に SSD搭載いる)とか
Windowsでは無いリアルタイム性を保障する他の仕組みに乗り換えるか
そんな検討をすべきかと思います。

それが出来なければ
現行環境でどこまで間隔を空ければ要求スペック実現できるか検討すべきでしょう。

【３】

最後は人間系の運用の問題、
これは[quote="maji"]上記の状況なら無理して「 1分間隔」受信する必要は無いのでは？[/quote]と記した部分の観点です。

とうも法人内での業務運用みたいで
しかも 24時間 1分間隔で受信＆振り分けされてるとゆ事は、
24時間体制で何らかの監視業務を行っていて
アラート系メールが届いた瞬間に
監視してる人間系でその内容チェックし必要に応じて何らかのアクション取る
そんな業務運用かなと勝手に想像してます。
このあたりの詳細は法人内業務だと思われ特に正誤の返答は求めません。

もし上記の通りとして
今まで 1分間隔受信してたのを 5分にすると
今までメール着信後素早く 1分でメールチェック出来てたのが
　　　　 5分の 1の確率で 4分後に遅れる可能性があり
　　もう 5分の 1の確率で 3分後に遅れる可能性があり
　　もう 5分の 1の確率で 2分後に遅れる可能性があり、、、、、
今まで 1分間隔受信してたのを 10分にすると
今までメール着信後素早く 1分でメールチェック出来てたのが
　　　　10分の 1の確率で 9分後に遅れる可能性があり
　 もう 10分の 1の確率で 8分後に遅れる可能性があり
　 もう 10分の 1の確率で 7分後に遅れる可能性があり、、、、、
てな状態が発生し得るのですが、
tanaka norio さんの係わっておられる法人内業務として
上記の様な 遅れ が
「人間系の判断を含めた業務上」どこまで致命傷になるのかor許容範囲なのか
業務運用の面から検討調整すべきかなと思います。

業務運用上 1分間隔が必須であれば、
POPサーバ受信間隔を含め業務上必須要件を満たす環境を別途に用意すべきかと思いますし
現行の実現環境(PC環境)優先であれば運用上どこまでが許容範囲かを再調整すべきかなと思います。


-----


なお個人的には既に上述した通り
一般的なインターネットメールサービスで
24時間 1分間隔の POPアクセスについて「アウトかセーフか」と問われれば
私は「アウトの可能性が限りなく高い」と答えます。

一人のユーザだけだとまだ大丈夫かもしれませんが
「1分はOK」が拡散し十人/百人/千人/・・・とそんな人が増えちまう事を懸念してます。
そんな行為は慎むべきでしょう。

「あの」Outlookでは 30分が初期値の様ですね。
Thunderbirdの規定値は 10分です。
せめて 10分、もしくはそれ以上にすべきかなと。

法人内使用の場合は
メールサーバの性能も含め法人内で確認ください。


では。


.

[quote="tanaka norio"]一旦5分周期に設定し、様子を見てみたいと思います。[/quote]
majiさんも私も5分間隔という値を推奨していません。
初期値の10分ではダメなのですか？
POPメールはスマホのメールやIMAPとは違います。

maji 様

早々にご連絡くださり、ありがとうございます。

[quote="maji"]
24時間運用で 1分間隔で受信、ですね。
1分間隔ではなく
例えば 10分とか 15分とか 30分とか
間隔を長めに設定すれば、どうなりますか？

上記の状況なら無理して「 1分間隔」受信する必要は無いのでは？

受信間隔が短すぎて、
Thunderbitd的には処理は済んでいても
それ以外で動いてる
ウイルス対策＆セキュリティアプリ(→今回はウイルスバスタークラウド)や
OSそのものの
ファイルアクセス処理が終わりきっていないタイミングで次の受信＆振り分け処理が始まり
ファイルアクセスのエラーとなってるのではと推測します(私見)。

Thunderbirdの受信間隔を長めに設定してみて
現象再発するかどうか確認されてみてはどうでしょうか。
[/quote]

上記の件、おっしゃるとおり1分間隔で受信する必要はなく、
またそれが原因になっている可能性も十分ありそうですので
一旦5分周期に設定し、様子を見てみたいと思います。ありがとうございます。
※週明けに設定してみます。


以上 宜しくお願い致します。

[quote="maji"]07:00ぢゃすとだとか 00:05だとか、
かなり時刻に正確に Thunderbird受信されてるみたですが、
どんなカラクリで Thunderbird定刻受信キックされてるのでしょうか？
1分間隔とか 5分間隔とか割と短い間隔で受信繰り返しキックされてるのでしょうか？？[/quote]
エラーコードに気を取られていて気づきませんでした。すばらしい着眼点です。

[quote="tanaka norio"]上記の件ですが、1分間隔でメールを取得しております。[/quote]
電子メールのPOPサーバーを1分間隔でチェックするというのは、言葉を選ばなければ非常識な運用と言えます。
これ、メールサーバーによっては攻撃と判断されてアカウントブロックされても文句言えないレベルです。
10分間隔では遅いと感じるなら、それは電子メールというツールの使い方を間違えてると思います。
急を要する連絡なら電話すべきですし、リアルタイムなやり取りならSkypeとかSlackとかでチャットするべきです。

それで、7:00に Thunderbirdがまとまった数のメールを受信し、いくつものメッセージフィルターを実行して落ち着くまで、いったい何秒かかるのでしょう。
もし、それが60秒ギリもしくは超過するとすると完全にアウトでしょう。
振り分け先は受信トレイ以外なので受信とはかぶらないように思えますが、そもそもThunderbird自身が受信もメッセージフィルターも１プロセスなので、自分自身の排他制御が解除されてないというわけです。

tanaka norio さん、maji です。
質問回答返信ありがとうございます。

気になった点だけ返信反応させていただきます。

[quote="tanaka norio"]上記の件ですが、1分間隔でメールを取得しております。[/quote]
24時間運用で 1分間隔で受信、ですね。
1分間隔ではなく
例えば 10分とか 15分とか 30分とか
間隔を長めに設定すれば、どうなりますか？

[quote="tanaka norio"]問題の起きる直前の受信時刻は1分前になりますが、
その際には基本メール受信はしておりません。
※毎時0分等、決まった時間に送信されるメールが多いですが
58分、59分といった時間にメール送信されることはほぼありません。[/quote]
上記の状況なら無理して「 1分間隔」受信する必要は無いのでは？

-----

受信間隔が短すぎて、
Thunderbitd的には処理は済んでいても
それ以外で動いてる
ウイルス対策＆セキュリティアプリ(→今回はウイルスバスタークラウド)や
OSそのものの
ファイルアクセス処理が終わりきっていないタイミングで次の受信＆振り分け処理が始まり
ファイルアクセスのエラーとなってるのではと推測します(私見)。

Thunderbirdの受信間隔を長めに設定してみて
現象再発するかどうか確認されてみてはどうでしょうか。

-----

では。


.

maji 様

tanaka norioと申します。
ご連絡くださり、ありがとうございます。

頂きましたご質問につきまして、ご回答させて頂きます。

> 質問１。
> 07:00ぢゃすとだとか 00:05だとか、
> かなり時刻に正確に Thunderbird受信されてるみたですが、
> どんなカラクリで Thunderbird定刻受信キックされてるのでしょうか？
> 1分間隔とか 5分間隔とか割と短い間隔で受信繰り返しキックされてるのでしょうか？？
> そして
> Thunderbird受信振り分けの前後に何か定型処理をされてたりしませんか？？？

上記の件ですが、1分間隔でメールを取得しております。
なお振り分けの前後での定形処理につきましては、
フィルター設定でフィルターを適用するタイミングが以下になっております。

「新着メール受信時」にチェックがあり、「迷惑メール分類前に実行」を選択
※意図的に設定したものではなく、デフォルト設定のままとなります。


> 質問２。
> そもそも一回の(例えば問題の起きる 00:05 とか 07:00とかの受信時の)
> メール受信数(通数)及び容量はどのくらいですか？
> 問題の起きる直前の受信時刻は何時ですか？
> そしてその時(問題の起きる直前の受信)の
> メール受信数(通数)及び容量はどのくらいですか？

上記の件ですが、一回のメール受信数は3～4通程度となります。
いずれもテキストファイルのため、1～10KB/通程度と思います。
※比較的、振り分けNGになりやすい7:00のメールは約2KBでした

問題の起きる直前の受信時刻は1分前になりますが、
その際には基本メール受信はしておりません。
※毎時0分等、決まった時間に送信されるメールが多いですが
58分、59分といった時間にメール送信されることはほぼありません。


> 質問３。
> 今更ですが受信プロトコルは POP ですよね。
> んでもって、
> メールボックス形式は
> mbox形式ですか？ それとも Maildir形式ですか？？

上記の件ですが、POPでの受信となります。
メールボックス形式はmbox形式でした。

以上 宜しくお願い致します。

EarlgreyTea 様

いつもお世話になっております。
ご回答くださり、大変助かります。

> うーん、問題なさそうですねえ。
> ランタイムのログ有効にしてエラー出してる箇所を特定できないか調べてみたんですけど、該当箇所に使えるログ入ってなさそうで無理っぽいですね。
> こうなると、開発環境用意して自分でログ出力入れてビルドして動かす、とかしないとわからなそう。

上記の件、ご提案頂きました内容、なかなかハードルが高そうですね...
こちらは実施するかどうか少し検討させて頂けませんでしょうか。申し訳ありません。

以上 宜しくお願い致します。

tanaka norio さん、maji とゆ者です。
私からも質問させてください。

質問１。

[quote="EarlgreyTea"][quote="tanaka norio"]3/7 07:00
3/13 07:00
3/14 07:00、15:10、15:25、15:40、15:55、16:10
4/1 00:05、07:00[/quote]もしかして、PCが24時間稼働してたりします？
あと 07:00 だけぴったりな時間ですけど、このタイミングになにか定時イベントがあるのですか？[/quote][quote="tanaka norio"]仰るとおり24時間稼動のPCとなりまして、
07:00ちょうどに複数のメールを受信しています。
ただ他の時間帯(17:00等)にも同様の複数のメールを受信していますが
なぜか07:00はよく発生する様でした。[/quote]
07:00ぢゃすとだとか 00:05だとか、
かなり時刻に正確に Thunderbird受信されてるみたですが、
どんなカラクリで Thunderbird定刻受信キックされてるのでしょうか？
1分間隔とか 5分間隔とか割と短い間隔で受信繰り返しキックされてるのでしょうか？？
そして
Thunderbird受信振り分けの前後に何か定型処理をされてたりしませんか？？？

質問２。

そもそも一回の(例えば問題の起きる 00:05 とか 07:00とかの受信時の)
メール受信数(通数)及び容量はどのくらいですか？
問題の起きる直前の受信時刻は何時ですか？
そしてその時(問題の起きる直前の受信)の
メール受信数(通数)及び容量はどのくらいですか？

質問３。

今更ですが受信プロトコルは POP ですよね。

んでもって、
メールボックス形式は
mbox形式ですか？ それとも Maildir形式ですか？？


では。


.

[quote="tanaka norio"]→ ディスク空き容量を確認しましたが以下のとおり
余裕がある状態でした。

308GB中、276GBが空き容量でした[/quote][quote="tanaka norio"]→ 対象フォルダ2つを確認しましたところ
30KBおよび500KB程度使用していました。

※受信フォルダは4.5MBでした[/quote][quote="tanaka norio"]→ メッセージ保存先ですが、単一PC内であり、共有・同期フォルダではありません。[/quote]
うーん、問題なさそうですねえ。
[url=https://www.clear-code.com/blog/2013/6/25.html]ランタイムのログ有効にして[/url]エラー出してる箇所を特定できないか調べてみたんですけど、該当箇所に使えるログ入ってなさそうで無理っぽいですね。
こうなると、開発環境用意して自分でログ出力入れてビルドして動かす、とかしないとわからなそう。

EarlgreyTea 様

本件につきまして、切り分け方法をご連絡くださり、ありがとうございます。
各切り分け観点につきまして、状況を確認しましたので、ご連絡させて頂きます。

> ・書き込みのAPIがエラーを返した
これの可能性としては、書き込み先のファイルが書きこみ禁止になってたとか、ディスクの空き容量不足になってたとかでしょうか。

→ ディスク空き容量を確認しましたが以下のとおり
余裕がある状態でした。

308GB中、276GBが空き容量でした


> ・書き込み先メールフォルダーのサイスが大きすぎる
振り分け先のメールフォルダーのサイズを確認してください。
Thunderbirdのフォルダーペインでそのフォルダーを右クリックし、プロパティを表示して「一般情報」タブの「ディスク上のサイズ」です。

→ 対象フォルダ2つを確認しましたところ
30KBおよび500KB程度使用していました。
※受信フォルダは4.5MBでした


> ・排他処理でロックされている
他のプロセス（プログラム）がそのファイルをつかんで離さないため書きこめないということです。

こういう場合にありがちなのは、
・メッセージ保存先を共有サーバーに置いて複数のThunderbirdで利用していたりしてないでしょうか？
・メッセージ保存先をGoogleドライブ、One Drive、Dropboxなどの同期フォルダー内に置いていませんか？
ですかね。

→ メッセージ保存先ですが、単一PC内であり、共有・同期フォルダではありません。
ただし上記3つのいずれかが原因ということでしたら、排他処理でロックされている
という可能性が一番高い様な気がしております。
※ウイルスバスターが一番怪しい様な気がしますが
ウイルスバスターの検査対象外にすることは難しい状況です...

以上 宜しくお願い致します。

[quote="tanaka norio"]NS_MSG_NOT_A_MAIL_FOLDERは確かによく分かりませんね...[/quote]
0x80550009 は例外的に出たエラーでしたよね。とりあえず、後でよいかと。

[quote="tanaka norio"]NS_MSG_ERROR_WRITING_MAIL_FOLDERは原因が多岐に渡るのですね。
なかなか切り分けが難しそうです...[/quote]
とはいってもたった3つです。

> ・書き込みのAPIがエラーを返した
これの可能性としては、書き込み先のファイルが書きこみ禁止になってたとか、ディスクの空き容量不足になってたとかでしょうか。

> ・書き込み先メールフォルダーのサイスが大きすぎる
振り分け先のメールフォルダーのサイズを確認してください。
Thunderbirdのフォルダーペインでそのフォルダーを右クリックし、プロパティを表示して「一般情報」タブの「ディスク上のサイズ」です。

> ・排他処理でロックされている
他のプロセス（プログラム）がそのファイルをつかんで離さないため書きこめないということです。

こういう場合にありがちなのは、
・メッセージ保存先を共有サーバーに置いて複数のThunderbirdで利用していたりしてないでしょうか？
・メッセージ保存先をGoogleドライブ、One Drive、Dropboxなどの同期フォルダー内に置いていませんか？
ですかね。

偶然的通行人様

ご連絡が遅くなり申し訳ございません。
また切り分けの観点等、ご教示くださり、
大変参考になります。ありがとうございます。

> tanaka norio さんの文面からは、職場環境で起こっている問題のように読めるので、簡単にはできないことかもしれませんが、もし可能なら試してみる意味はあろうかと思うことがあります。

> 準備ができたら、常用プロファイルと並行して、テスト用の新しいプロファイルでも同様の条件で受信し、メッセージフィルタ―の振り分け結果に違いが現われるかどうかを比較することで、何か見えてくることがあるかもしれません。

上記の件ですが、テスト用プロファイルを作成して、検証したいところですが
ご推察のとおり業務で使用しているPCのため、なかなか実施が難しいところとなります。
申し訳ございません。

以上 宜しくお願い致します。

EarlgreyTea様

ご連絡が遅くなり申し訳ございません。
ソースコードを見て頂いたとのことで
大変お手数をお掛け致しました。

> NS_MSG_ERROR_WRITING_MAIL_FOLDER の箇所を見た感じでは、
> ・書き込みのAPIがエラーを返した
> ・書き込み先メールフォルダーのサイスが大きすぎる
> ・排他処理でロックされている
> という原因が考えられます。
>
> NS_MSG_NOT_A_MAIL_FOLDER の方はいまいちわかりませんが、
> メールフォルダーとは別のものを指定していたり、MBOX形式じゃないと判断した場合でしょうか。


NS_MSG_ERROR_WRITING_MAIL_FOLDERは原因が多岐に渡るのですね。
なかなか切り分けが難しそうです...

NS_MSG_NOT_A_MAIL_FOLDERは確かによく分かりませんね...


> もしかして、PCが24時間稼働してたりします？
> あと 07:00 だけぴったりな時間ですけど、このタイミングになにか定時イベントがあるのですか？

仰るとおり24時間稼動のPCとなりまして、
07:00ちょうどに複数のメールを受信しています。
ただ他の時間帯(17:00等)にも同様の複数のメールを受信していますが
なぜか07:00はよく発生する様でした。


> 一度の例外を除いて、連続で受信するメールの1通目、ということになるでしょうか？

必ず1通目のメールという訳ではなく、
同時に受信したメールのいずれかとなります。

以上 宜しくお願い致します。