竹形です。どうも。
「Apache James 遅延」や「Apache James delay」などで検索してみましたが、Jamesが原因で配信に遅延が生じるという情報は見つけることができませんでした。マシン全体の性能やメモリの配分などをチェックしてみてはいかがでしょうか。ちなみに当サーバもJamesを使っていますが、現在の所は特に遅延が起こっている感じはありません。