一部のAndroid端末では、Google音声アシスタントが有効になっていると、有線イヤホンマイクのボタンの処理が遅くなることを確認しています。
Google音声アシスタント機能を無効にすることで反応速度が改善されることがあるので、お試しください。Google音声アシスタントの無効化についてはこちらをご参照ください。