Разобрался. Роутер-собака портил мне жизнь. К нему подключены два Wan входа, трафик, соответственно делится между этими двумя каналами. Если пакет проходил через WAN2 (провайдер Интерзет), он благополучно пропадал. Если через WAN1 (Ростелеком), все было хорошо. Отсюда и проблемы. Сейчас прикрутил сервер почты в роутере к WAN1. Стало все нормально