Тебе в формуле нужно проверять предыдущее значение трейла (на пред. баре) и если твое новое расчётное значение хуже предыдущего (ниже предыдущего если лонг и выше предыдущего если шорт), то возвращать не новое значение, а предыдущее

тем самым трейл не будет плясать, а будет давать ровные линии, когда нужно