А что за формула? похоже в ней возникает переполнение (деление на 0). Такое сгладить нельзя