Все, я разобрался. В вашей формуле на самом первом баре все величины равны 0. Следовательно формула равна 0/0=Nan (это можно просмотреть, если промотать график в начало). При сглаживании это переполнение растягивается дальше на весь график. Решается очень просто, в формуле нужно поставить "Начинать с" 1го бара.