Транзак не работа в 64бит режиме. Если переполнение памяти у вас происходит в режиме торговли, то стоит ограничить историю по которой идет расчет скрипта (ов). Обычно хватает 500-2000 свечей