Что имеется в виду под память наросла? Если смотрите в диспетчере задач, то там не всегда актуальная информация. Если свободной памяти много, то NET "захваченную" память может сразу и не отдать, в надежде, что она понадобится.