Если использовать 64бит, то уменьшать не обязательно.
Если 32бит - уменьшать нужно из-за сборщика мусора. И из-за того, что в 32бит ОС windows ограничивает оперативную память до 2гб для языков NET(в реальности из-за фрагментации этот объем состовляет 1гб для одного процесса).