pues lo ideal es que comience a mirar porque la aplicación está comiendo tanta memoria, con la jvisualvm se puede hacer una idea de toda su aplicación y de lo que consume y para solucionar el problema lea acá http://java.sun.com/javase/technologies/hotspot/gc/gctuning6.html#par_gc.oom