Como dice Juan, es porque la aplicación consumió toda la memoria que tenia reservada la vm.
Puede ser por dos razones:

1. Como dice efectivamente juan, tu aplicación esta haciendo un uso indebido de la memoria.
2. El servidor de aplicaciones en el que estas desplegando esta con la configuración por defecto, la cual es de baja carga y para ello debes hacerle tuning para que soporte una carga mas pesada. Pero debes ser muy cuidadoso con esto debido a que puede ser un bug y solo lo estarías ocultando con el aumento de memoria.
   
   El tunning básico consiste en (ejem: tomcat):

• Aumentar Initial Memory pool (Xms)cuyo valor por defecto 128m.
• Aumentar Maximum Memory pool (Xmx) uyo valor por defecto es 256m.

Eso es lo basico del tuning hay cosas mas interesantes como configuración de la frecuencia de lanzamiento del garbage colector, numero de hilos, configuracion de la vm en modo server, etc.. Esto lo puedes encontrar en el link que te dejo Juan.