Cuando se utilizan máquinas virtuales en VirtualBox con discos duros de tamaño dinámico, la imagen en disco tiende a crecer porque al borrar ficheros no se borran los datos, sólo la entrada en la tabla de particiones.
La manera más fácil de reducir de nuevo el espacio físico que ocupa la imagen si tu disco virtual tiene formato .vdi y utilizas Ubuntu es seguir los siguientes 2 pasos:
Primero activar el soporte de TRIM para el disco duro virtual (y se puede dejar activado):
Clik here to view.

Después, ejecutar en el guest:
sudo fstrim -a -v
Fin.