Nach einer Installation des Standard-Raspbian Images war auf meiner 4GB SD-Card bereits über 60% des Speichers verbraucht. Deshalb habe ich mich mal schlau gemacht, wie man den xserver und möglichst alle Desktoppakete entfernen kann.

Mit diesen drei Removes konnte ich den Footprint wieder auf etwas mehr als 1GB reduzieren:

sudo apt-get remove --auto-remove --purge libx11-.*
sudo apt-get remove desktop-base lightdm lxappearance lxde-common lxde-icon-theme lxinput lxpanel lxpolkit lxrandr lxsession-edit lxshortcut lxtask lxterminal obconf openbox raspberrypi-artwork xarchiver xinit xserver-xorg xserver-xorg-video-fbdev
sudo apt-get remove gnome-themes-standard-data
sudo apt-get remove desktop-file-utils xdg-utils
sudo apt-get autoremove
sudo apt-get autoclean

Quelle: http://raspberrypi.stackexchange.com/questions/4745/how-to-uninstall-x-server-and-desktop-manager-when-running-as-headless-server