Это много памяти при старте занимает?
У меня на этой машине только сервер игрушки и стоит. Не веб сервер, ничего нету...

Из программ, которые мне нужно, это ssh, ftp и все!
Как можно найти и удалить все ненужное?

#apt-get install htop
$htop

Это консольный системный монитор, он покажет все запущенные процессы и потребляемые ими ресурсы. Смотрите, анализируйте и #apt-get remove --purge то что не нужно.

--purge не слишком?  :o

Зависит от того хочет ли человек конфиги сохранить которые правил к примеру в /etc, иногда даже полезно, и да лучше:
$ aptitude purge _название_пакета_

Такой маленький совет - перед чисткой:
$ dpkg --get-selections "*" > /home/user/my_packages.txt
Это создаст список установленных пакетов

Восстановить потом:
$ dpkg --set-selections < /home/user/my_packages.txt
$ apt-get -u dselect-upgrade