http://docs.mongodb.org/manual/tutorial/install-mongodb-on-ubuntu/

Essa é a melhor forma. Só o apt-get vai pegar uma versão desatualizada; baixar o binário não vai instalar usuários e colocar no auto-start.

Como desinstalar: sudo apt-get remove mongodb-10gen