Não experimentei nenhuma, mas coletei comparações e opiniões na internet.

Adiantando a conclusão, VirtueMart (módulo do Joomla) me parece o melhor começo.

---

Fonte: http://tech.amikelive.com/node-61/free-php-open-source-ecommerce-shopping-carts-reviews-and-prospects/
Magento: o mais profissional, mas o mais complicado de instalar e usar, e consome muitos recursos (server & client!).
osCommerce: o mais antigo, mais famoso, muitos módulos e complexidade, mas meio carente de recursos-padrão.
ZenCart: filho melhor do osCommerce.
VirtueMart: parece o melhor destes 4. Módulo do Joomla, o que na verdade é uma vantagem: pode aproveitar outros módulos.

De e-lojas: 
Quick.Cart: simples, rápido e leve, tanto que não tem BD.
phpShop: não tem tantas funcionalidades, mas é fácil de customizar e de entender.
osCMax: versão do osCommerce com muitas novas funcionalidades. O problema é que os templates profissionais não são gratuitos.
VirtueMart: dá pra fazer tudo on-line, e tem um pacote Joomla eCommerce.
PrestaShop: Front-end separado de Back-office; visual separado do funcional; língua portuguesa em desenvolvimento.

VirtueMart vs. osCommerce: analisando os prós e contras, VM me parece melhor. (E ao autor também.)

Aqui tem uma tabela legal, mas não fala de instalação; mesmo assim VM melhor que osCommerce. Magento requer servidor semi-dedicado.

osC x VM: Aqui, o cara vota no OsCommerce:
- Ele não gosta de VM depender do Joomla;
- Por VM não ter template o visual é limitado;
- VM com fórum pouco ativo e em inglês;
- VM com carência de soluções para correios e boletos no Brasil.
- osCommerce tem templates com aspecto profissional.
- osC suporta grande volume de produtos;
- osC tem grande variedade de módulos.

Porém, as vantagens que eu vejo para VM nesse mesmo post:
- Fácil de configurar;
- Joomla é uma vantagem, pois permite outros módulos;
- Não requer muito conhecimento de PHP;
- osC exige mudanças em PHP e até SQL para customizar o tema da loja;
- osC tem administração complexa e cheia de configurações a fazer;
- osC não é 100% em português, mas VM é.
- osC demanda maior tempo de treinamento do dono da loja.