costumo usar um que se chama octave... nao sei se faz o q queres mas eu gosto bastante.... não será muito user friendly.... mas pode ser que haja por ai alguma gui para ele. sei q tb existe uma versao do math lab para linux (paga obviamente).
Eu uso o Mathematica em linux, não tenho problemas com ele.
Tas a instalar a versão do Windows pelo wine ou a versão linux mm? Porque existe uma versão do mathematica mm para linux.
tentei instalar a versao pa linux claro, ele arranca mas se vais ao help ou qualquer coisa ele desliga-se, ja li que era muito comum no ubuntu. entretanto instalei o maple e corre nas horas