O Selenium permite executar testes automatizados, principalmente testes funcionais (normalmente GUI). Existem outras ferramentas do género, como o Robot Framework, que pode usar o próprio Selenium, como uma abstracção para facilitar o desenvolvimento. Este tipo de ferramentas são óptimas (quase essenciais) para garantir uma boa estratégia de testes de regressão.
Para medir tempos de resposta (testes de performance, carga, stress), existem algumas ferramentas como o Jmeter, os as Testing Tools do Visual Studio. Existe também o LoadUI. Depende do objectivo.
Para testar webservices existe também o SoapUI, mas aqui é mais para testes funcionais.