Eu vejo 1080p sem breaks num AthlonXP 3200+ e com uma 7800GS. O problema é que o pessoal instala montes de codecs que não servem para nada, quando na realidade bastam 2 ou 3 específicos para tudo.
A combinação que dá melhor performance possível para ver 1080p e 720p é CoreAVC + Media Player Classic. O CoreAVC é um codec específico para x264, de alta performance. Sem este codec só consigo ver 720p.
O decoder interno do VLC é uma banhada, se não queres usar o CoreAVC, tenta com o FFDShow. Sempre tem um decoder x264 melhor.
A nível de codecs, aconselho-te a desintalares tudo o que tens e a instalares só o FFDShow, que descodifica todos os formatos. Mais o CoreAVC, claro.