Como sabes que a parte de acordar o PC vem da gráfica? Eu tenho um 4670k com uma 480 e não tenho nenhum dos problemas que mencionas, podes até ter tido algum azar...
Quanto a passar isso para ITX, vais ter que mudar de plataforma, se não achares uma motherboard ITX dessa geração (que já são bastante raras mesmo em segunda mão). Terias que basicamente trocar a tua base toda, e terias de re-pensar o arrefecimento todo. Dependendo da caixa, podes ter que trocar de fonte, trocar a motherboard é essencial, e se actualizares a plataforma para algo mais recente, então tens que trocar motherboard, cpu e RAM, pelo menos.
Na parte da gráfica, não és forçado a trocá-la. Como disse, tenho a 480 metida numa caixa ITX. O teu problema maior, a meu ver, é estares a jogar 4K com 4GB de VRAM, é claramente pouco. O tamanho das mesh e assim em 4K consomem muita VRAM.