Um Shift+Delete não te chega?
De modo a não ser recuperável de maneira nenhuma é complicado.
Mas podes experimentar algo tipo isto
O regedit é o editor de registo do Windows onde estão as entradas criadas pela maior parte dos programas que instalas no PC.
Se a questão for para apagar um programa, aí sim ele tem razão. Convém ir ao registo através do regedit para apagares todas as entradas que os programas criam.
Agora se a questão é apenas um ficheiro, isso não se pôe em causa.