nao "podes"... um bat não armazena a informação do icon..
agora, se estás a falar mesmo do icon em geral, isso é nas opções dos tipos de ficheiros (Configurador do tipo de ficheiros) ou então usas um programa tipo Iconpackager... (claro que isso só vai se aplicar ao teu sistema)
podes é fazer um atalho para o teu bat com um icon