Para hardware, tens 3 opções.
A mais barata (ou já foi) e "simples", raspberry pi com uma distro virada para o nas. Assim como num desktop, configurações ao início podem assustar um pouco mais.
Depois tens dispositivos especializados, variando muito no valor. Qnap e Synology são as marcas mais faladas. Qnap oferece melhor hardware pelo preço, Synology oferece software mais robusto e variado.
Última opção é construir um PC desktop, mini PC, ou usar um portátil sem uso, e usar uma das muitas opções de OS (OpenMediaVault, TrueNas).
Em relação a software, para media, dentro da rede ou via internet tens Plex Media Server, gratuito, excepto a APP mobile. Se só quiseres na rede, ou usar via VPN, JellyFin.
Também tens software para cloud (nexcloud por ex).
VPN, como referiram, WireGuard.
Normalmente usa-se este software via Docker Container, que são uma espécie de OS a correr dentro do OS principal, fazendo que tenha acesso apenas as pastas que defines (Shared Folder). Por exemplo, tudo o que colocas no serviço de Cloud, apenas esse processo tem acesso a ele, e no Windows/smartphone, aparece uma pasta com loguins específico, partindo do princípio que usas Users para coisas diferentes.