Download Vídeos RTP

ppt

Power Member
Aproveitando essa lista de links que criaste, também se podia colocar no jdownloader, acrescentar a coluna filetype para assim encontrar os mp3 e depois iniciar o download.
 

Red_Acid

Power Member
Aproveitando essa lista de links que criaste, também se podia colocar no jdownloader, acrescentar a coluna filetype para assim encontrar os mp3 e depois iniciar o download.
Há muitos anos que não uso o JDownloader mas com certeza que sim, embora não saiba como é que o programa iria tratar da renomeação dos ficheiros para se assemelhar ao que eu fiz e que estará mais-ou-menos de acordo com o que foi pedido.
 

bisonte70

Power Member
Conheço muito bem, infelizmente estão a demorar a aceitar uma pull request que ajuda a resolver o facto de não ser possível fazer downloads do site da RTP. Ainda assim não sei se o suporte para playlists da RTP seria suportado facilmente.


Efectivamente tinha experimentado a carregar e ele abriu-me no Podcast Addict, mas depois de dizeres que não dava, tentei novamente mas desta vez tentei subscrever e não funcionou. O problema é mesmo do lado da RTP que disponibiliza ficheiros RSS com problemas, pelo que recomendo que os contactes para darem seguimento à situação.


Assim, desenvolvi um pequeno script para ser corrido em Node.js para se poder sacar os ficheiros de uma listagem de URLs do site da RTP. Podem consultar aqui: download-rtp-list.js (este poderá ser muito específico para este caso mas com algumas modificações funcionará para outros)

Como não sei a tua proficiência com código, tratei de sacar os ficheiros e aqui estão eles num ZIP: SAPO Transfer.
Depois basta criares uma pasta com eles no telemóvel e usando o Podcast Addict (que é o que também uso), basta carregares no símbolo +, adicionar um "Virtual" e ele vai-te abrir para escolheres a pasta onde estarão os ficheiros. A partir daí podes usar e configurar as opções como noutro qualquer podcast.

Também tenho esse PR no Youtube-dl sobre download do RTP play debaixo de olho sim.
Vou então contactar a rtp no formulário deles a ver se me dizem alguma coisa sobre isto.
Muito obrigado pelo serviço público @Red_Acid :beerchug:.
Obrigado mesmo :+1:

Por curiosidade, como chegaste à lista de links dos episódios de forma eficiente?
Tenho alguma proeficiência com código mas não tanta como tu.
Seria interessante otimizar o teu script para ir buscar de forma directa os episódios novos que existam, e que ignore os já sacados ou já "ouvidos".
 

Red_Acid

Power Member
Por curiosidade, como chegaste à lista de links dos episódios de forma eficiente?
Foi um processo um pouco manual mas aqui vai:
- Abrir a página com a listagem do podcast
- Fazer scroll até ao fundo e insistir até todos os programas aparecerem na listagem
- Abrir o Dev Tools (F12) e na Consola usar o seguinte comando:
Código:
[...document.querySelectorAll('#listProgramsContent > a.vod-audio')].map(eachLink => eachLink.href).reverse().forEach(eachLink => console.log(eachLink));
[...document.querySelectorAll('#listProgramsContent > a.vod-audio')] :arrow: Vai buscar todos os links para as páginas dos episódios

.map(eachLink => eachLink.href) :arrow: Extrai só o href do próprio link

.reverse() :arrow: Reverte a ordem da lista para ficar do mais antigo para o mais recente

.forEach(eachLink => console.log(eachLink)) :arrow: Imprime na consola o link em causa
- Copiar tudo o que aparece e usar um programa de texto para limpar o que não é necessário


Seria interessante otimizar o teu script para ir buscar de forma directa os episódios novos que existam, e que ignore os já sacados ou já "ouvidos".
Poderá ser feito mas vou deixar esse desafio para li. :D Embora mesmo ideal era se a RTP/RDP resolvesse esse problema do lado deles, não faz sentido terem isso não-funcional quando funciona em tantos outros podcasts.
 

pedroleitao.pt

Power Member
Actualizei a página que tinha criado há uns tempos para suportar umas alterações que existiram no RTP Play. Testei com vários vídeos e funcionou com todos, embora não garanta que irá funcionar sempre (nem resolve casos em que o próprio vídeo esteja com problemas).

Este não funciona, pelo menos com RTP!
E o Web Server https://streamdownload.xyz/ está down.

Alguém tem sugestões para RTP?
 

Red_Acid

Power Member
Com o F12 encontram-se e vêem-se os pacotes de videos .ts, mas o ficheiro único .mp4 não funciona.
Estranho, não?!
Não é estranho na medida em que no servidor podem ter definido que não permitem acesso directo a ficheiros MP4 ou então, e aquilo que de momento me parece mais provável, os mesmos já não existem mais no servidor e quando "bate" em qualquer endereço que não existe, reencaminham para a página base do RTP Play. Por exemplo, se tentares aceder ao ficheiro inventado https://streaming-ondemand.rtp.pt/nas2.share/h264/512x384/contemporaneosIII/123123123.mp4, automaticamente és reencaminhado.

Em relação a aparecerem os pacotes TS é porque estes existem mesmo no servidor - como por exemplo este https://streaming-ondemand.rtp.pt/n...4/contemporaneosIII/p1004_2_202006094054-1.ts - e estes são referenciados pelo ficheiro M3U8 associado à página - neste caso, https://streaming-ondemand.rtp.pt/n...4/contemporaneosIII/p1004_2_202006094054.m3u8
 

Red_Acid

Power Member
Bem, depois de ver aqui tantos pedidos, resolvi tentar arranjar uma solução mais definitiva para este problema da RTP.

----

Como já falado há umas publicações atrás, um dos softwares mais utilizados para guardar vídeos dos sites é o youtube-dl. Surgem então duas situações:
- No que toca à RTP, este tem um problema que está identificado e cuja resolução já existe há largos meses mas que ainda não foi aceite pelos programadores principais - está em pull request para quem entende da coisa;
- Por si só é um software para ser usado na linha de comandos e é possível que muitos de vós não estejam confortáveis em usar.

Assim, o que fiz foi gerar uma build do youtube-dl com a resolução desse problema incluída e disponibilizar o seguinte para mais facilmente sacarem os vídeos do RTP Play:

  • Nota prévia: estando fora do país, os vídeos da RTP que tenham bloqueio geográfico só podem ser sacados usando uma VPN ligada a um servidor de Portugal
  • Para Windows
    • DOWNLOAD AQUI (actualizado a 21/05/2021 às 21h00)
    • Extrair e executar o ficheiro YDL-UI.exe (cortesia da interface gráfica aqui disponibilizada)
    • As definições já têm as alterações necessárias na aba Binaries para usar os executáveis que estão na pasta bin e que são necessários para o correcto funcionamento do programa - nunca devem fazer actualização manual do youtube-dl dentro desta aba pois essa actualização irá sobrepor o ficheiro mais importante e irá deixar de funcionar para os vídeos da RTP
    • Poderão alterar as restantes definições, inclusive mudar o idioma para português
    • Na barra superior carregar em Download e depois Add URL..., irá surgir uma nova janela e devem introduzir no campo o endereço da página de onde querem obter o vídeo (por exemplo, https://www.rtp.pt/play/p6242/e430268/sul ou https://www.rtp.pt/play/p8157/telejornal ou https://www.rtp.pt/play/estudoemcasa/p7776/portugues-1-ano, etc.), carregar no botão Add e esperar que o download seja efectuado

  • Para macOS
    • DOWNLOAD AQUI (actualizado a 21/05/2021 às 21h00)
    • Ferramenta desenvolvida recorrendo a um bocado de Shell Scripting e um bocado de AppleScript
    • Muito simples, apenas permite inserir o URL, escolher o directório destino e depois esperar que o download termine na janela que aparece

  • Para Android
    1. Instalar a aplicação Termux da Play Store - https://play.google.com/store/apps/details?id=com.termux
    2. Abrir a aplicação
    3. Copiar todo o comando seguinte, colar na aplicação e carregar no Enter
      Código:
      apt update; pkg install wget -y && wget "https://cld.pt/dl/download/d09f99fd-217e-4475-be76-0437585df3b1/youtube-dl-rtp-support-android.zip" && unzip youtube-dl-rtp-support-android.zip && dos2unix install.sh && chmod u+x install.sh && ./install.sh
    4. O comando executa de forma quase totalmente automatizada a instalação de pacotes e configurações necessárias, a única excepção é que terá de ser permitido pelo utilizador o acesso ao armazenamento interno quando aparecer a janela seguinte (carregar em "Allow"/"Permitir"):
      Screenshot-20210613-174710.png
    5. No final de todo o processo ter terminado, aparecerá o seguinte:
      Screenshot-20210613-175552.jpg
    6. Depois é abrir a aplicação da RTP Play, escolher um vídeo e carregar no ícone de partilhar:
      Screenshot-20210613-175647.jpg
    7. No menu de partilha que aparece escolher a opção Termux:
      Screenshot-20210613-175727.png
    8. A aplicação Termux irá abrir e iniciar automaticamente o processo de download do vídeo:
      Screenshot-20210613-175749.jpg
    9. No final do processo de download, a aplicação fecha sozinha e o vídeo estará disponível na pasta "Downloads-Termux". Depois é só abrir com um qualquer reprodutor de vídeo e desfrutar!
    10. Naturalmente, o processo de instalação será mais rápido ou mais lento dependendo da velocidade da internet e da capacidade de processamento do telemóvel de cada um. O mesmo também se aplica ao download de cada vídeo.

E pronto, acho que é isso. Espero que seja útil!


Infelizmente, parece que o dia temido chegou...:grumpy: Pelo que pude analisar no código fonte de vários vídeos, a RTP está a adicionar protecção DRM em todos eles, o que irá inutilizar a ferramenta e dificilmente nos próximos tempos haverá algo parecido.


As minhas competências técnicas não me permitem muito mais do que fiz até agora, pelo que da minha parte dificilmente irei gastar mais neurónios com isto. Foi bom enquanto durou.
 
Última edição:

pedroleitao.pt

Power Member
Antes de mais, muito obrigado por tudo @Red_Acid.

  • Façam o download do ficheiro aqui
  • Para já apenas para Windows
  • Extrair e executar o ficheiro youtube-dl-gui.exe
  • Aceitar a primeira janela, configurar a segunda relativamente à localização dos downloads se quiserem
  • Nas definições já estão definidos os executáveis que estão na pasta binaries e que são necessários para um correcto funcionamento do programa
  • Introduzir no campo o endereço da página de onde querem obter o vídeo, carregar no botão Download e esperar que o processo termine na janela popup que aparece
Segui as tuas dicas, mas devo estar a fazer qualquer coisa mal...
Descarreguei o ficheiro RAR e descompactei-o.
Lá dentro está 1 pasta e 2 ficheiros.
Abri o youtube-dl-gui.exe.
Sim à primeira janela, não à segunda para configurar a localização.
Abriu o programa e inseri o URL https://www.rtp.pt/play/zigzag/p7108/e523582/era-uma-vez-a-vida sem alterar nenhuma das opções.
Carreguei em DOWNLOAD e abriu uma janela onde estava o seguinte texto:

Beginning download, this box will output progress
Youtube-DL has been found and set
Generating output directory structure
The output was generated and will be used
The quality and format has been set
Looking for ffmpeg
ffmpeg path is null, downloading may be affected
Fix v.redd.it was requested, but ffmpeg hasn't been found
Arguments have been generated and are readonly in the textbox
Creating download thread
Created, starting download thread
[generic] era-uma-vez-a-vida: Requesting header
Error:
WARNING: Falling back on generic information extractor.
[generic] era-uma-vez-a-vida: Downloading webpage
[generic] era-uma-vez-a-vida: Extracting information
[download] Destination: C:\Users\Familiar\Desktop\Era Uma Vez... A Vida - A Boca e os Dentes - ep. 14-era-uma-vez-a-vida.mp4

[download] 0.4% of 228.10KiB at 107.85KiB/s ETA 00:02
[download] 1.3% of 228.10KiB at 323.54KiB/s ETA 00:00
[download] 3.1% of 228.10KiB at 566.72KiB/s ETA 00:00
[download] 6.6% of 228.10KiB at 984.35KiB/s ETA 00:00
[download] 13.6% of 228.10KiB at 1.74MiB/s ETA 00:00
[download] 27.6% of 228.10KiB at 1.41MiB/s ETA 00:00
[download] 55.7% of 228.10KiB at 1.78MiB/s ETA 00:00
[download] 100.0% of 228.10KiB at 2.46MiB/s ETA 00:00
[download] 100% of 228.10KiB in 00:00
Download has finished.


Quando abri o ficheiro de video mp4 gerado, tinha apenas 6 segundo e estava sem audio.
O que fiz de mal?

Obrigado pela paciência!
 

BiboPenta

Power Member
Bem, depois de ver aqui tantos pedidos, resolvi tentar arranjar uma solução mais definitiva para este problema da RTP - e não, não funciona para a OPTO da SIC.

----

Como já falado há umas publicações atrás, um dos softwares mais utilizados para guardar vídeos dos sites é o youtube-dl. Surgem então duas situações:
- No que toca à RTP, este tem um problema que está identificado e cuja resolução já existe há largos meses mas que ainda não foi aceite pelos programadores principais - está em pull request para quem entende da coisa;
- Por si só é um software para ser usado na linha de comandos e é possível que muitos de vós não estejam confortáveis em usar.

Assim, o que fiz foi gerar uma build do youtube-dl com a resolução desse problema incluída e usar a interface gráfica aqui disponibilizada (na versão portátil) para criar um ZIP para que possam mais facilmente usar para download dos vídeos do RTP Play.

  • Façam o download do ficheiro aqui
  • Para já apenas para Windows
  • Extrair e executar o ficheiro youtube-dl-gui.exe
  • Aceitar a primeira janela, configurar a segunda relativamente à localização dos downloads se quiserem
  • Nas definições já estão definidos os executáveis que estão na pasta binaries e que são necessários para um correcto funcionamento do programa
  • Introduzir no campo o endereço da página de onde querem obter o vídeo, carregar no botão Download e esperar que o processo termine na janela popup que aparece

E pronto, acho que é isso. Espero que seja útil!

És um fenómeno! Funciona perfeitamente :001:

Antes de mais, muito obrigado por tudo @Red_Acid.
Quando abri o ficheiro de video mp4 gerado, tinha apenas 6 segundo e estava sem audio.
O que fiz de mal?
Obrigado pela paciência!

Tentei o teu link e também não consegui, talvez seja por ser ZigZag Play?
 

Red_Acid

Power Member
Quando abri o ficheiro de video mp4 gerado, tinha apenas 6 segundo e estava sem audio.
O que fiz de mal?
Pelos vistos e tal como o @BiboPenta referiu, o problema foi mesmo o facto de ser do ZigZag Play. A página tem uma especificidade em relação à generalidade das outras do RTP Play pelo que não estava a localizar o ficheiro correcto para fazer o download.

Posto isto, resolvi essa questão e já gerei uma nova build com tudo resolvido, a qual já está actualizada no meu comentário anterior. Pelo menos esse vídeo já vais conseguir sacar. :winknu:
 
Pelos vistos e tal como o @BiboPenta referiu, o problema foi mesmo o facto de ser do ZigZag Play. A página tem uma especificidade em relação à generalidade das outras do RTP Play pelo que não estava a localizar o ficheiro correcto para fazer o download.

Posto isto, resolvi essa questão e já gerei uma nova build com tudo resolvido, a qual já está actualizada no meu comentário anterior. Pelo menos esse vídeo já vais conseguir sacar. :winknu:

Boa tarde a todos,
O zigZag ficou na perfeição.

Continuo a não conseguir sacar uma aula do #estudoemcasa para ser vista num PC numa zona sem internet .

https://www.rtp.pt/play/estudoemcasa/p7774/e508169/estudo-do-meio-e-cidadania-1-ano
Será que alguém podia dar uma ajuda, para ultrapassar a situação ?

Agradeço desde já qualquer ajuda.
 

Red_Acid

Power Member
Boa tarde a todos,
O zigZag ficou na perfeição.

Continuo a não conseguir sacar uma aula do #estudoemcasa para ser vista num PC numa zona sem internet .

https://www.rtp.pt/play/estudoemcasa/p7774/e508169/estudo-do-meio-e-cidadania-1-ano
Será que alguém podia dar uma ajuda, para ultrapassar a situação ?

Agradeço desde já qualquer ajuda.
Mais uma moedinha e mais uma voltinha... :-D Desta vez o problema era parecido com o do ZigZag, pelo que neste momento transformei a abordagem para algo mais genérico e que deverá funcionar para qualquer novo endereço que a RTP decida criar - mas nunca fiando.

Já coloquei uma nova versão no comentário "original" pelo que é uma questão de tentares usando a mesma.
 
Mais uma moedinha e mais uma voltinha... :-D Desta vez o problema era parecido com o do ZigZag, pelo que neste momento transformei a abordagem para algo mais genérico e que deverá funcionar para qualquer novo endereço que a RTP decida criar - mas nunca fiando.

Já coloquei uma nova versão no comentário "original" pelo que é uma questão de tentares usando a mesma.

Muito obrigado @Red_Acid pela rápida ajuda. Funciona na perfeição ! :victory::victory::victory::clap::clap::clap:
 
Topo