Java: Criar programa que pesquise informação na web.

[Rob-Zombie]

Boas,
Ando a desenvolver um trabalho para a cadeira de agentes de inteligência artificial que é basicamente o seguinte:
Uma espécie de agência de viagens representada por 3 agentes que têm de comunicar entre si.

• Agente Representante do utilizador
• Agente que pesquisa Hotéis
• Agente que Pesquisa Aviões

A parte relativa aos agentes, e a comunicação entre eles etc etc está bem encaminhada a minha dificuldade está na aquisição de informação por parte dos Hotéis e Aviões .
Um dos objectivos do trabalho era que os agentes relativos aos hotéis e aviões fossem buscar a informação à web para posteriormente ser processada (de momento estou a usar uma base de dados da minha autoria).
A minha ideia era criar algo que pudesse aceder ao site da ryanair(ou outro qualquer do género), fazer a pesquisa conforme o utilizador especificou , fazer o parsing dos resultados obtidos et voi lá , processar tudo o resto.
Alguém me pode dar uma luzes sobre isto ? como fazer um programa em java para pesquisar na web ? Links,tutoriais, livros ... qq coisa é bem vinda ...

 

[sdvferreira]

epa.. so mesmo por acaso não precisas de ter acesso a base de dados da ryanair, tipo podes tentar é ir ao código da pagina deles e tirar a parte da pesquisa.. digo eu, mas isso assim é muito simples..

usa o firebug, para veres se os comandos funcionam e veres os scripts que o site usa

se tiver alguma ideia depois post here

 

[Rob-Zombie]

epa.. so mesmo por acaso não precisas de ter acesso a base de dados da ryanair, tipo podes tentar é ir ao código da pagina deles e tirar a parte da pesquisa.. digo eu, mas isso assim é muito simples..

usa o firebug, para veres se os comandos funcionam e veres os scripts que o site usa

se tiver alguma ideia depois post here

Sim a minha ideia não é ir à base de dados , é conseguir preencher os campos de pesquisa automaticamente e depois guardar a informação que lá aparece. Vou dar uma olhadela a isso do firebug.

 

[AliFromCairo]

Boas, dá uma vista de olhos no Web-Harvest. Na minha opinião, é uma das melhoras ferramentas open-source para extracção de dados web. Pode parecer complicada à primeira vista, mas depois de veres os exemplos que estão no site, vais ver que até é simples. No entanto, precisas de ter alguma noção de algumas linguagens "relacionadas" com XML, como por exemplo XPath (que também é relativamente simples).

Espero que ajude.

 

[sdvferreira]

Boas, dá uma vista de olhos no Web-Harvest. Na minha opinião, é uma das melhoras ferramentas open-source para extracção de dados web. Pode parecer complicada à primeira vista, mas depois de veres os exemplos que estão no site, vais ver que até é simples. No entanto, precisas de ter alguma noção de algumas linguagens "relacionadas" com XML, como por exemplo XPath (que também é relativamente simples).

Espero que ajude.

está interesante vou já adicionar ao minha lista de software