Funções para scraping e automação de navegação em PHP ou Python
30/12/2024 às 10:04Descrição do Projeto:
Tarefa 1: componente de conexão a um browser recente, na modalidade OLE (Object Linking and Embedding), como era possível de se fazer com o Internet Explorer. Exemplos de usos anteriores, com IE:
ie_ = CreateObject("InternetExplorer.Application")
ie_.Navigate("https://www.google.com/")
html = ie_.Document.Body.innerHtml
Além de scraping, esse modelo permite clicar, alterar, executar posts, etc., já que o browser fica instanciado como um objeto e expõe seus métodos e propriedades.
Preciso de algo semelhante, porém para um browser atualizado (Chrome, Edge, Firefox...), já que muitos sites não funcionam mais com o antigo IE...
Ou, como alternativa, conseguir fazer o IE abrir sites novos, que não sejam compatíveis (ex.: https://legislacao.fazenda.rj.gov.br/wcc/?web_id=80961).
Tarefa 2:
Desenvolvimento de uma função para scraping, que receba uma URL e devolva o HTML obtido. Porém, não basta ser o HTML da carga inicial [que poderia ser obtido simplesmente com um simples file_get_contents($url)], pois preciso que o componente espere a execução de javascripts da página e devolva apenas o HTML final, após esses processamentos automatizados no site de origem. URLs de exemplo: https://legislacao.fazenda.rj.gov.br/wcc/?web_id=558155 e https://legislacao.fazenda.rj.gov.br/wcc/?web_id=WCC42000046500.
Essas URLs executam um processamento após a carga inicial e o conteúdo final só é carregado depois desse processo, portanto usar o file_get_contents não traz o conteúdo correto.
Atividades do cliente nesse projeto:
Última visualização: 03/01/2025 às 16:41
Tem dúvidas? Faça uma pergunta.
ou
Informações adicionais
| Categoria: | Web, Mobile & Software |
|---|---|
| Subcategoria: | Outra - Web, Mobile & Software |
| Orçamento: | Aberto |
| Nível de experiência: | Intermediário |
| Visibilidade: | Público |
| Propostas: | 19 |
| Interessados: | 29 |
| Tempo restante: | |
| Valor Mínimo: | R$ 50,00 |
-
Submetido: | Oferta: Privado | Duração estimada: Privado
-
Submetido: | Oferta: Privado | Duração estimada: Privado
-
Submetido: | Oferta: Privado | Duração estimada: Privado
-
Submetido: | Oferta: Privado | Duração estimada: Privado
-
Submetido: | Oferta: Privado | Duração estimada: Privado
-
Submetido: | Oferta: Privado | Duração estimada: Privado
-
Submetido: | Oferta: Privado | Duração estimada: Privado
-
Submetido: | Oferta: Privado | Duração estimada: Privado
-
Submetido: | Oferta: Privado | Duração estimada: Privado
-
Submetido: | Oferta: Privado | Duração estimada: Privado
-
Submetido: | Oferta: Privado | Duração estimada: Privado
-
Submetido: | Oferta: Privado | Duração estimada: Privado
-
Submetido: | Oferta: Privado | Duração estimada: Privado
-
Submetido: | Oferta: Privado | Duração estimada: Privado
-
Submetido: | Oferta: Privado | Duração estimada: Privado
-
Submetido: | Oferta: Privado | Duração estimada: Privado
-
Submetido: | Oferta: Privado | Duração estimada: Privado
-
Submetido: | Oferta: Privado | Duração estimada: Privado
-
Submetido: | Oferta: Privado | Duração estimada: Privado
Ajuste de template para site WordPress - Não estou conseguindo aplicar o modelo e o template que quero para o site. Está ocorrendo algum erro e a página está branca.
Robô de trading para Forex - Quero criar um robô simples de trading para rodar no MetaTrader 5, no mercado Forex, onde eu controlo a hora que o robô vai ligar e desligar. O objetivo é automatizar o que eu f...
Criar bot para envio de sinais via Telegram - Criar um bot com envio de sinais via Telegram. A configuração de entrada será baseada no valor de aposta, ou seja, o bot terá que analisar qual das cores tem um valor d...
Recuperar conta no Instagram - Olá, tudo bem? Gostaria de uma pessoa, não é necessário ser profissional, para me ajudar com minha conta no Instagram. Minha mãe perdeu o acesso a sua antiga co...
Correção de bug em aplicativo de mobilidade - Tenho um aplicativo voltado para a mobilidade que está parado devido a um bug. Não sou programador, mas o aplicativo não está mais conectando. Preciso de alguém p...
