Pesquisar

Web scraper para o site OLX

02/03/2022 às 15:19

Descrição do Projeto:

Preciso que seja desenvolvido um módulo de web scraping para o site OLX, considerando os seguintes requisitos:

- Deverá receber como parâmetro de entrada a URL (nela já contém os filtros);
- Deverá buscar apenas os seguintes atributos: Descrição, ID do anúncio, Preço, Link do Anúncio, Data do anúncio;
- Deverá exportar os dados extraídos para um arquivo CSV;
- Durante o processo de coleta e devido à quantidade de anúncios na pesquisa, todas as páginas deverão ser consultadas, não só a página que está sendo mostrada;
- Deverá utilizar o proxy https://www.scraperapi.com/ para baixar o HTML ou algum outro sugerido, no intuito de evitar o bloqueio do IP solicitante;
- Para este proxy, deverão ser cadastradas as chaves API a serem utilizadas durante a consulta e um contador de utilização. Este contador deverá ser resetado mensalmente;
- Caso atinja o limite do contador, deverá utilizar uma outra chave API que está disponível no pool de chaves;
- Deverá ter uma interface simples WEB para cadastro das URLs e da frequência a ser definida para execução da consulta;
- Esta interface poderá ter acesso através de um usuário admin autenticado;
- Os intervalos podem ser: 1min, 5min, 10min, 30min, 1hora, 12horas e 24horas;
- Deverá executar as consultas de acordo com os intervalos definidos;
- A infraestrutura para rodar a aplicação será fornecida, considerando que os requisitos deverão ser passados e acordados entre as partes;
- Para cada coleta deverá ser gerado um arquivo com os dados exportados;
- É fundamental que seja criado um log para todos os erros que ocorrerem durante o processo de scraping. Isso será importante para rastrear mudanças que ocorreram no site e a nomenclatura dos componentes;
- O log poderá ser gerado em arquivo, no próprio servidor de aplicação;
- O formato do campo Preço deverá ser: R$ 2.500,00 -> 2500;
- O formato do campo Data deverá ser: 02-12-2022 15:14;

Atividades do cliente nesse projeto:

Última visualização: 08/03/2022 às 11:19

Última interação: 04/03/2022 às 10:35

Informações adicionais

Categoria: Web, Mobile & Software
Subcategoria: Desenvolvimento Web
Orçamento: Aberto
Nível de experiência: Iniciante
Visibilidade: Público
Propostas: 5
Propostas excluídas: 4
Interessados: 7
Valor Mínimo: R$ 50,00

Cliente

Freelancer vencedor

Propostas (1)
  • Freelancer novo Promovida Aceita Aceita Rejeitada

    Submetido: | Oferta: Privado | Duração estimada: Privado

Nenhuma proposta foi encontrada.

Carregando...
Projetos semelhantes no 99Freelas

Desenvolver front-end para CRM - Procuramos um desenvolvedor front-end para criar a interface de um CRM com cerca de 10 telas, seguindo o design fornecido pelo web designer. O profissional trabalhará em conjunto com nosso d...

Edição em site WordPress e Elementor - Adicionar produtos, mudar textos e fotos, e outros detalhes relevantes para finalizar o projeto. É necessário saber usar o WordPress e o Elementor.

Correção de bug em formulário de sistema web - Boa noite! Estou desenvolvendo um sistema em HTML, CSS, JS, Bootstrap, back end PHP e banco MySQL. Tem um modal que é responsável por editar o endereço de um cliente já ...

Remodelar admin com suporte a idiomas - Laravel - Descrição do projeto: Precisamos de um programador Laravel para modificar o Admin, adicionando suporte a idiomas. O Admin está em uma estrutura básica, e agora vamos pr...

Check-out de carrinho de compras em Flutter - Descrição do projeto: Preciso de um profissional para fazer o check-out em Flutter de um carrinho de compras para um sistema de pedidos de delivery, contendo as seguintes informa&cced...

Carregando...

Carregando...

Pesquisar

FREELANCERS
PROJETOS
Ocorreu um erro inesperado. Caso o erro persista, entre em contato conosco através do e-mail suporte@99freelas.com.br.