Pesquisar

Web scraper para o site OLX

02/03/2022 às 15:19

Descrição do Projeto:

Preciso que seja desenvolvido um módulo de web scraping para o site OLX, considerando os seguintes requisitos:

- Deverá receber como parâmetro de entrada a URL (nela já contém os filtros);
- Deverá buscar apenas os seguintes atributos: Descrição, ID do anúncio, Preço, Link do Anúncio, Data do anúncio;
- Deverá exportar os dados extraídos para um arquivo CSV;
- Durante o processo de coleta e devido à quantidade de anúncios na pesquisa, todas as páginas deverão ser consultadas, não só a página que está sendo mostrada;
- Deverá utilizar o proxy https://www.scraperapi.com/ para baixar o HTML ou algum outro sugerido, no intuito de evitar o bloqueio do IP solicitante;
- Para este proxy, deverão ser cadastradas as chaves API a serem utilizadas durante a consulta e um contador de utilização. Este contador deverá ser resetado mensalmente;
- Caso atinja o limite do contador, deverá utilizar uma outra chave API que está disponível no pool de chaves;
- Deverá ter uma interface simples WEB para cadastro das URLs e da frequência a ser definida para execução da consulta;
- Esta interface poderá ter acesso através de um usuário admin autenticado;
- Os intervalos podem ser: 1min, 5min, 10min, 30min, 1hora, 12horas e 24horas;
- Deverá executar as consultas de acordo com os intervalos definidos;
- A infraestrutura para rodar a aplicação será fornecida, considerando que os requisitos deverão ser passados e acordados entre as partes;
- Para cada coleta deverá ser gerado um arquivo com os dados exportados;
- É fundamental que seja criado um log para todos os erros que ocorrerem durante o processo de scraping. Isso será importante para rastrear mudanças que ocorreram no site e a nomenclatura dos componentes;
- O log poderá ser gerado em arquivo, no próprio servidor de aplicação;
- O formato do campo Preço deverá ser: R$ 2.500,00 -> 2500;
- O formato do campo Data deverá ser: 02-12-2022 15:14;

Atividades do cliente nesse projeto:

Última visualização: 08/03/2022 às 11:19

Última interação: 04/03/2022 às 10:35

Informações adicionais

Categoria: Web, Mobile & Software
Subcategoria: Desenvolvimento Web
Orçamento: Aberto
Nível de experiência: Iniciante
Visibilidade: Público
Propostas: 5
Propostas excluídas: 4
Interessados: 7
Valor Mínimo: R$ 50,00

Cliente

Freelancer vencedor

Propostas (1)
  • Freelancer novo Promovida Aceita Aceita Rejeitada

    Submetido: | Oferta: Privado | Duração estimada: Privado

Nenhuma proposta foi encontrada.

Carregando...
Projetos semelhantes no 99Freelas

Remoção de malwares de site em WordPress - Remover malwares de site em WordPress, deixando o mesmo rodando com todas páginas e plugins funcionando.

Plugin para WordPress + WooCommerce cálculo de frete - Eu preciso de uma solução de plugin plug and play para WordPress e WooCommerce. Plugin de referência: Claudio Sanches – Correios para WooCommerce. HubGo - Gerenciamento ...

Instalação em site PHP simples - Precisa de uma instalação de um site desenvolvido em PHP simples. Fazer configuração do site e banco de dados.

Projeto SaaS de multiatendimento para WhatsApp - Necessitamos de desenvolvedor Node para modificar Whaticket (ou Izing) com uma personalização específica de nossa empresa, onde queremos agregar uma aba lateral à tela d...

Página de vendas em Elementor para produto encapsulado - Preciso de uma página bem feita que tenha boa conversão, seja bem pensado o posicionamento de onde fica o preço, onde serão apresentados os benefícios e onde fica...

Carregando...

Carregando...

Pesquisar

FREELANCERS
PROJETOS
Ocorreu um erro inesperado. Caso o erro persista, entre em contato conosco através do e-mail suporte@99freelas.com.br.