Coleta e comparação de preços com web scraping
CLI educacional em Python que coleta resultados de busca com limites explícitos, extração defensiva e exportação em CSV.
- Papel
- Desenvolvimento do coletor e da exportação
- Stack
- Python · BeautifulSoup · Requests · CSV
- Resultado
- Coleta configurável de até dez páginas, exportação compatível com Excel e quatro testes offline.
Problema
Comparar muitos resultados de busca manualmente é repetitivo e dificulta análises históricas. O projeto explora como transformar páginas de produtos em uma tabela simples que possa ser filtrada e estudada.
Implementação
O scraper usa Requests para buscar as páginas e BeautifulSoup para interpretar o HTML. A CLI recebe o termo, o limite de páginas, o intervalo e o arquivo de destino. Timeout, validação dos limites e erros HTTP tornam a execução previsível.
Cada resultado é interpretado dentro de seu próprio cartão, evitando que títulos e preços de produtos diferentes sejam combinados. O resultado é um CSV com título, preço, URL e data da coleta, adequado para comparação ou processamento posterior.
Quatro testes usam HTML local para validar URLs, extração e exportação sem gerar tráfego no site de origem.
Limitações
Este é um projeto educacional. Seletores HTML podem mudar, preços podem depender de região ou sessão, e qualquer coleta real precisa respeitar limites de acesso e os termos do site de origem. O projeto não tenta contornar CAPTCHA ou mecanismos antibot; para produção, uma API oficial é a opção adequada.