Criação da Maior Base de Dados de Um Dado Setor (confidencial por agora) com Dados Públicos

O objetivo deste projeto é desenvolver uma base de dados de grande escala, altamente estruturada e fundamentada em informação proveniente de fontes públicas. O freelancer será responsável por identificar, recolher, organizar e normalizar um volume significativo de dados textuais provenientes de múltiplas plataformas abertas, bem como garantir a sua integridade, coerência e atualidade.

A solução final deverá ser robusta, pesquisável e otimizada para consultas complexas, servindo de referência interna para análise, investigação e desenvolvimento de produtos baseados em dados. O projeto abrange todas as fases — desde a conceção da arquitetura da base de dados até à implementação de ferramentas de extração automatizada (como web scraping e ETL pipelines), integração contínua de novos conteúdos e criação de uma interface de consulta eficiente.

Responsabilidades principais:
Mapear e identificar fontes públicas relevantes para recolha de grandes quantidades de informação textual.
Desenvolver scrapers, crawlers e pipelines automatizados (ETL) para recolha e atualização frequente de dados.
Estruturar e normalizar dados complexos, garantindo coerência interna, versionamento e rastreabilidade.
Conceber e implementar a arquitetura da base de dados, assegurando escalabilidade e performance.
Desenvolver uma interface de consulta interna simples, rápida e funcional.
Colaborar com a equipa para definir requisitos técnicos e assegurar a qualidade do produto final.

Competências técnicas necessárias:
Forte experiência em web scraping, automação, crawling e análise de dados provenientes de fontes públicas.
Domínio de Python (BeautifulSoup, Scrapy, Selenium, etc.) Ou tecnologias equivalentes.
Experiência sólida em bases de dados relacionais e não relacionais (PostgreSQL, ElasticSearch, MongoDB, etc.).
Conhecimentos de pipelines ETL, gestão de grandes volumes de dados e limpeza/normalização de textos.
Capacidade de lidar com dados complexos, estruturados e não estruturados.
Experiência com APIs, gestão de metadados e criação de sistemas de pesquisa otimizados.
Valorizam-se competências em desenvolvimento de interfaces (web) para consulta interna.

Perfil ideal:
Excelente capacidade analítica e atenção ao detalhe.
Capacidade de trabalhar com informação sensível e em contexto de confidencialidade.
Autonomia, rigor e compromisso com prazos.
Experiência em projetos que envolvam grande profundidade técnica e estruturas de dados complexas.