Desenvolvimento de Plataforma de Monitoramento e Análise de Publicações do Diário Oficial (Doe)

O objetivo deste projeto é desenvolver uma plataforma inovadora de transparência pública, focada na automação da coleta, leitura e análise de publicações dos Diários Oficiais (do Estado, municípios e União). A plataforma deverá ser capaz de processar dados mesmo de sites que não oferecem API ou possuem sistemas de busca ineficientes. O foco principal é a identificação de contratos públicos, fornecedores, gastos governamentais e repasses, permitindo uma pesquisa rápida e inteligente por CNPJ, órgão ou tipo de despesa. O projeto será estruturado em etapas: 1. Criação de um crawler para baixar automaticamente arquivos PDF do Diário Oficial, organizando-os por data em uma base local. 2. Aplicação de OCR (reconhecimento óptico de caracteres) para converter PDFs escaneados em texto pesquisável. 3. Extração e indexação de CNPJs do texto limpo, localizando tanto fornecedores (entes privados) quanto CNPJs públicos. Essas informações serão cruzadas com dados do Portal da Transparência e bases da Receita Federal para gerar relatórios automatizados com data, órgão pagador, fornecedor, tipo de contrato e valores, quando disponíveis. 4. Desenvolvimento de relatórios e dashboards interativos, exibindo indicadores como principais fornecedores, evolução de gastos e frequência de publicações por período. A aplicação contará com rotinas agendadas de atualização, logs de execução, sistema de cache e funcionalidade de exportação de dados em formatos CSV ou Excel. O resultado final será uma plataforma web moderna, com código limpo e escalável, priorizando a usabilidade e o acesso aberto a dados públicos. A iniciativa visa fortalecer o controle social, a transparência e a fiscalização cidadã dos gastos públicos.