Analisando propostas

Consumo, armazenamento e tratamento de retorno de Api Json em larga escala

Publicado em 29 de Outubro de 2020 dias na TI e Programação

Sobre este projeto

Aberto

Estou fazendo ingestão de dados diariamente de uma API através do DataFactory da azure, armazenando todas as consultas no DataLakeGen1 em uma pasta nomeada com a data do dia, preciso tratar esses dados e separar para analise através do Power Bi, consumir diretamente do data lake sem conversão esta tornando o processo muito lento e pesado dentro do PBI.

Contexto Geral do Projeto

Não vejo problema em mudar minha abordagem atual, o que consegui foi pesquisando. Tenho um projeto onde preciso consumir diariamente json complexas como: https://api.mercadolibre.com/sites/MLB/search?category=MLB438927 mais precisamente o conteúdo de "results"... Cada retorno fica salvo no banco com a data atual, tendo assim uma análise através do tempo podendo comparar o anuncio X hoje vs ontem em diversos aspectos... Isso se torna grande quando falamos de 50.000 chamadas dessas diariamente, retornando 50 anúncios diferentes em cada uma delas. Esses dados basicamente preciso separar em 2, uma parte são os fatos que acontecem diariamente e podem alterar, preço por exemplo, isso salvo em um grupo de fatos, outra parte são as dimensões como por exemplo nome do produto, link do anúncio dentre outros, são dados que não preciso salvar diariamente, só preciso ter o dado mais recente sendo substituído diariamente... Resumidamente preciso que seja executado e também que me direcione qual o melhor caminho para que eu consiga tocar e fazer alterações necessárias no futuro, tenho uma boa noção e sem preguiça de aprender, só preciso de direcionamento do que estudar. Será uma mistura de projeto com consultoria. Fico a disposição para mais duvidas.

Categoria TI e Programação
Subcategoria Data Science
Tamanho do projeto Médio
Isso é um projeto ou uma posição de trabalho? Um projeto
Disponibilidade requerida Conforme necessário

Prazo de Entrega: Não estabelecido

Habilidades necessárias