Estruturador de dados

Resumo do projeto: somos um time de profissionais de análises de dados, estatística, matemática, tecnologia com um projeto em pleno desenvolvimento que se propõe a causar um forte impacto social no país. Para isso estamos construindo um time forte de profissionais com diferentes experiências e habilidades. Estamos no preparando para conversar com investidores que já demonstraram interesse na possível startup e estamos propondo este teste inicial, com uma demanda bastante simples para obter uma melhor percepção sobre desenvolvedores que muito provavelmente serão convidados a compor nosso unidade de Information Technology.


resumo desta fase do projeto: estruturador de dados
estou precisando otimizar o tempo de organização de dados coletados em diversas fontes de dados, com o objetivo de obter bases de dados padronizadas em arquivo único.

Funcionalidades básicas:

1) Input de dados nos formatos txt, csv, xls, xlsb, xlsx
2) Output de dados nos fomatos txt, csv
3) Interface de operação: Interfase bem básica (uso interno)
4) Operações a realizar:
4.1) Input de dados: Possibilidade de upload de até 30 arquivos simultâneos.
4.1.1) Observações sobre upload de dados:
- Desejável que o sistema processe um arquivo por vez, para não sobrecarregar o sistema e a capacidade de processamento.
- Os dados dos arquivos de input de cada arquivo, devem ser “escritos” um abaixo do outro no arquivo de output, repeitando a mesma ordem de colunas em todos os arquivos de input.
4.2) Opções de customização dos dados (operações à realizar):
4.2.1) Edição de cabeçalho: Editar o texto de cabeçalho de cada coluna, formato do dado da coluna (Exemplo: Para a coluna nº3 dos arquivos de Input, escrever no arquivo de output, o cabeçalho "Nome do Cliente", e colocar dados na coluna nº 28 do arquivo de output)
Restrições de aplicação: Aplicável até 100 colunas, campo texto para descrição de cabeçalhos com até 50 caracteres, possibilidade de apenas 01 formato de dados por coluna, com lista de tipos de formatos (Exemplo: Número, ABC, Data, Valor, Moeda e outros) a ser escritos em campo texto com até 20 caracteres.
4.2.2) Edição dos dados: Editar a escrita dos dados, de acordo com os códigos de dados do arquivo de Input (Exemplo: Na coluna nº4 do arquivo de Input há a informação "Gênero", sendo os dados preenchidos como "01" e "02". A opção de edição de dados permite que o usuário informe para cada coluna o dado de de-para, neste caso, para a coluna nº4 o sistema lê no arquivo de input "01" e vai escrever no output "masculino" e vai ler no arquivo de input "02" e vai escrever no output "feminino"
restrições de aplicação: aplicável para as mesmas colunas (até 100 colunas), campo texto de até 50 caracteres para determinar informação contida no arquivo de input e campo texto de até 50 caracteres para determinar informação contida no arquivo de output, possibilitando o cadastro de até 20 opções de resposta em cada coluna
4.2.3) Inserção de dados de Coleta: Permite determinar o nº da coluna a ser preenchido com o nome do arquivo de input dos dados. Como será possível escolher mais de um arquivo de input (Exemplo:”Censo_2010_SP.txt”), o sistema deve escrever os diferentes nomes de arquivos de input em cada linha.


Restrições de aplicação: Campo gerado automaticamente com o nome do arquivo de input em formato texto, limitado a 30 caracteres, possibilitando caracteres como “_” “,” “.” “-“ E “/”.
4.2.4) Inserção de dados sobre a origem dos dados: Permite determinar o nº da coluna com o dado a ser inserido, campo para determinar  descrição do cabeçalho e campo com informação a ser repetida em todas as linhas
Restrições de aplicação: Aplicável para até 5 colunas, com campo texto de até 50 caracteres para descrição do cabeçalho e campo texto de até 50 caracteres para descrição da informação de texto a ser repetida em todas as linhas do arquivo de output
4.2.5) Extração de parâmetros da base de output: Permite emitir um arquivo .txt contendo o número da coluna, descrição do cabeçalho, formato do dado, descrição das respostas (opções cadastradas no item 4.2.2), incluindo as colunas adicionadas nos itens 4.2.4.
Restrições de aplicação: Arquivo em formato txt, contendo dados conforme informações abaixo:
- Coluna 1:
Cabeçalho: “ARQUIVO_OUTPUT”
Informação nas linhas: Nome do arquivo de output, limitado a 30 caracteres, possibiltando caracteres como “_” “,” “.” “-“ E “/”
- Coluna 2:
Cabeçalho: “DATA_GERACAO”
Informação nas linhas: Data da geração do dados, formato dd/mm/aaaa
- Coluna 3:
Cabeçalho: “HORA_GERACAO”
Informação nas linhas: Hora da geração do dados, formato hh:mm
- Coluna 4:
Cabeçalho: “NUM_COLUNA”
Informação nas linhas: Campo de número, contendo número das colunas do arquivo de output
- Coluna 4:
Cabeçalho: “CABECALHO”
Informação nas linhas: Campo texto com descrição de cabeçalho, com até 50 caracteres
- Coluna 4:
Cabeçalho: “DADOS”
Informação nas linhas: Campo texto com descrição das respostas contidas nesta coluna; sendo um campo texto com as descrições de resposta, separadas por “;”.
4.3) Geração de arquivo final: Possibilidade de extração de apenas 01 arquivo txt por vez. Ao finalizar a customização das operações (item 4.2), o usuário deve clicar em “gerar dados” e o sistema solicita seleção de local para download do arquivo final e campo para nomear o arquivo. Ao iniciar o processamento dos dados, o sistema deve manter de alguma forma visível o andamento (%) da operação e se possível, algum referência de evolução (exemplos: 100kb de 200kb, tempo restante 08 minutos ou ainda processando base 01 e 15).

4.4) Capacidade de processamento: O sistema tem como objetivo processar um grande volume de dados com padronização de dados, velocidade e capacidade de operar em computadores com características domesticas (sem necessidade de alta capacidade de processamento de dados).
4.5) Log de erro: Qualquer tipo de falha no sistema, deve apresentar informação do código do erro para que o usuário possa reportar os problemas. Junto a configuração de log de erro, a entrega do sistema inclui uma lista de códigos de erros e suas respectivas descrições.