Processador Market Science

Objetivo:
Construir um processador web com capacidade de tratamento de big data e analytics e que seja flexível para criação de novos segmentos/mercados e novos controles de qualidade segundo demanda
O projeto está inicialmente dividido em três etapas:
1-Input
A-Consideramos nesta etapa a chegada dos dados de tickets(nota fiscal da boca do caixa) dos clientes varejistas, que podem ser de diferentes formatos e diferentes acessos.
Formatos:
Cada varejista trabalha com seu formato previamente definido em seu sistema, que podem ser  diferentes layouts, com diferentes posições e tamanhos de variáveis, com mesma variável e nome diferente, e necessário  atender a todos os formatos dos varejistas para não gerar custos adicionais de desenvolvimento e tempo.
Acesso:
Em geral os varejistas podem gerar arquivos em  diferentes formatos, xls, txt, pdf, csv, etc.. Ou disponibilizar uma área dentro do seu sistema de consulta aos dados que permite fazer copia
Uma vez com a informação será necessário fazer a devida leitura e transformação dos dados buscando a padronização previa a entrada na fabrica, ou seja cada varejista terá sua conversão previamente definida e será necessário ter flexibilidade para editar, criar novos.
Ainda nesta etapa será necessário criar uma serie de validações:
1.    Quantidade de lojas com informação
2.    Fazer uma soma das vendas por loja e comparar por dia/semana contra o histórico da própria loja.

3.    Será definida uma variação aceitável para definição de Usabilidade de cada loja, caso esteja ok deve-se avançar com o processo e gerar ao final um log com as lojas que não cumprem com a especificação.
4.    Para lojas sem histórico deve-se gerar um relatório que será previamente definido para que seja feita a validação com o varejista de que a informação desta loja esta 100% igual ao enviado pelo varejista
5.    Será trabalhado um catalogo de itens por barcode, com as devidas características que devera ser importado no sistema uma vez por dia/semana
6.    O sistema devera tomar a lista de itens e cruzar com os itens enviados por cada varejista, os que fizerem match ok, para os que são novos itens o sistema devera gerar um output com as variáveis pré-definidas.

7.    Haverá uma equipe com a responsabilidade de caracterizar estes itens com as informações mínimas para produção
B- Cadastro de barcodes dos varejistas
•    Cada varejista poderá enviar seu cadastro de barcodes para que possamos utilizar em uma codificação automática
•    Para itens novos vamos comparar a informação dos varejistas e definir por um algoritmo (arvore de decisão) o cadastramento do item.
•    Para o caso de itens novos em que a arvore d decisão não seja suficiente será necessário uma interface para cadastramento destes itens
2-Processamento
Antes de começar com o processamento propriamente dito vamos construir a base que será necessária para processar os dados, desde validações estatísticas ate criação de mercados (segmentos) geográficos.
Esta etapa será dividida em três grandes grupos, criação e manutenção de mercados, controles de qualidade e variáveis e processamento propriamente dito
A-Criação e manutenção de mercados e variáveis:
1.    Definição de Mercado, será definido segundo sua geografia ou formato ou indicação loja a loja, exemplo:
a.    Mercado Cidade de São Paulo, devera contemplar todas a lojas que estão na cidade de São Paulo, deveremos utilizar a variável Cidade para esta construção
b.
Mercado Farma Estado do Rio de Janeiro, devera contemplar todas as lojas do formato farma e do estado RJ
c.    Mercado cliente “X”, devera ser formado segunda a indicação do cliente com as lojas correspondentes a sua estratégia
2.    Manutenção de Mercados, devera ser flexível para tirar lojas e/ou incluir novas lojas, bem como nos mercados, exemplo:
a.
Mercado Cidade de São Paulo, abertura de novas lojas na cidade devem participar deste mercado, por esta razão será necessário guardar a conformação dos mercados por período semana/mês
b.    Mercado cliente “X”, deve permitir a inclusão e/ou exclusão de lojas
3.    Criação de variáveis, estas deverão ser calculadas sempre com base nos mercados/segmentos previamente definidos, todos os barcodes devem estar associados a um ticket de compra:
a.
Volume de vendas, devera ser a soma das quantidades (por barcode) * o fator de conversão de cada barcode*fator de expansao.
b.    Vendas Valor, devera ser a soma dos valores de cada barcode que compõem a categoria de produtos.
c.     Numero de tickets, devera será soma do numero de tickets por dia/semana.
d.    Distribuição no numero de tickets, é o percentual de tickets que cada barcode aparece.
e.    Distribuição ponderada no numero de tickets, semelhante a anterior, porem considera o valor de cada ticket em sua ponderação.
f.    Densidade, distribuição do volume de vendas por barcode, por semana/faixa horária (a ser definida, provavelmente 4 faixas)
g.    CPF, telefone, email do comprador, carregar a informação para todos os tickets/barcodes que a informação estiver disponível (esta informação esta associada à forma de pagamento de cada ticket).
h.    Market Share, com base em volume de vendas calcular o percentual de cada barcode em cada mercado/categoria.
i.    Preço médio calcula a media de preço de cada barcode no mercado /semana
j.    Ticket médio, com base no valor total de cada ticket calcular uma media, por dia/semana
k.    Quantidade comprada por ticket, com base no numero de barcodes de cada ticket calcular a media de numero de barcode por ticket
l.

4.    Análises especiais sob demanda.

a.    OOS (Ruptura), será definida uma regra para calculo da falta de estoque, utilizando-se do histórico  de venda do produto
b.    Brand Switching, a partir da definição de uma marca, deve-se trazer quais outras marcas da mesma categoria foram compradas pelo mesmo CPF no período T e no período T+1
c.    Trial Repeat, com base em um barcode/categoria previamente definido, mostrar por cpf se após a compra o mesmo cpf voltou a comprar.

d.    Demográficos, por cpf será carregado algumas variáveis adicional, como idade, gênero, nse, estilo de vida e deixar uma flexibilidade para editar, criar nova ou deletar variáveis
e.    Segmentação do comprador por missão de compra será previamente definidos os grupos, deve-se adicionar a possibilidade de carga da informação através do código do CPF do comprador
f.    Analise de convivência, a partir da definição de um barcode/categoria devem-se buscar quais itens foram comprados conjuntamente (no mesmo ticket) e ordenar segundo sua frequência do maior para o menor.

B-Controles de qualidade
1.    Batimento de mercado, verificar que todas as lojas estejam pertencentes a um mercado.
2.    Gerar indicador de numero de lojas por mercado historicamente manter por 1 ano
3.    Validar que todos os barcodes contenham um preço, não poderá haver barcodes sem preço
C-Processamento e montagem do cubo com as seguintes dimensões:
1.    Categoria
2.
Mercado
3.    Variáveis (facts)
4.    Períodos (dia/semana)
Considerar sempre atualização da lista de barcodes, fator de conversão e fator de expansão de cada loja

3-Output
1.
Disponibilização do cubo por meio de consulta ou busca por cada dimensão acima citada, exemplo
a.    Barcode/categoria, etc...
b.    Mercado cidade de São Paulo, etc...
c.    Volume, share, distribuição, preço médio, etc...
d.    Um período ou todos disponíveis
2.    Geração de gráficos padronizados com histórico de tempo, tipos: pizza, barras, linhas
3.    Exportação da seleção para Excel, ppt ou visualização em área restrita na própria aplicação com controle de acesso por usuário.

4.    Gerar lista de itens novos do período com informação de shopper
Pontos importantes a serem considerados:
•    Velocidade do processamento
•    Custo total para desenvolvimento
•    Custo de manutenção e seguimento/mensal
•    SLA para suporte técnico com visitas a varejistas
•    SLA para solução de bug’s
•    SLA para novos desenvolvimentos e alterações necessárias
•    Capacitação dos usuários da ferramenta