Previsão da demanda de táxi de Nova York: ciclo de vida de MLOps¶
Bem-vindo ao Laboratório MLOps! Este projeto é uma vitrine de um ciclo de vida de Machine Learning Operations (MLOps) de qualidade de produção e ponta a ponta.
Implementamos os princípios do Entrega Contínua para Aprendizado de Máquina (CD4ML) para construir um sistema reprodutível, automatizado e auditado usando ferramentas padrão da indústria:
- Feast como nosso Feature Store.
- MLflow como o nosso Model Registry & Experiment Tracking Store.
- DuckDB e SQLite como nossas lojas de dados locais.
- FastAPI para serviço de inferência on-line em tempo real.
Fases de Ciclo de Vida MLOps¶
- Formulacao do Problema: Enquadrando o objetivo de negócios e tarefa de previsão.
- Coleta de Dados: Reunindo registros de viagem TLC de táxi amarelo bruto.
- Analise Exploratoria de Dados: Explorando padrões e distribuições de conjuntos de dados brutos.
- Pre-processamento de Dados: Limpeza de registros de transações e agrupamento em demanda horária.
- Engenharia de Features: Gerenciando recursos com entidades e visualizações Feast.
- Treinamento: Encaixe um Ridge Regressor em características históricas.
- Ajuste: Otimizando parâmetros através de varreduras MLflow.
- Avaliacao: Impulsionando portões de qualidade nos modelos candidatos.
- Implantacao: Servir modelos em tempo real ou através de pontuação em lote.
- Monitoramento: Detectando métricas de deriva e observação.
Como executar o projeto localmente¶
Cada fase do ciclo de vida MLOps é executável via alvos make. Para executar todo o pipeline de ponta a ponta:
make collect
make preprocess
make features
make tune
make train
make evaluate
make deploy
make monitor