A origem da complexidade: Dívida técnica na área de Big Data

Vamos trazer dragões e gnomos para ilustrar o tamanho do mundo de dados e seus problemas, discutir quais são as origens da dívida técnica, como podemos diminuir essa dívida e escapar de algumas armadilhas, e por fim, entender o tamanho da complexidade que é gerada quando o time/empresa/pessoa tem pouca experiência/maturidade no trato com os dados.

Assunto: Big Data, Machine Learning

André Gomes dos Santos

Mais de 10 anos de experiência na área de dados e trabalhando com Infraestrutura, arquitetura de Data Lakes e DWs, Desenvolvimento de aplicações, Banco de Dados, metodologias ágeis, BI e Big Data.

Passei por muitas empresas pequenas, média e grandes exercendo atividades de:
Estruturação da arquitetura de dados.
Desenho e implementação do DataLake.
Direcionamento das melhores práticas para DW.
Deploy de modelos de Machine learning.
Treinamento para novas pessoas do time de engenheiros de dados.
Priorização junto com o time de negócios.

Usando tecnologias de nuvem (AWS e GCP), infraestrutura (Docker, Kubernetes, Github, Gitlab), programação (python, java e eventualmente scala) e também ferramentas da área de dados (Airflow, DBT, Sklearn, Databricks, Tableau, pentaho, SSIS).

LinkedIn: https://www.linkedin.com/in/andregoems/