Photo by Goran Ivos on Unsplash

One who makes no mistakes makes nothing. Giacomo Casanova.

Mistakes are perhaps one of the best teachers. Of course, it would be better to learn without them or with other’s failures, but in real life and many situations, you will learn with your own falls.

Welcome to this tutorial!
It was only written because, one day, I forgot an AWS Glue development endpoint running for an entire weekend and spent almost every budget I had to carry out a proof of concept for ETL and data processing.

After this tragic event, I went hunting for a cheaper and less risky…


Photo by Goran Ivos on Unsplash

One who makes no mistakes makes nothing. Giacomo Casanova.

Erros talvez sejam um dos melhores professores. Claro, melhor seria aprender sem eles, ou com os tombos dos outros, porém na vida real e em muitas situações, é com os seus próprios “tombos” que você vai aprender.

Sejam bem vindos a esse tutorial, que só foi escrito porque um dia eu esqueci um endpoint de desenvolvimento do AWS Glue ligado por todo um fim de semana e gastei praticamente todo orçamento que tinha para realizar uma prova de conceito para ETL e processamento de dados.

Depois desse trágico evento, fui à…


Photo by David Rangel on Unsplash

Containers are humanity’s greatest invention after the transistor, and anyone who disagrees is wrong. They make life easier, which even complicates. When you realize, you’re already finding an excuse to use it where you shouldn’t.

Exaggerations aside, I think that is not the case here. I intend to show in this brief tutorial how to use them to create a local environment ready to develop your apps and stacks based on AWS CDK — Cloud Development Kit. We are not going to create the resources on AWS. That is not the goal. …


Photo by David Rangel on Unsplash

Containers, como os do Docker, são a maior invenção da humanidade depois do transistor, e quem não concordar está errado. Facilitam tando a vida que até complica. Quando você vê, já tá arrumando desculpa prá usar onde não deve.

Exageros à parte, acho que não é o nosso caso aqui. Pretendo mostrar nesse breve tutorial como usá-los para criar um ambiente local pronto para desenvolver seus apps e stacks baseadas em AWS CDK — Cloud Development Kit. Aqui não vamos criar os recursos na AWS, não é esse o objetivo. Iremos preparar o ambiente para que você inicie seu desenvolvimento.

Sobre o AWS CDK


Photo by Paul Skorupskas on Unsplash

Um tutorial sobre CDC e streaming de eventos utilizando Python, MariaDB, MaxScale, Kafka e Docker

Nada é permanente, exceto a mudança. Heráclito.

CDC, ou Change Data Capture, é o que é, um meio para capturar mudanças nos dados de um determinado domínio. Isso pode ser feito para diferentes fontes de dados, utilizando diferentes design patterns ou técnicas. Em um database relacional por exemplo, é possível capturar essas mudanças a partir dos eventos registrados em seu log de modificações. …


Photo by Markus Spiske on Unsplash
Photo by Markus Spiske on Unsplash
Photo by Markus Spiske on Unsplash

O que sabemos é uma gota; o que ignoramos é um oceano. Isaac Newton.

O que vem à sua mente quando ouve o termo Governança de Dados? Um redemoinho de incontáveis documentos em letrinhas miúdas, como os livros sem “gravura” da sua infância? Infindáveis descrições de processo, papéis e responsabilidades, normas, diretrizes e procedimentos? Enfim, muita teoria prá pouca prática?


Photo by Ryan Johnston on Unsplash

As coisas mudam no devagar depressa dos tempos. Guimarães Rosa. Grande Sertão — Veredas

Esse não é um daqueles títulos fake usados apenas para chamar sua atenção. Para mim, ele contém a essência do que significa o termo data driven. Antes de chegar lá porém, queria passar por outro termo, o famoso data is the new oil.

Sobre dados como potencial fonte de valor

Perdi a conta de quantas vezes vi essa frase nos power points da vida: dado é o novo petróleo. Embora uma tanto desgastada, não é minha intenção desconstruí-la por completo. Elas guardam certa semelhança se pensarmos que, para extrair valor dessas duas entidades…


Photo by Bogdan Kupriets on Unsplash

De tudo o que se disser, inda não se sabe bem, antes que se possa ver bem mais de perto. De tudo o que se disser, inda não se sabe bem, antes que se possa ver, olhar de longe. Paulo Nazareth e Marcos Almeida.

Alguns dizem que para conhecer algo, é preciso olhar de perto, conhecer as minúcias dos mínimos detalhes. Há algum tempo percebi a importância do olhar de longe na construção do saber. Como o ajuste de foco para enquadrar a cena completa, é na junção desses olhares de perto e de longe que está o conhecimento pleno…


Como criar um sanbox com Docker e começar sua viagem do NiFi ao Hadoop

Photo by FORREST CAVALE on Unsplash

Achou que a gente ia ficar só na teoria? Achou errado ot@$%#!

Tá começando mais um post do dataengineerbr, um blog de Engenharia de Dados.

E o tema hoje é… TRANSPORTE DE DADOS. Vamos falar do NiFi, ele que não é motorista de van, mas nasceu prô transporte.

Solta a vinheta Simone!


They say an elephant never forgets. Well, you are not an elephant. Take notes, constantly. Save interesting thoughts, quotations, films, technologies… the medium doesn’t matter, so long as it inspires you. Aaron Koblin

No último post, entramos pela toca do coelho e acabamos trombando com esse simpático elefante amarelo. Vou falar neste post um pouco sobre o Hadoop, uma visão geral inspirada nos meus primeiros estudos e experiência prática.

A primeira informação, não tão útil, para não dizer inútil, é que Hadoop não é um acrônimo, pasmem. As letras não são iniciais de palavras que, juntas, vão te explicar se…

Carlos Alberto Rocha Cardoso

Data professional, enjoying the journey of the life, the universe and everything.

Get the Medium app

A button that says 'Download on the App Store', and if clicked it will lead you to the iOS App store
A button that says 'Get it on, Google Play', and if clicked it will lead you to the Google Play store