Евгений Кудрявцев
Data Engineer
4+ года в IT. Проектирую и реализую ETL/ELT-процессы, строю DWH-архитектуры, работаю с ClickHouse, Kafka, Airflow, PostgreSQL.
О себе
Data Engineer с опытом построения и поддержки аналитических пайплайнов. Работаю с колоночными СУБД, потоковой обработкой данных и оркестрацией ETL-процессов. Последние два года — в eLama (Yandex), где занимаюсь развитием DWH и интеграцией данных из различных источников. Есть опыт backend-разработки на Python и работы с Kubernetes.
Чем занимаюсь
ETL / ELT
Проектирование и реализация пайплайнов для сбора, трансформации и загрузки данных из различных источников и API
DWH-архитектура
Построение хранилищ данных, создание аналитических витрин, проектирование схем хранения
Real-time данные
Потоковая обработка через Kafka, стриминг данных в ClickHouse для оперативной аналитики
Оптимизация
Ускорение SQL-запросов, оптимизация ETL-процессов, модернизация структуры БД и кодовой базы
Технологии
Результаты
Оптимизация пайплайнов
Проанализировал узкие места в ряде DAG-ов. Разработал улучшенный метод батчевой вставки и альтернативный способ сбора данных, который лёг в основу доработки общего класса по работе с PostgreSQL. Подход стал стандартом для новых выгрузок.
Генератор DAG-ов
Разработал решение для упрощённого добавления DAG-ов в pipeline — Python-класс, который генерирует готовые DAG-и по конфигурации со встроенной retry-логикой, алертингом и логированием. Стандартизировал архитектуру пайплайнов в команде.
Инкрементальное обновление данных
Разработал систему партиционированного обновления аналитической таблицы — обновляются только изменившиеся партиции. При частичной потере данных восстановление занимает минуты вместо ожидания следующего дня.
Опыт работы
- Разработка и внедрение ETL-процессов для сбора данных из различных источников и API
- Создание аналитических витрин данных в рамках DWH-подхода
- Внедрение Kafka для стриминга данных в ClickHouse в реальном времени
- Миграция DWH с Google BigQuery на ClickHouse + S3
- Оптимизация SQL-запросов, модернизация структуры БД и кодовой базы для ускорения работы пайплайнов
- Разработка ETL-процессов и витрин данных для построения признаков
- Парсинг маркетплейсов, интеграция с внешними API
- Визуализация данных и построение дашбордов
- Доработка legacy-кода и поддержка текущей реализации
- Разработка API для обработки платежей и переводов (банковское приложение)
- Проектирование БД и оптимизация SQL-запросов
- Тестирование и отладка
- Администрирование ПО и решение заявок
- Работа с документооборотом
Образование и сертификация
ННГУ им. Н.И. Лобачевского
Институт Экономики и Предпринимательства — Экономика
Яндекс Практикум
Диплом профессиональной переподготовки
Программа: Инженер данных
Квалификация: Специалист по большим данным