Ты будешь развивать DWH и проводить данные через весь контур — от raw-слоя до core, агрегатов и витрин, чтобы аналитические и смежные команды получали качественные и доступные данные
Это роль для инженера, которому интересно не просто писать SQL и собирать витрины, а глубоко работать с архитектурой и производительностью хранилища: оптимизировать, управлять ростом данных, находить узкие места и учитывать влияние изменений на downstream-процессы
С тебя — инженерная глубина, самостоятельность и желание улучшать существующие решения, с нас — сложные задачи вокруг масштабного DWH, data-driven среда и пространство для экспериментов.
Проектировать и развивать слои DWH: проводить новые источники от сырых данных до core-слоя, создавать агрегаты, витрины и датасеты для аналитиков и смежных команд
Оптимизировать сложные SQL-запросы: анализировать планы выполнения, находить узкие места и повышать производительность расчетов
Автоматизировать процессы обработки данных и развивать пайплайны в Apache Airflow, повышая их стабильность и надежность
Проектировать структуру данных в ClickHouse и оптимизировать хранение с учетом объемов, паттернов чтения и дальнейшего использования данных
Рефакторить и оптимизировать существующие агрегаты и пайплайны, предотвращать деградацию производительности и регрессии
Работать с S3-совместимыми объектными хранилищами и external tables при построении интеграционных и архитектурных решений
Внедрять проверки Data Quality, контролировать историчность данных и отслеживать влияние изменений
Участвовать в code review и проектировании DWH-решений, помогать поддерживать единые инженерные практики внутри команды.
Ты самостоятельно принимаешь технические решения и понимаешь DWH как систему целиком — от архитектуры хранения до производительности конкретного запроса
Тебе интересна среда с большими объемами и сложными зависимостями, где нужно не только запускать новые витрины, но и следить, чтобы развитие хранилища не создавало проблем для существующих процессов и потребителей данных
Ты не боишься задавать вопросы, идти за контекстом к коллегам и аргументированно предлагать улучшения. Для тебя важнее качество и устойчивость решения, чем просто быстрее закрыть задачу.
Есть глубокий практический опыт работы с ClickHouse: понимаешь устройство системы и умеешь работать с репликацией, шардингом, partitioning, сортировкой, настройками хранения и производительности
Уверенно владеешь SQL: пишешь сложные запросы, оптимизируешь их, читаешь планы выполнения и понимаешь, как изменение логики или структуры данных повлияет на downstream-процессы
Есть опыт проектирования и развития DWH: работал со слоями хранилища, проводил данные от raw до core, создавал и рефакторил агрегаты, витрины и датасеты
Работал с Greenplum или другой MPP / распределенной системой хранения и понимаешь основные принципы ее устройства
Есть практический опыт работы с S3-совместимыми объектными хранилищами и понимание того, как использовать их в архитектуре DWH
Работал с Apache Airflow и понимаешь принципы оркестрации и автоматизации data-процессов
Умеешь работать с качеством данных: внедрять проверки Data Quality, контролировать историчность, отслеживать регрессии и оценивать последствия изменений для потребителей данных
Понимаешь принципы проектирования производительных и надежных пайплайнов и умеешь находить причины деградации при росте объемов данных.