Чем ты будешь заниматься
- Реализовать и оптимизировать сложную бизнес-логическую обработку в ClickHouse и Teradata.
- Проводить Adhoc исследования и валидировать данные в ClickHouse и Teradata.
- Настроить ETL-пайплайны для ClickHouse, Teradata, PostgreSQL, Greenplum, Oracle и Amazon S3 с использованием Airflow и Python.
Мы ожидаем
-
Clickhouse(распределённый, 21 шард)
-
Опыт работы не менее 2х лет, отличное знание и понимание принципов работы Clickhouse на уровне эксперт , способов оптимизации и реализации сложной бизнес-логики.
-
SQL(Teradata, Postgres, Greenplum) - опыт работы от 2х лет, понимание принципов оптимизации запросов, реализовывал сложную бизнес логику.
-
Airflow/Python - опыт работы не менее года
-
Настраивал сложные даги с обработкой ошибок, информированием, перезапуском по триггеру