Data Engineer

Aston — аккредитованная аутсорсинговая IT-компания, работающая с 2007 года. Наш штат насчитывает 2500+ специалистов. Мы разрабатываем программное обеспечение и IT-решения в сферах Finance, Healthcare, eCommerce, IoT, Media, Big Data, ML и многом другом.

Предлагаем присоединиться в роли Data Engineer!

Заказчик — это ведущий российский ритейлер, который активно развивает онлайн-направление и собственную логистику, сохраняя лидерство в продуктовом ритейле.

Почему это будет интересно?

• возможность прокачать экспертизу в быстроразвивающейся и насыщенной области;
• возможность быть частью изменений, улучшений, запусков новых направлений.

• разрабатывать, реализовывать и поддерживать интеграционные потоки, потоки сборки витрин-данных на стеке технологий, принятых в команде: Trino, Iceberg, S3, Spark, Apache Airflow, Kafka, Cosmos, Flink;
• разрабатывать инструменты обработки данных;
• разрабатывать системный дизайна сложных решений (C2/DD);
• оперативно реагировать на информацию о проблемах в зоне ответственности, выполнять типовые задачи в установленный срок;
• поддерживать в актуальном состоянии документацию типовых интеграционных решений платформы больших данных.

• опыт работы в роли Data Engineer от 4-х лет;
• понимание стека технологий Lakehouse;
• понимание различия работы между BigData/Lakehouse и с данными обычного размера;
• знание SQL: индексы, функции, оптимизация, профилирование производительности;
• знание языков программирования (Java, Python);
• опыт работы c реляционными БД (Oracle, Postgres, MySQL, MsSQL,т.п.);
• умение работать с Git (знание команд git pull/commit/push);
• опыт работы с DBT, Cosmos, Ni-Fi;
• опыт разработки на Spark;
• навыки использования компонентов экосистемы Hadoop: Yarn, Ranger, Zookeeper, Hive metastore;
• понимание особенностей Trino;
• понимание форматов данных Iceberg, Parquet, Avro;
• понимание работы с minio или любого другого хранилища на основе S3;
• опыт использования системами ведения проектов и документации;
• опыт разработки нетиповых интеграций (включая SAP-системы);
• опыт разработки near-realtime потоков (Flink, Debezium);
• опыт оптимизации высоконагруженных потоков с использованием инструментов Observability (grafana, victoria metrics, zabbix).