Data Engineer

Aston — аккредитованная аутсорсинговая IT-компания, работающая с 2007 года. Наш штат насчитывает 2500+ специалистов. Мы разрабатываем программное обеспечение и IT-решения в сферах Finance, Healthcare, eCommerce, IoT, Media, Big Data, ML и многом другом.

Предлагаем присоединиться в роли Data Engineer и работать над проектом заказчика.

Заказчик - крупный российский продуктовый ритейлер, лидер офлайн- и онлайн- рынка продуктов питания. Компания управляет портфелем брендов сетевых магазинов, цифровыми бизнесами, собственными службами логистики и несколькими цифровыми сервисами для партнеров.

Почему это будет интересно?

• возможность повышения квалификации на проекте одного из лидеров рынка;
• современный технический стек.

• самостоятельно разрабатывать, реализовывать и поддерживать интеграционные решения на стеке технологий, принятых в команде (Java, Groovy, Apache NiFi, Airflow);
• определять стек технологий для конкретных проектов и задач;
• решать технически сложные задачи, которые не могут решить другие инженеры в команде;
• оперативно реагировать на информацию о проблемах в зоне ответственности, выполнять задачи в установленные сроки;
• разрабатывать и контролировать актуальность документации по взаимодействию конфигурационных единиц платформы больших данных;
• предоставлять отчёты о своей деятельности начальнику отдела/руководителю в порядке, установленном руководством;
• контролировать качество интеграционных решений с последующим созданием задач/дефектов для рефакторинга;
• определять технологическую стратегию развития проекта или продукта, работать на перспективу;
• выстраивать процессы (например, CI/CD, код-ревью), внедрять и развивать инженерные практики.

• опыт работы в роли Data Engineer не менее 4-х лет;
• владение одним из языков программирования (Java/Groovy), знание принципов ООП, умение читать чужой код;
• навыки сборки проекта, компиляции и деплоя в Rancher/Docker;
• опыт проектирования, реализации, развития и поддержки интеграционных решений на стеке технологий BigData;
• знание SQL (индексы, функции, умение читать планы запросов, оптимизация запросов);
• опыт работы с любой реляционной БД (Oracle/Postgres/MySQL/MsSQL/DB2 и т.п.);
• умение работать с Git в консоли;
• знание особенностей работы ETL-инструментов (Apache Nifi, Airflow, интеграционные шины SAP BW, Talend, Informatica, SAS и т.п.);
• опыт работы с Hadoop;
• понимание устройства HDFS, форматов данных;
• опыт работы с Hive или любым другим хранилищем на основе Hadoop;
• опыт использования систем ведения проектов и документации;
• умение работать с архитектурными схемами;
• понимание принципов построения и хранения данных — DWH и DataLake.