Data Engineer

Aston — аккредитованная аутсорсинговая IT-компания, работающая с 2007 года. Наш штат насчитывает 2500+ специалистов. Мы разрабатываем программное обеспечение и IT-решения в сферах Finance, Healthcare, eCommerce, IoT, Media, Big Data, ML и многом другом.

Предлагаем присоединиться в роли Data Engineer и работать над проектом заказчика.

Заказчик - крупнейший коммерческий банк страны, лидер по объему активов и цифровому развитию. Активно продвигает мобильные сервисы, ценит скорость, гибкость и неформальный подход внутри команд. Многократно отмечен престижными наградами, в том числе «Bank of the Year in Russia 2019» (The Banker) и «Best Mortgage Bank in CEE» (Global Finance).

Почему это будет интересно?

• возможность повышения квалификации на проекте одного из лидеров рынка;
• современный технический стек.

• интегрировать источники данных по голосовым и текстовым коммуникациям клиентов со специалистами обслуживания и поддержки;
• реализовать пакетные и потоковые сервисы обработки данных для оценки качества коммуникаций;
• эффективно взаимодействовать в составе команды со специалистами по анализу данных и специалистами по развитию инфраструктуры.

• опыт работы в роли Data Engineer от 4-х лет;
• опыт анализа данных;
• высокий уровень знаний языка программирования Python;
• опыт работы в среде JupyterLab/JupyterHub;
• опыт реализации промышленных отказоустойчивых сервисов на Python – сервисы пакетной загрузки и трансформации данных (ETL) на платформах Apache Airflow, Argo Workflows; веб-сервисы на основе библиотеки FastAPI;
• понимание принципов микросервисной архитектуры;
• понимание принципов распределенных вычислений и обработки данных;
• понимание принципов потоковой обработки данных;
• хорошие знания платформы Apache Spark – опыт использования библиотеки Pyspark;
• знание и опыт использования платформы потоковой обработки данных Apache Kafka; – чтение и запись потока данных Apache Kafka с помощью библиотек aiokafka, confluent-kafka, kafka-python, разработка потоковых приложений Apache Spark Structured Streaming;
• опыт асинхронного программного взаимодействия с веб-сервисами по REST API с использованием библиотек – aiohttp, httpx;
• отличные знания SQL – создание сложных запросов с использованием табличных выражений (CTE) и оконных функций;
• хорошие знания и опыт использования реляционных баз данных Oracle, PostgreSQL;
• понимание особенностей обработки и хранения аналитических данных (OLAP), понимание отличий колоночных баз данных от строковых, знание колоночных форматов хранения данных – parquet, orc;
• хорошие знания и опыт использования хранилищ больших данных – Hadoop/HDFS, S3, форматы таблиц Hive, Iceberg;
• проактивный подход к работе – способность и желание искать и предлагать методы и варианты решения задач;
• общий позитивный настрой и активная жизненная позиция;
• умение и желание работать в команде, делиться опытом с коллегами и учиться новым практикам;
• открытость в коммуникации трудностей, препятствующих решению задач.