AZCON Holding aparıcı data mühəndisi vəzifəsinə vakansiya elan edir. 

 Əsas tələblər:

• Ümumi təcrübə: Data mühəndisliyi və ETL/ELT proseslərinin tətbiqi üzrə ən azı 3 illik peşəkar təcrübə.
• “Data Lakehouse” texnologiyaları: “Apache Iceberg”, “Trino, MinIO” (və ya digər S3-uyğun Object Storage) texnologiyaları ilə praktiki iş təcrübəsi (bu istiqamətdə biliklər üstünlükdür).
• Böyük məlumatların emalı: “Apache Spark” vasitəsilə böyükhəcmli məlumatların paralel emalı və transformasiyası üzrə yaxşı səviyyədə iş təcrübəsi.
• Məlumat axınlarının “orkestrasiyası” və transformasiya: “Apache Airflow” ilə məlumat axınlarının planlaşdırılması və “dbt” (Data Build Tool) vasitəsilə məlumatların modelləşdirilməsi və test edilməsi üzrə praktiki təcrübə.
• Proqramlaşdırma və sorğu dilləri: “Python” ilə məlumatların emalı və avtomatlaşdırılması, həmçinin SQL və PL/SQL üzrə yüksək səviyyədə sorğu optimallaşdırılması bilikləri.
• “Real-Time Data Streaming”: “Apache Kafka” (və ya oxşar mesaj növbəsi sistemləri) vasitəsilə “real-time” məlumat axınlarının qurulması üzrə praktiki iş təcrübəsi.
• “Data Ingestion” və API inteqrasiyaları: “Airbyte” (və ya analoji ingestion alətləri) və REST/B2B API inteqrasiyaları (token/OAuth autentifikasiyası, error handling, retry mexanizmləri) üzrə təcrübə üstünlükdür.
• “DWH” və modelləşdirmə: Ənənəvi “data warehouse” strukturları və modelləmə prinsipləri (Kimball/Inmon, star/snowflake schema) haqqında bilik və təcrübə.
• Versiya nəzarəti və CI/CD: Git (GitLab / GitHub) və CI/CD “pipeline”larının (avtomatik test, build və deploy) qurulması və istifadəsi üzrə praktiki təcrübə.
• Konteynerləşdirmə və “orkestrasiya” (On-Premise / Private Cloud): “Docker və Kubernetes (K8s)” mühitində data mühəndisliyi tətbiqlərinin paketlənməsi, yerləşdirilməsi və idarəedilməsi üzrə praktiki iş təcrübəsi.
• Data keyfiyyəti və “observability”: Soda, “Great Expectations” və ya analoji “data quality” alətləri, həmçinin “pipeline observability” və “logging” alətləri (Grafana, Loki və s.) üzrə təcrübə üstünlükdür.
• “Data Governance” və təhlükəsizlik: “Apache Ranger”, “HashiCorp Vault”, LDAP/LDAPS və “access control” konsepsiyaları üzrə bilik üstünlükdür.

Vəzifə funksiyaları:

• “Data Lakehouse” memarlığı: Holdinq miqyaslı data platformasının – “Data Lakehouse” çərçivəsində “Bronze”, “Silver” və “Gold” qatlarının inkişafında aparıcı rol oynamaq, Medallion arxitekturanın dizaynında və davamlı təkmilləşdirilməsində iştirak etmək.
• ETL/ELT proseslərinin idarəedilməsi: ETL/ELT proseslərinin layihələndirilməsi, inkişaf etdirilməsi, yeni məlumat axınlarının (batch və real-time) yaradılması və monitorinqi.
• Mənbə sistemlərinin inteqrasiyası: Müxtəlif mənbə sistemlərindən (Oracle, PostgreSQL, SQL Server, REST/B2B API-lər, fayl mənbələri) “data ingestion” axınlarını qurmaq, mövcud axınların etibarlılığını və SLA göstəricilərini təmin etmək.
• Sorğu və performans optimallaşdırılması: SQL sorğularının və data modellərinin yazılması, mövcud sorğuların performans baxımından (memory, parallelism, spill, partitioning) optimallaşdırılmasını təmin etmək.
• Data modelləşdirilməsi: Biznes ehtiyacları əsasında konseptual, məntiqi və fiziki data modellərinin hazırlanmasında və “datamart”ların qurulmasında aparıcı texniki töhfə vermək.
• Daxili komandalara dəstək: Məlumatla əlaqəli texniki məsələlərdə daxili strukturlarda fəaliyyət göstərən Süni İntellekt, “Data Governance” və Data Analitika komandalarına dəstək vermək, platformanın funksionallığının genişləndirilməsində iştirak etmək.
• Data təhlükəsizliyi və idarəedilməsi: Data platforması və data təhlükəsizliyi (Data Governance, data lineage, access control, audit) sahəsində müəyyən edilmiş tapşırıqları icra etmək və əlaqəli komandalarla birgə həllər hazırlamaq.
• Monitorinq və “incident” reaksiyası: “Pipeline” monitorinqi, “incident response və root cause analysis” proseslərini qurmaq, yaranmış problemləri vaxtında analiz edib aradan qaldırmaq və təkrarlanmasının qarşısını almaq.
• CI/CD və versiya nəzarəti: Git əsaslı versiya nəzarəti və CI/CD “pipeline”ları vasitəsilə kodun (Airflow DAG-ları, dbt modelləri, infrastruktur konfiqurasiyaları) avtomatik test və platformaya tətbiqini təmin etmək.