Data mühəndisliyinə girişMövzu planı

Mövzuda müasir data arxitekturasının təməli sayılan Data Mühəndisliyi sahəsinə giriş edilir. Tələbələr böyük həcmli verilənlərin toplanması, saxlanılması və emalı prosesində bu sahənin məqsədini və data mühəndisinin rolunu öyrənirlər. Həmçinin, infrastruktur quran data mühəndisi ilə həmin datadan model və proqnozlar hazırlayan data alimi arasındakı fundamental fərqlər və bu peşələrin sənayedəki tətbiq sahələri təhlil edilir.

Mövzuda data analitikasının və mühəndisliyinin əsas xammalı olan verilənlər, onların daxili strukturları və idarə edilməsi üsulları öyrənilir. Tələbələr müəyyən nizamlı modelə malik olan strukturlu verilənlər ilə sərbəst formalı struktursuz verilənlər arasındakı fərqləri, data mənbələrini və toplanma yollarını təhlil edirlər. Həmçinin sənayedə ən çox istifadə olunan ötürülmə və saxlanılma formatları (CSV, JSON, XML), datanın etibarlılığını təmin etmək üçün data keyfiyyətinin ölçülməsi və xam verilənlərin təmizlənməsi prinsipləri araşdırılır.

Mövzuda fərqli mənbələrdən gələn xam verilənlərin vahid formata gətirilməsi və analitikaya hazırlanması prosesləri öyrənilir. Tələbələr məlumat mühəndisliyinin təməli olan ETL mərhələlərini, verilənlər bazasının optimallaşdırılması üçün istifadə olunan normallaşdırma və denormallaşdırma konseptlərini təhlil edirlər. Həmçinin, heterogen mənbələrdən gələn dataların vahid bir anbarda effektiv şəkildə inteqrasiya edilməsi prinsipləri araşdırılır.

Mövzuda relyasiyalı verilənlər bazalarının idarəetmə sistemləri və verilənlərlə manipulyasiya etmək üçün istifadə olunan SQL dilinin əsasları öyrənilir. Tələbələr cədvəl strukturları, ilkin və xarici açarlar vasitəsilə verilənlər bazasının layihələndirilməsi və modelləşdirilməsi prinsiplərini təhlil edirlər. Praktiki hissədə isə datanın oxunması və idarə edilməsi üçün fundamental SQL əmrləri və müxtəlif SQL əməliyyatları mənimsənilir.

Mövzuda böyük həcmli, sürətlə dəyişən və qeyri-strukturlaşdırılmış məlumatların saxlanılması üçün nəzərdə tutulan NoSQL verilənlər bazaları öyrənilir. Tələbələr relyasiyalı (SQL) bazalardan fərqləri və relyasiyasız sistemlərin əsas xüsusiyyətlərini təhlil edirlər. Dərsin gedişatında 4 əsas NoSQL tipi — Sənəd, Açar-Dəyər, Sütun və Qraf strukturları araşdırılır və sənəd yönümlü verilənlər bazası olan MongoDB üzərində ilkin praktiki əməliyyatlar mənimsənilir.

Mövzuda böyük həcmli korporativ məlumatların analitik məqsədlər üçün mərkəzləşdirilmiş şəkildə saxlanılması və idarə edilməsi konseptləri öyrənilir. Tələbələr əməliyyat yönümlü OLTP (Online Transaction Processing) sistemləri ilə analitik yönümlü OLAP (Online Analytical Processing) sistemləri arasındakı fundamental fərqləri təhlil edirlər. Həmçinin, layihə ehtiyaclarına uyğun olaraq xüsusi biznes sahələri üçün ayrılmış verilənlər vitrinləri, xam və strukturlaşdırılmamış böyük verilənlərin saxlandığı Data Lake mühitləri, eləcə də Böyük Verilənlər ekosisteminin əsas sütunlarından olan Hive və HBase texnologiyalarının iş prinsipləri araşdırılır.

Mövzuda xam verilənlərin mənbədən götürülərək emal edilməsi və təyinat nöqtəsinə çatdırılması prosesini avtomatlaşdıran Data Pipeline sistemləri öyrənilir. Tələbələr verilənlərin müəyyən zaman intervalları ilə qrup şəklində işlənməsini təmin edən paket emalı ilə məlumatın yarandığı anda anlıq işlənməsini təmin edən real vaxt emalı arasındakı fərqləri təhlil edirlər. Həmçinin, mürəkkəb boru xətlərindəki tapşırıqların ardıcıllığını və asılılıqlarını idarə edən orkestrasiya alətlərinin iş prinsipləri və sənayedəki rolu araşdırılır.

Mövzuda ənənəvi verilənlər bazası sistemləri ilə emal edilməsi qeyri-mümkün olan böyük və mürəkkəb verilənlər çoxluğu — Big Data ekosistemi öyrənilir. Tələbələr Big Data-nın fundamental xüsusiyyətlərini təyin edən 3V modelini və paylanmış saxlanılma arxitekturasını təmin edən Hadoop mühitini təhlil edirlər. Həmçinin, verilənlərin klasterlər üzərində paralel emalı üçün istifadə olunan MapReduce proqramlaşdırma modeli və yaddaşdaxili hesablama texnologiyası sayəsində daha sürətli analitika təklif edən Apache Spark platformasının iş prinsipləri araşdırılır.

Mövzuda korporativ data infrastrukturunda məlumatların kənar müdaxilələrdən qorunması, istifadəçi hüquqlarının tənzimlənməsi və hüquqi standartlara uyğunluq prinsipləri öyrənilir. Tələbələr verilənlərin mühafizəsinin əsaslarını, ötürülən və saxlanılan datanın təhlükəsizliyi üçün tətbiq olunan şifrələmə metodlarını, eləcə də sistemə giriş icazələrini yoxlayan autentifikasiya mexanizmlərini təhlil edirlər. Həmçinin, rəqəmsal mühitdə fərdi məlumatların qorunmasını qlobal səviyyədə tənzimləyən GDPR (General Data Protection Regulation) və digər beynəlxalq normativ aktların tələbləri araşdırılır.

Mövzuda müasir verilənlər arxitekturasının formalaşmasında və miqyaslanmasında bulud texnologiyalarının rolu öyrənilir. Tələbələr sənayenin aparıcı bulud platformalarını (AWS, Azure, Google Cloud) və onların data mühəndisliyi üçün təqdim etdiyi əsas servis ekosistemlərini təhlil edirlər. Həmçinin, infrastruktur idarəetməsini minimuma endirən, yalnız istifadə olunan resursa görə ödəniş modelinə əsaslanan serverless (server-siz) memarlıq konsepti, onun iş prinsipləri və ənənəvi server sistemlərinə nəzərən yaratdığı üstünlüklər praktiki olaraq araşdırılır.

Mövzuda proqram təminatının hazırlanması və data layihələrinin idarə edilməsində çevikliyi, keyfiyyəti və sürəti artıran müasir metodologiyalar öyrənilir. Tələbələr proqramlaşdırma ilə sistem inzibatçılığını birləşdirən DevOps prinsiplərini təhlil edirlər. Həmçinin, bu prinsiplərin data mühəndisliyinə uyğunlaşdırılmış forması olan DataOps yanaşması, onun data boru xətlərinin keyfiyyətinə təsiri, eləcə də kodun və datanın avtomatik test edilib sistemə inteqrasiya olunmasını təmin edən CI/CD prosesləri araşdırılır.

Mövzuda maşın öyrənməsi modellərinin düzgün və effektiv işləməsi üçün xam verilənlərin ilkin emalı prosesləri öyrənilir. Tələbələr datadakı kənarlaşmaların və əksik tərəflərin aradan qaldırılmasını təmin edən preprosessinq mərhələsini, modelin dəqiqliyini artırmaq üçün mövcud datadan yeni mənalı dəyişənlərin çıxarılması prosesi olan xüsusiyyət mühəndisliyini təhlil edirlər. Həmçinin, fərqli diapazonlardakı rəqəmsal göstəriciləri eyni səviyyəyə gətirmək üçün tətbiq olunan miqyaslama və verilənlərin paylanma strukturunu modelə uyğunlaşdıran transformasiya metodları araşdırılır.

Mövzuda mürəkkəb data analizlərinin nəticələrini biznes qərarları verən şəxslərə aydın və effektiv şəkildə çatdırmağın yolları öyrənilir. Tələbələr böyük həcmli verilənlərin vizual qrafiklərə çevrilməsinin əhəmiyyətini, sənayedə ən çox istifadə olunan aparıcı analitik alətləri (Tableau, Power BI) və onların imkanlarını təhlil edirlər. Həmçinin, biznes tələblərinə uyğun, oxunması rahat, interaktiv idarəetmə panellərinin və hesabatların dizayn edilməsi prinsipləri, rəng və qrafik seçimi metodları araşdırılır.

Mövzuda böyük həcmli data sistemlərinin və sorğuların sürətli, effektiv işləməsini təmin edən optimallaşdırma üsulları və sistem monitorinqi öyrənilir. Tələbələr verilənlər bazalarında axtarışı sürətləndirən indeksləşdirmə, nəhəng cədvəlləri idarəolunan hissələrə bölən partisionlaşdırma və tez-tez müraciət olunan datanı yaddaşda saxlayan keşləmə mexanizmlərini təhlil edirlər. Həmçinin, sistemin resurs istifadəsini, gecikmələri və xətaları real vaxt rejimində izləmək üçün sənayedə geniş istifadə olunan Prometheus (metriklərin toplanması) və Grafana (vizual monitorinq panelləri) alətlərinin iş prinsipləri araşdırılır.

Kursun bu yekun mövzusunda tələbələrin semestr ərzində qazandıqları nəzəri və praktiki biliklər real layihə üzərində birləşdirilir. Tələbələr hazırladıqları fərdi və ya komanda data mühəndisliyi layihələrini təqdim edir, həmkar və müəllim heyəti ilə birlikdə müzakirə edərək qiymətləndirmə mərhələsindən keçirlər. Dərsin ikinci hissəsində isə bütün kursun ümumi icmalı keçilir və data mühəndisliyi sahəsindəki müasir trendlər, gələcək inkişaf perspektivləri təhlil olunur.