Egy globális energetikai vállalatnál bevezettük az adatminőség-tesztelést, amely korán azonosítja az adathibákat, csökkenti a fejlesztési terheket, és gyorsabb, megbízhatóbb data analytics projekteket tesz lehetővé, ezáltal növeli a vállalat bevételeit és segít elkerülni többletráfordításokat, összegezve: bizalmat épít a vállalati adatok iránt.

Egy globális energetikai vállalat több belső és külső adatforrás integrációjára épülő big data és data analytics projekteket indított. A fejlesztések során azonban hamar kiderült, hogy az adatminőségi problémák jelentősen lassítják a haladást: a data engineer és data analyst csapatok idejük jelentős részét adathibák felderítésével és javításával töltötték, ami csökkentette a fejlesztési hatékonyságot és növelte a költségeket.
A projekt célja ezért az volt, hogy az adatminőségi problémákat már a fejlesztési folyamat korai szakaszában azonosítsuk, egységes adatminőség-tesztelési módszertant vezessünk be több adatprojektben, és tehermentesítsük a data engineering csapatot, hogy a fejlesztésre tudjanak fókuszálni.
Ennek érdekében a United Consult egy saját fejlesztésű, rugalmasan konfigurálható adatminőség-tesztelési keretrendszert vezetett be, amely automatizált ellenőrzések segítségével azonosítja az adathibákat már a fejlesztési folyamat előtt vagy azzal párhuzamosan. A megoldás lehetővé tette az adatminőségi problémák proaktív kezelését, miközben egységes és skálázható tesztelési megközelítést biztosított a különböző adatprojektek számára.



.png)





.png)





.png)





.png)





.png)





.png)



Az ügyfél egy globális, amerikai központú energetikai multinacionális vállalat, amely olaj- és földgázkitermeléssel, finomítással és kereskedelemmel foglalkozik.
A vállalat a New York-i tőzsdén jegyzett, és a világ legnagyobb energiaipari szereplői közé tartozik.

Hiányos specifikáció: A projekt kezdeti szakaszában nem állt rendelkezésre teljes körű specifikáció az adattermékekhez, ezért a követelmények folyamatos egyeztetések során alakultak ki. A United Consult rugalmas csapatstruktúrával reagált: a projekt különböző szakaszaiban szükség szerint bővítettük a csapat kompetenciáit – például üzleti elemzőkkel –, hogy a követelmények pontosítását is támogassuk.
Folyamatosan változó üzleti igények: Az üzleti igények rendszeresen módosultak, ami gyakori konfigurációs és deployment változtatásokat igényelt A projekt során alkalmazott rugalmas tesztelési keretrendszer lehetővé tette a gyors alkalmazkodást, ugyanakkor az állandó változások növelték a projekt kockázatait, amelyeket folyamatos monitoringgal és adaptív megoldásokkal kezeltünk.
A tesztelés integrálása a fejlesztési folyamatba: Fontos elvárás volt, hogy az adatminőség-tesztelés szorosan illeszkedjen az adattermékek fejlesztési és release folyamataihoz. A United Consult csapata az ügyfél folyamatos bevonásával, iteratív fejlesztéssel és folyamatos finomhangolással alakította ki azt a tesztelési folyamatot, amely teljes mértékben integrálhatóvá vált a meglévő fejlesztési környezetbe.
Gyorsabb fejlesztés és költséghatékonyság: Az adatminőség-tesztelési szolgáltatás lehetővé tette, hogy a data engineer és data analyst csapatok a fejlesztésre koncentráljanak, ahelyett, hogy időigényes tesztelési és adatellenőrzési feladatokat végezzenek. Ennek eredményeként, javult az adatminőség, gyorsult a fejlesztési folyamat, és csökkent a projektek költsége.
Egységes adatminőség-kezelés több projektben: A bevezetett módszertan biztosította, hogy minden adatprojekt egységes tesztelési megközelítést alkalmazzon. Az automatizált tesztek és az egységes vizualizációk gyorsabb hibafeltárást tettek lehetővé, valamint átláthatóbbá tették a folyamatokat.
Hatékonyabb adatvizualizáció: A PowerBI-alapú vizualizációk átlátható képet adott az adatminőségi állapotról, és segítették a gyors döntéshozatalt. A rugalmas, testre szabható keretrendszer lehetővé tette az új igények gyors bevezetését, ami jelentősen növelte a projekt hatékonyságát.

vizsgált adatbázis tábla
vizsgált tulajdonság hetente
vizsgált érték havonta
vizsgált adatbázis tábla
vizsgált tulajdonság hetente
vizsgált érték havonta
vizsgált adatbázis tábla
vizsgált tulajdonság hetente
vizsgált érték havonta
vizsgált adatbázis tábla
vizsgált tulajdonság hetente
vizsgált érték havonta
vizsgált adatbázis tábla
vizsgált tulajdonság hetente
vizsgált érték havonta
vizsgált adatbázis tábla
vizsgált tulajdonság hetente
vizsgált érték havonta

A data engineering csapat tehermentesítése: A projekt egyik legfontosabb eredménye az volt, hogy az ügyfél data engineering csapata jelentős erőforrásokat tudott felszabadítani, amelyeket a tényleges fejlesztési feladatokra fordíthatott. Ez jelentősen gyorsította a projektek előrehaladását.
Adathibák korai azonosítása: A bevezetett megoldás lehetővé tette a kritikus adathibák azonosítását mező-, adatforrás-, valamint beszállítói szinten. Ennek köszönhetően a hibákat gyakran már a forrásrendszerekben sikerült javítani, így az adatminőség már a feldolgozási folyamat elején biztosított volt.