<img height="1" width="1" style="display:none" src="https://www.facebook.com/tr?id=2394912390624130&amp;ev=PageView&amp;noscript=1">

Näin moderni tietovarasto mahdollistaa reaaliaikaiseen tietoon perustuvan päätöksenteon

22.2.2022

Millaisiin teknologisiin ratkaisuihin moderni tietovarasto nojaa tänä päivänä? Entä miten se mahdollistaa reaaliaikaisen tiedon hyödyntämisen päätöksentekoprosesseissa? Lue blogi ja päivitä tietosi siitä, miten reaaliaikainen tiedonsiirto hallitaan moderneilla teknologioilla.

Monissa organisaatioissa reaaliaikaisen tiedon tarve kasvaa jatkuvasti. IT-ammattilaisena joudut ehkä pohtimaan, miten mahdollistat yhä suurempien tietomäärien siirron entistä nopeammin ja yhä useammista datalähteistä. 

Tehtävä voi olla haastava, ellei organisaatiollasi ole vielä käytössä tietovarastoa tai se on rakennettu vanhentuneilla teknologioilla.

Näin moderni tietovarasto mahdollistaa reaaliaikaisen tiedon – 2 keskeistä menetelmää

Modernin tietovaraston avulla varmistat, että organisaatiossasi voidaan jatkuvasti hyödyntää luotettavaa ja ajantasaista tietoa. 

Esittelen alle kaksi keskeistä modernin tietovaraston ominaisuutta, jotka tukevat reaaliaikaista tiedonsiirtoa lähdejärjestelmistä eri prosesseja palveleviin kohdejärjestelmiin.

Kattavaa lisätietoa saat lataamalla Tietovarastot ja reaaliaikainen tiedonsiirto -webinaaritallenteemme. Kerromme siinä selkeästi ja yksityiskohtaisesti edistyksellisistä tietovarastoteknologioista ja niiden mahdollisuuksista.

Katso webinaaritallenne: tietovarastot ja reaaliaikainen tiedonsiirto

1. ETL-prosessin tehostaminen automatisoimalla päivitetyn tiedon siirto

Jos pohdit työssäsi eri lähteistä saatavan tiedon hyödyntämistä toisissa järjestelmissä, olet varmasti törmännyt kirjainlyhennelmään ETL (Extract, Transform, Load). ETL on tietovarastoissa käytettävä dataintegraation perusprosessi, jonka avulla dataa haetaan lähdejärjestelmistä, muokataan ja lopuksi tallennetaan tietovarastoon.

Dataintegraatio voidaan toteuttaa myös ELT-prosessilla (Extract, Load, Transform), joka on hyvä vaihtoehto strukturoimattoman datan käsittelyyn. Tällöin dataa muokataan loppukäyttöä varten kohdejärjestelmään vasta tallennuksen jälkeen.  

Nykyaikaisilla teknologioilla molemmat prosessit toteutetaan perinteisiä tapoja tehokkaammin.

Näistä kahdesta tavoista ETL on yleisempi, ja yksi esimerkki ETL-prosessia modernisoivasta edistyksellisistä ratkaisuista on ns. Change Data Capture (CDC). CDC perustuu lähdejärjestelmien muuttuneen tiedon tunnistamiseen ja automaattiseen siirtämiseen tietovarastoon.

CDC:n hyödyt modernissa ETL-prosessissa: 

  • ETL-prosessi pysyy keveänä
    CDC:n tehokkuus perustuu siihen, että se mahdollistaa tiedon siirron ETL-prosessissa pienissä osissa. CDC:n avulla voidaan käsitellä pelkästään lähdejärjestelmissä muutettua eli päivitettyä tietoa kokonaisten datasettien siirtämisen sijaan. Tämä keventää ETL-prosessia ja mahdollistaa nopean tiedonsiirron lähdejärjestelmistä tietovarastoon tai tietoaltaaseen. Myös lähdejärjestelmään kohdistuva kuormitus on pienempi, kun tietoa haetaan tasaisesti, vähän kerrallaan.

  • Tieto tallentuu reaaliajassa tietovarastoon
    CDC:n ansiosta ei enää tarvita perinteisiä yöllisiä latausajoja ison datamäärän siirtämiseen ja tiedon päivittämiseen tietovarastossa. CDC käyttää eri tapoja päivitetyn tiedon tunnistamiseen ja replikoi lähdejärjestelmän muutoksen kohteeseen tietovarastoon tai tietoaltaaseen. Pieninä paketteina liikuteltava tieto voidaan välittää heti tiedon muuttuessa sen sijaan, että odotetaan seuraavaa eräajoa.


Webinaaritallenteestamme opit lisää aiheesta: 

  • ETL- ja ELT-dataintegraatioprosessien erot, hyödyt ja mahdollisuudet.
  • ETL-prosessin käynnistyminen pull- ja push-tavoilla.
  • CDC:n tavat siirtää tietoa perinteisiin prosesseihin verrattuna.
  • CDC:n tavat muuttuneen tiedon tunnistamiseen. 

 

2. ETL-prosessin hallinnan ja ylläpidon automatisointi

ETL-prosessin sujuva toiminta edellyttää, että huolellisen rakentamisen jälkeen sitä myös ylläpidetään tehokkaasti. Ylläpidon merkitys korostuu erityisesti silloin, kun lähdejärjestelmien ja datan määrä lisääntyvät.

Perinteiset tietovarastoteknologiat vaativat tyypillisesti paljon manuaalista työtä ja osaamista ETL-prosessien seurannassa ja ylläpidossa.

Sen sijaan modernien teknologioiden avulla voidaan automatisoida koko ETL-prosessin hallinta ja ylläpito, mukaan lukien sen viimeinen vaihe eli tietojen tallennus (store). Voidaankin puhua laajennetun tai kokonaisvaltaisen ETL-prosessin (extract, transform, load, store) automaatiosta Näin hallitaan koko dataintegraation prosessi lähdejärjestelmiin kytkeytymisestä aina tietovaraston rakenteen suunnitteluun ja ylläpitoon.

Modernin ETL-prosessinhallinnan hyödyt:

  • Kustannustehokas ETL-prosessin hallinta
    ETL-prosessin hallinta automaatiotyökalujen avulla on manuaalista työtä tehokkaampaa ja luotettavampaa, ja niiden avulla voidaan seurata prosessin yksittäisiä tapahtumia käytännössä reaaliajassa. ETL-prosessinhallinnan automatisointi vähentää manuaalisen asiantuntijatyön tarvetta ja virheiden mahdollisuutta. Näin IT-ammattilaisten resurssit voidaan käyttää johonkin enemmän lisäarvoa tuottavaan kuin prosessin ylläpitoon.

  • Helppo ETL-prosessin hallinta visuaalisten työkalujen avulla
    Markkinoilla on tarjolla useita työkaluja tietovarastojen ETL-prosessin automatisointiin. Parhaat tarjoavat paitsi valmiit rajapinnat eri lähde- ja kohdeympäristöihin, myös mahdollisuuden prosessin helppoon hallintaan no-code/low-code-periaatteella, visuaalisia työkaluja hyödyntäen.

    Edistyksellisten työkalujen avulla tarvittavat muutokset prosessiin voidaan tehdä ilman manuaalista koodausta, helpolla visuaalisella käyttöliittymällä. Esimerkki tällaisesta työkalusta on Qlik Data Integration Platform.


Webinaaritallenteestamme kuulet juuri tähän liittyen:

  • millaisissa käyttötarpeissa organisaatiosi kannattaa automatisoida laajennettu ETL-prosessi.
  • esimerkkejä Microsoftin ja Qlikin teknologioista kokonaisvaltaisen ETL-prosessin toteuttamiseen.

 

Ota yhteyttä!

Ota yhteyttä, kun haluat ottaa tietovaraston käyttöön organisaatiossasi! Rakennamme tietovaraston ketterillä menetelmillä alan edistyksellisimmillä Microsoft- tai Qlik-teknologioilla.

Laita viestiä tulemaan myös, jos haluat hyötyä nykyisen tietovarastoteknologianne modernisoinnista

 
Bernardo Di Chiara
KIRJOITTAJA:
Bernardo Di Chiara
Bernardo on tiedonhallinnan konsultti Pengonilla. Hänellä on vahva asiantuntemus dataintegraatioissa, tietovarastoissa ja dataputkissa (data pipeline) – pääasiassa näiden asioiden ympärille rakentuu myös hänen päivittäinen työnsä.

Tilaa uusimmat artikkelit sähköpostiisi

Suosituimmat blogikirjoitukset

Jäikö sinulla jotain kysyttävää?

Ota meihin yhteyttä

Jos haluat keskustella tietojohtamisen palveluista tai kaipaat tukea BI-ratkaisun käytössä, jätä meille viesti.
Palaamme sinulle viimeistään seuraavana arkipäivänä.

045 230 1660
info@pengon.fi