Datajärvet: miten datajärvet toimivat ja miksi niitä tarvitaan

Järvet, vitriinit ja varastointi

Kuvittele, että yrityksellä on pääsy ehtymättömään tietoon

resurssi - uppoutuen siihen, analyytikot säännöllisestisaada arvokkaita liiketoimintatietoja ja lanseerata uusia, parempia tuotteita. Datajärvet toimivat suunnilleen tällä periaatteella. Tämä on suhteellisen uudenlainen tietoarkkitehtuuri, jonka avulla voit koota raakaa ja hajallaan olevaa tietoa eri lähteistä ja löytää sille sitten tehokasta käyttöä. Jättiläiset, kuten Oracle, Amazon ja Microsoft, olivat ensimmäisiä, jotka kokeilivat tekniikkaa, ja he kehittivät myös käteviä palveluita järvien rakentamiseen.

Termin datajärvi otti käyttöön James Dixon,Pentaho-alustan perustaja. Hän vertasi datamartteja datajärviin: ensimmäiset ovat kuin pullotettua vettä, joka on puhdistettu, suodatettu ja pakattu. Järvet ovat avoimia vesimuodostumia, joissa vettä virtaa eri lähteistä. Voit sukeltaa niihin tai ottaa näytteitä pinnalta. On myös tietovarastoja, jotka suorittavat tiettyjä tehtäviä ja palvelevat tiettyjä etuja. Lakeside-repot puolestaan ​​voivat hyödyttää monia pelaajia, jos niitä käytetään viisaasti.

Vaikuttaa siltä, ​​että tietovirta vain vaikeuttaatyötä analyytikoille, koska tiedot eivät ole jäsenneltyjä, ja lisäksi niitä on liian paljon. Mutta jos yritys osaa työskennellä datan kanssa ja saada siitä arvoa, järvestä ei tule suota.

Tietojen poimiminen "bunkkerista"

Silti mitä hyötyä datajärvistä on?yritykset? Niiden tärkein etu on runsaus. Arkisto vastaanottaa tietoja eri tiimeiltä ja osastoilta, jotka eivät yleensä liity toisiinsa. Otetaan esimerkiksi verkkokoulu. Eri osastot pitävät tilastojaan ja pyrkivät omiin tavoitteisiinsa - yksi tiimi seuraa käyttäjien säilyttämismittareita, toinen tutkii uusien asiakkaiden asiakasmatkaa ja kolmas kerää tietoa valmistuneista. Kukaan ei voi käyttää koko kuvaa. Mutta jos keräät erilaisia ​​tietoja yhteen arkistoon, voit löytää mielenkiintoisia malleja. Esimerkiksi käy ilmi, että käyttäjät, jotka tulevat suunnittelukursseille ja katsovat vähintään kahta verkkoseminaaria, pääsevät todennäköisemmin ohjelman loppuun ja rakentavat menestyvän uran markkinoilla. Nämä tiedot auttavat yritystä pitämään opiskelijat ja luomaan houkuttelevamman tuotteen.

Usein havaitaan odottamattomia kuvioitasattumalta - näin datajärvi auttaa data-analyytikoita kokeellisesti "risteämään" eri tietovirtoja ja löytämään yhtäläisyyksiä, joita he tuskin olisivat löytäneet muissa olosuhteissa.

Tietolähteet voivat olla mitä tahansa:verkkokoululla on tilastoja eri myynninedistämiskanavista, tehtaalla on IoT-anturi-indikaattorit, työstökoneiden käyttöaikataulu ja laitteiden kulumisnopeudet, markkinapaikalla on tietoa tavaroiden saatavuudesta varastossa, myyntitilastoista ja tiedoista suosituimmista maksutavoista. Järvet auttavat vain keräämään ja tutkimaan sellaisia ​​tietoja, jotka eivät yleensä leikkaa millään tavalla ja kuuluvat eri osastojen huomion piiriin.

Toinen datajärvien plus on tietojen louhintaerilaisista arkistoista ja suljetuista alijärjestelmistä. Tiedot tallennetaan usein eräänlaiseen "bunkkeriin", johon pääsy on vain yhdellä osastolla. Materiaalien siirtäminen siitä on vaikeaa tai mahdotonta - rajoituksia on liikaa. Järvet ratkaisevat tämän ongelman.

Joten datajärvillä on ainakin kahdeksan etua:

• Auta data-analyytikkoja saamaan arvokasta oivallusta.
• Antaa yrityksen tehdä nopeita päätöksiä tilastojen ja tosiseikkojen perusteella.
• Voit kokeilla erityyppisiä tietoja eri lähteistä.
• Tee analyysiprosessista demokraattisempi ja poista osastojen väliset esteet.
• Tarjoaa korkean tason tietojen keskittämisen ja tarkkuuden - tämän avulla löydät "neulan heinäsuovasta".
• Sopii kaiken kokoisille yrityksille - varhaisessa vaiheessa voit aloittaa minijärvistä ja rakentaa vähitellen volyymeja.
• Ne yksinkertaistavat liiketoimintaprosesseja - esimerkiksi antavat sinun tehdä verkkotunnusten välisiä kyselyjä ja luoda monimutkaisia ​​tuoteraportteja.
• Ne ovat halvempia kuin tallennus, koska tietoja ei tarvitse esikäsitellä.

Järviä tarvitaan ensisijaisesti hajautettujen jahaarautuneita joukkueita. Klassinen esimerkki on Amazon. Yhtiö on kerännyt tietoa tuhansista eri lähteistä. Näin ollen pelkästään rahoitustapahtumat tallennettiin 25 eri tietokantaan, jotka on suunniteltu ja järjestetty eri tavoin. Tämä aiheutti hämmennystä ja vaivaa. Järvi auttoi keräämään kaiken materiaalin yhteen paikkaan ja luomaan yhtenäisen tietosuojajärjestelmän. Nyt asiantuntijat – data- ja liiketoimintaanalyytikot, kehittäjät ja teknologiajohtajat – voisivat ottaa tarvitsemansa komponentit ja käsitellä niitä erilaisilla työkaluilla ja teknologioilla. Ja koneoppiminen on auttanut Amazonin analyytikot tekemään erittäin tarkkoja ennusteita – nyt he tietävät, kuinka monta tietyn kokoista laatikkoa pakettiin tarvitaan Teksasissa marraskuussa.

Neljä askelta järvien tietoon

Mutta tietojärvillä on myös haittoja.Ensinnäkin ne edellyttävät lisäresursseja ja korkeaa asiantuntemusta - vain korkeasti koulutetut analyytikot voivat hyötyä niistä. Tarvitset myös ylimääräisiä Business Intelligence -työkaluja, joiden avulla voit muuttaa oivalluksesi yhtenäiseksi strategiaksi.

Toinen ongelma on kolmansien osapuolten käyttöjärjestelmät tietojärvien ylläpitoon. Tässä tapauksessa yritys riippuu palveluntarjoajasta. Jos järjestelmä kaatuu tai tietovuoto tapahtuu, se voi johtaa suuriin taloudellisiin menetyksiin. Järvien suurin ongelma on kuitenkin tekniikan kiihtyminen. Usein yritykset ottavat tämän muodon käyttöön muodin mukaisesti, mutta eivät tiedä, miksi he todella tarvitsevat sitä. Tämän seurauksena he käyttävät suuria summia, mutta eivät saavuta sijoitetun pääoman tuottoa. Siksi asiantuntijat neuvovat jo laukaisun valmisteluvaiheessa määrittämään, mitkä liiketoimintatehtävät järvet ratkaisevat.

McKinseyn asiantuntijat tunnistavat neljä järveen tietojärvien luomisessa:

1. Alustan luominen raakatietojen keräämiseksi. Tässä vaiheessa on tärkeää oppia hakemaan ja tallentamaan tietoja.
2. Alustan kehittäminen ja ensimmäiset kokeet. Data-analyytikot alkavat jo analysoida tietoja ja rakentaa analyyttisiä prototyyppejä.
3. Tiukka integrointi tietojen tallennukseen. Tässä vaiheessa yhä useammat tietojoukot parveilevat järviin, ja navigointiprosessi yksinkertaistuu.
4. Datajärvestä tulee avainarkkitehtuuri. Uusia sovelluskenaarioita kehitetään, uusia lisäosia ja palveluita, joissa on käyttäjäystävällinen käyttöliittymä, yhtiö alkaa käyttää Data-as-a-Service-liiketoimintamallia.

Analyyttiset algoritmit

Itse tiedon keräämisessä ei ole mitäänpohjimmiltaan uutta, mutta pilvijärjestelmien, avoimen lähdekoodin alustojen ja yleisen tietokonetehon kasvun ansiosta nykyään jopa startup-yritykset voivat työskennellä lake-arkkitehtuurin kanssa.

Toinen teollisuuden kuljettaja oli konekoulutus - teknologia yksinkertaistaa osittain analyytikoiden työtä ja antaa heille lisää työkaluja jälkikäsittelyyn. Jos aiemmin asiantuntija olisi hukkunut tiedostojen, yhteenvetojen ja taulukoiden määrään, nyt hän voi "syöttää" ne algoritmille ja rakentaa nopeasti analyyttisen mallin.

Datalakkien käyttäminen yhdessä tekoälyn kanssa auttaaei vain keskitetysti analysoi tilastoja, vaan myös seuraa trendejä läpi yrityksen historian. Niinpä yksi amerikkalaisista korkeakouluista keräsi tietoja hakijoista viimeisten 60 vuoden aikana. Huomioon otettiin tiedot uusien opiskelijoiden määrästä sekä työllisyysindikaattorit ja maan yleinen taloudellinen tilanne. Tämän seurauksena yliopisto sopeutti ohjelmaa siten, että opiskelijat saivat opintonsa päätökseen sen sijaan, että he jättäisivät opinnot kesken puolivälissä.

Mitä muita yritystehtäviä datajärvet voivat ratkaista:

• Kohdista resurssit tehokkaasti varastojen välttämiseksi huippukysynnän aikana.
• Rakenna tarkempia ennusteita ja ennakoi trendejä sekä lanseeraa innovatiivisia tuotteita kilpailijoiden edessä.
• Segmentoi yleisösi ja tunnista jopa kapeimpien ryhmien edut.
• Luo yksityiskohtaisempia ja tarkempia raportteja, jotka auttavat parantamaan mittareita ja lisäämään tuottavuutta.
• Mukauta kampanjaalgoritmeja ja suositusjärjestelmiä tehokkaammin.
• Säästä resursseja tuotannossa tai laboratoriossa - vaikka se olisi monimutkainen rakenne, kuten CERN.

Järviä ei kuitenkaan käytetä vainliiketoimintaympäristö – esimerkiksi pandemian alussa AWS keräsi tietoa COVID-19:stä yhteen tietovarastoon: tutkimustietoja, artikkeleita, tilastoraportteja. Tietoja päivitettiin säännöllisesti, ja niihin pääsy oli ilmaista – sinun piti maksaa vain analytiikkatyökaluista.

Datajärviä ei voida pitää universaaleinatyökalu ja ihmelääke, mutta aikakaudella, jolloin tietoja pidetään uutena öljynä, on tärkeää, että yritykset etsivät erilaisia ​​tapoja tutkia ja soveltaa isoja tietoja. Päätehtävänä on keskittää ja yhdistää erilaiset tiedot. Mikropalvelujen ja hajautettujen tiimien aikakaudella syntyy usein tilanteita, joissa yksi osasto ei tiedä mitä toinen työskentelee. Tämän vuoksi yritys tuhlaa resursseja, ja eri asiantuntijat suorittavat samat tehtävät, usein tietämättä siitä. Tämä vähentää viime kädessä tehokkuutta ja ylikuormittaa yrityksen "käyttöjärjestelmää". Tutkimukset osoittavat, että useimmat yritykset sijoittavat datajärviin toiminnan tehostamiseksi. Mutta tulokset ylittävät odotukset: tekniikan varhaiset käyttöönottajat kasvavat tuloja ja voittoja nopeammin kuin jäljessä olevat, ja mikä tärkeintä, ne tuovat uusia tuotteita ja palveluja markkinoille nopeammin.

Katso myös:

Argentiinan terveysministeriö paljasti sivuvaikutuksia potilailla, jotka saivat "Sputnik V"

Platypus osoittautui geneettiseksi sekoitukseksi nisäkkäistä, linnuista ja matelijoista

Abortti ja tiede: mitä tapahtuu synnyttäville lapsille