Ezeri, vitrīnas un uzglabāšana
Iedomājieties, ka uzņēmumam ir pieejama neizsmeļama informācija
Pati datu ezera terminu ieviesa Džeimss Diksons,Pentaho platformas dibinātājs. Viņš salīdzināja datu kartītes ar datu ezeriem: pirmie ir kā attīrīts, filtrēts un iesaiņots ūdens pudelēs. Ezeri ir atklātas ūdenstilpes, kurās ūdens ieplūst no dažādiem avotiem. Jūs varat ienirt tajos vai arī ņemt paraugus no virsmas. Ir arī datu krājumi, kas veic noteiktus uzdevumus un kalpo īpašām interesēm. Savukārt ezera repo var būt noderīga daudziem spēlētājiem, ja tos izmanto saprātīgi.
Šķiet, ka informācijas plūsma tikai sarežģīdarbs analītiķiem, jo informācija nav strukturēta, turklāt to ir pārāk daudz. Bet, ja uzņēmums zina, kā strādāt ar datiem un iegūt no tiem vērtību, ezers nekļūst par purvu.
Datu iegūšana no "bunkura"
Tomēr kādas ir datu ezeru priekšrocības?kompānijas? Viņu galvenā priekšrocība ir pārpilnība. Repozitorijs saņem informāciju no dažādām komandām un departamentiem, kas parasti nav savstarpēji saistīti. Piemēram, izmantojiet tiešsaistes skolu. Dažādas nodaļas uztur savu statistiku un tiecas pēc saviem mērķiem - viena komanda uzrauga lietotāju noturēšanas metriku, otrā pēta jaunu klientu klientu ceļu, bet trešā apkopo informāciju par absolventiem. Nevienam nav piekļuves pilnam attēlam. Bet, ja vienā krātuvē uzkrājat atšķirīgu informāciju, varat atrast interesantus modeļus. Piemēram, izrādās, ka lietotāji, kuri nāk uz dizaina kursiem un noskatījās vismaz divus vebinārus, visticamāk sasniegs programmas beigas un veidos veiksmīgu karjeru tirgū. Šī informācija palīdzēs uzņēmumam paturēt studentus un izveidot pievilcīgāku produktu.
Bieži tiek atklāti negaidīti modeļinejauši - tādējādi datu ezers palīdz datu analītiķiem eksperimentāli “šķērsot” dažādas informācijas plūsmas un atrast paralēles, kuras citos apstākļos diez vai būtu atklājuši.
Datu avoti var būt jebkuri:tiešsaistes skolā būs statistika no dažādiem reklāmas kanāliem, rūpnīcā būs IoT sensoru indikatori, darbgaldu lietošanas grafiks un aprīkojuma nodiluma rādītāji, tirgū būs informācija par preču pieejamību noliktavā, pārdošanas statistika un dati par populārākajām apmaksas metodēm. Ezeri tikai palīdz savākt un izpētīt informācijas masīvus, kas parasti nekādā veidā nekrustojas un ietilpst dažādu departamentu uzmanības lokā.
Vēl viens datu ezeru plus ir datu iegūšanano atšķirīgām krātuvēm un slēgtām apakšsistēmām. Bieži vien informācija tiek glabāta sava veida informācijas "bunkurā", kurai piekļuve ir tikai vienai nodaļai. Materiālus no tā ir grūti vai neiespējami pārsūtīt - ir pārāk daudz ierobežojumu. Ezeri atrisina šo problēmu.
Tātad datu ezeriem ir vismaz astoņas priekšrocības:
- Palīdziet datu analītiķiem gūt vērtīgu ieskatu.
- Ļauj uzņēmumam ātri pieņemt lēmumus, pamatojoties uz statistiku un faktiem.
- Ļauj eksperimentēt ar dažāda veida datiem no dažādiem avotiem.
- Padariet analīzes procesu demokrātiskāku un noņemiet šķēršļus starp departamentiem.
- Nodrošiniet augsta līmeņa datu centralizāciju un precizitāti - tas ļauj jums atrast “adatu siena kaudzē”.
- Piemērots visu izmēru uzņēmumiem - agrīnā stadijā varat sākt ar mini ezeriem un pakāpeniski veidot apjomus.
- Tie vienkāršo biznesa procesus - piemēram, ļauj jums veikt starpdomēnu vaicājumus un izveidot sarežģītas produktu atskaites.
- Tie ir lētāki nekā uzglabāšana, jo dati nav iepriekš jāapstrādā.
Ezeri primāri ir nepieciešami izplata unsazarotas komandas. Klasisks piemērs ir Amazon. Korporācija ir uzkrājusi datus no tūkstošiem dažādu avotu. Tādējādi finanšu darījumi vien tika glabāti 25 dažādās datu bāzēs, kuras tika veidotas un organizētas dažādos veidos. Tas radīja apjukumu un neērtības. Ezers palīdzēja savākt visus materiālus vienuviet un izveidot vienotu datu aizsardzības sistēmu. Tagad speciālisti - datu un biznesa analītiķi, izstrādātāji un CTO - varētu ņemt vajadzīgās sastāvdaļas un apstrādāt tās, izmantojot dažādus rīkus un tehnoloģijas. Un mašīnmācīšanās ir palīdzējusi Amazon analītiķiem veikt īpaši precīzas prognozes — tagad viņi zina, cik noteikta izmēra kastes būs nepieciešams iepakojumiem Teksasā novembrī.
Četri soļi līdz datu ezeriem
Bet datu ezeriem ir arī trūkumi.Pirmkārt, tiem nepieciešami papildu resursi un augsta līmeņa zināšanas - tikai augsti kvalificēti analītiķi no tiem var gūt labumu. Jums būs nepieciešami arī papildu biznesa inteliģences rīki, kas palīdzēs pārveidot ieskatus par saskaņotu stratēģiju.
Vēl viena problēma ir trešo personu izmantošanadatu ezeru uzturēšanas sistēmas. Šajā gadījumā uzņēmums ir atkarīgs no pakalpojumu sniedzēja. Ja notiek sistēmas avārija vai datu noplūde, tas var radīt lielus finansiālus zaudējumus. Tomēr ezeru galvenā problēma ir satraukums par tehnoloģijām. Bieži vien uzņēmumi pieņem šo formātu, ievērojot modi, bet nezina, kāpēc viņiem tas patiesībā vajadzīgs. Rezultātā viņi tērē lielas naudas summas, bet nesasniedz atmaksāšanos. Tāpēc eksperti pat uzsākšanas sagatavošanās posmā iesaka noteikt, kādus biznesa uzdevumus ezeri atrisinās.
McKinsey eksperti identificē četrus datu ezeru veidošanas posmus:
- Platformas izveide neapstrādātu datu vākšanai. Šajā posmā ir svarīgi iemācīties iegūt un saglabāt informāciju.
- Platformas izstrāde un pirmie eksperimenti. Datu analītiķi jau sāk analizēt datus un veidot analītiskus prototipus.
- Cieša integrācija ar datu glabāšanu. Šajā posmā aizvien vairāk datu kopu plūst uz ezeriem, un navigācijas process tiek vienkāršots.
- Datu ezers kļūst par galvenoarhitektūra. Tiek izstrādāti jauni lietojumprogrammu scenāriji, parādās jauni papildinājumi un pakalpojumi ar lietotājam draudzīgu saskarni, uzņēmums sāk izmantot biznesa modeli Data-as-a-Service.
Analītiskie algoritmi
Pašā datu uzkrāšanā nav nekāprincipiāli jauns, taču, pateicoties mākoņsistēmu attīstībai, atvērtā koda platformām un vispārējam datoru jaudas pieaugumam, mūsdienās pat jaunizveidotie uzņēmumi var strādāt ar ezera arhitektūru.
Vēl viens nozares virzītājspēks bija mašīnaapmācība - tehnoloģija daļēji vienkāršo analītiķu darbu un dod viņiem vairāk rīku pēcapstrādei. Ja iepriekš speciālists būtu noslīcis failu, kopsavilkumu un tabulu skaitā, tagad viņš tos var “iebarot” ar algoritmu un ātri izveidot analītisko modeli.
Datu ezeru izmantošana kopā ar AI palīdzne tikai centralizēti analizēt statistiku, bet arī izsekot tendencēm visā uzņēmuma vēsturē. Tādējādi viena no Amerikas koledžām apkopoja informāciju par pretendentiem pēdējo 60 gadu laikā. Tika ņemti vērā dati par jauno studentu skaitu, kā arī nodarbinātības rādītājiem un vispārējo ekonomisko situāciju valstī. Rezultātā universitāte pielāgoja programmu tā, lai studenti pabeidza studijas, nevis pameta kursus pusceļā.
Kādus citus biznesa uzdevumus datu ezeri var atrisināt:
- Efektīvi piešķiriet resursus, lai nepieļautu uzkrājumus maksimālā pieprasījuma periodos.
- Veidojiet precīzākas prognozes un prognozējiet tendences, un konkurentu priekšā palaidiet inovatīvus produktus.
- Segmentējiet auditoriju un identificējiet pat vis nišāko grupu intereses.
- Veidojiet detalizētākus un precīzākus pārskatus, lai palīdzētu uzlabot metriku un palielināt produktivitāti.
- Efektīvāk pielāgojiet veicināšanas algoritmus un ieteikumu sistēmas.
- Ietaupiet resursus ražošanā vai laboratorijā - pat ja tā ir sarežģīta struktūra, piemēram, CERN.
Tomr ezerus izmanto ne tikaibiznesa vide - piemēram, pandēmijas sākumā AWS apkopoja informāciju par COVID-19 vienā repozitorijā: pētījumu datus, rakstus, statistikas pārskatus. Informācija tika regulāri atjaunināta, un piekļuve tai tika nodrošināta bez maksas — jums bija jāmaksā tikai par analītikas rīkiem.
Datu ezerus nevar uzskatīt par universāliemlīdzeklis un panaceja, taču laikmetā, kad dati tiek uzskatīti par jauno eļļu, uzņēmumiem ir svarīgi meklēt dažādus veidus, kā pētīt un pielietot lielos datus. Galvenais uzdevums ir centralizēt un konsolidēt atšķirīgu informāciju. Mikropakalpojumu un izplatīto komandu laikmetā bieži rodas situācijas, kad viena nodaļa nezina, pie kā strādā cits. Tāpēc bizness iznieko resursus, un dažādi speciālisti veic vienus un tos pašus uzdevumus, bieži to neapzinoties. Tas galu galā samazina efektivitāti un pārslogo uzņēmuma "operētājsistēmu". Aptaujas rāda, ka lielākā daļa uzņēmumu iegulda datu ezeros, lai uzlabotu darbības efektivitāti. Bet rezultāti pārsniedz cerības: agrīni tehnoloģiju izmantotāji ienākumus un peļņu aug ātrāk nekā atpalikušie, un pats svarīgākais ir tas, ka viņi ātrāk ievieš jaunus produktus un pakalpojumus.
Skatiet arī:
Argentīnas Veselības ministrija ir atklājusi datus par blakusparādībām tiem, kuri saņēma "Sputnik V"
Platypus izrādījās ģenētisks maisījums no zīdītājiem, putniem un rāpuļiem
Aborts un zinātne: kas notiks ar bērniem, kas dzemdēs