Meren, vitrines en opslag
Stel je voor dat een bedrijf toegang heeft tot onuitputtelijke informatie
De term datameer zelf werd geïntroduceerd door James Dixon,oprichter van het Pentaho-platform. Hij vergeleek datamarts met datameren: de eerste zijn als flessenwater dat is gezuiverd, gefilterd en verpakt. Meren zijn open watermassa's waarin water uit verschillende bronnen stroomt. Je kunt erin duiken, of je kunt monsters van het oppervlak nemen. Er zijn ook gegevensopslagplaatsen die specifieke taken uitvoeren en specifieke belangen dienen. Aan de andere kant kunnen veel spelers baat hebben bij opslagplaatsen aan het meer als ze verstandig worden gebruikt.
Het lijkt erop dat de informatiestroom alleen maar ingewikkelder wordtwerk voor analisten, omdat de informatie niet gestructureerd is, en bovendien zijn er te veel. Maar als het bedrijf weet hoe het met data moet werken en er waarde uit kan halen, wordt het meer geen moeras.
Gegevens extraheren uit de "bunker"
Maar wat zijn de voordelen van datameren?bedrijven? Hun belangrijkste voordeel is overvloed. De repository ontvangt informatie van verschillende teams en afdelingen, die meestal niet aan elkaar gerelateerd zijn. Neem bijvoorbeeld een online school. Verschillende afdelingen houden hun statistieken bij en streven hun eigen doelen na: het ene team controleert de meetgegevens van gebruikersbehoud, het tweede bestudeert de klantreis van nieuwe klanten en het derde verzamelt informatie over afgestudeerden. Niemand heeft toegang tot het volledige plaatje. Maar als u ongelijksoortige informatie in een enkele opslagplaats verzamelt, kunt u interessante patronen vinden. Het blijkt bijvoorbeeld dat gebruikers die naar ontwerpcursussen komen en ten minste twee webinars hebben bekeken, meer kans hebben om het einde van het programma te bereiken en een succesvolle carrière op de markt op te bouwen. Deze informatie helpt het bedrijf om studenten te behouden en een aantrekkelijker product te maken.
Vaak worden onverwachte patronen ontdektbij toeval - een datameer helpt data-analisten dus om experimenteel verschillende informatiestromen te 'kruisen' en parallellen te vinden die ze onder andere omstandigheden nauwelijks zouden hebben ontdekt.
Gegevensbronnen kunnen elk zijn:een online school heeft statistieken van verschillende promotiekanalen, een fabriek heeft IoT-sensorindicatoren, een schema voor het gebruik van werktuigmachines en slijtage van de apparatuur, een marktplaats heeft informatie over de beschikbaarheid van goederen in voorraad, verkoopstatistieken en gegevens over de meest populaire betaalmethoden. Meren helpen alleen bij het verzamelen en bestuderen van reeksen informatie, die elkaar op geen enkele manier kruisen en onder de aandacht komen van verschillende afdelingen.
Een ander pluspunt van datameren is data-extractievan ongelijksoortige opslagplaatsen en gesloten subsystemen. Vaak wordt informatie opgeslagen in een soort informatiebunker, waartoe slechts één afdeling toegang heeft. Het is moeilijk of onmogelijk om er materialen van over te brengen - er zijn te veel beperkingen. Meren lossen dit probleem op.
Er zijn dus minstens acht voordelen van datameren:
- Help data-analisten waardevolle inzichten te krijgen.
- Hiermee kan het bedrijf snelle beslissingen nemen op basis van statistieken en feiten.
- Hiermee kunt u experimenteren met verschillende soorten gegevens uit verschillende bronnen.
- Maak het analyseproces democratischer en verwijder barrières tussen afdelingen.
- Zorg voor een hoog niveau van gegevenscentralisatie en granulariteit - dit stelt u in staat een "naald in een hooiberg" te vinden.
- Geschikt voor bedrijven van elke omvang - in een vroeg stadium kunt u beginnen met mini-meren en geleidelijk volumes opbouwen.
- Ze vereenvoudigen bedrijfsprocessen - ze stellen u bijvoorbeeld in staat om domeinoverstijgende vragen te stellen en complexe productrapportage te maken.
- Ze zijn goedkoper dan opslag omdat de gegevens niet voorbewerkt hoeven te worden.
Meren zijn in de eerste plaats nodig voor gedistribueerde envertakte teams. Een klassiek voorbeeld is Amazon. Het bedrijf heeft gegevens verzameld uit duizenden verschillende bronnen. Zo werden alleen al de financiële transacties opgeslagen in 25 verschillende databases, die op verschillende manieren waren ontworpen en georganiseerd. Dit zorgde voor verwarring en ongemak. Het meer hielp om alle materialen op één plek te verzamelen en een uniform gegevensbeschermingssysteem op te zetten. Nu konden specialisten – data- en bedrijfsanalisten, ontwikkelaars en CTO’s – de componenten die ze nodig hadden nemen en deze verwerken met behulp van verschillende tools en technologieën. En machinaal leren heeft Amazon-analisten geholpen uiterst nauwkeurige voorspellingen te doen - nu weten ze hoeveel dozen van een bepaalde grootte nodig zullen zijn voor pakketten in Texas in november.
Vier stappen naar datameren
Maar datameren hebben ook nadelen.Allereerst hebben ze extra middelen en een hoog niveau van expertise nodig - alleen hooggekwalificeerde analisten kunnen er echt van profiteren. Je hebt ook aanvullende Business Intelligence-tools nodig om je inzichten om te zetten in een samenhangende strategie.
Een ander probleem is het gebruik van derdensystemen om datameren in stand te houden. In dit geval is het bedrijf afhankelijk van de aanbieder. Als er een systeemcrash of datalek optreedt, kan dit tot grote financiële verliezen leiden. Het grootste probleem van de meren is echter de hype rond technologie. Bedrijven passen dit formaat vaak toe volgens de mode, maar weten niet waarom ze het echt nodig hebben. Als gevolg hiervan geven ze grote bedragen uit, maar behalen ze geen rendement op hun investering. Daarom adviseren experts, zelfs in de voorbereidingsfase voor de lancering, om te bepalen welke zakelijke taken de meren zullen oplossen.
McKinsey-experts identificeren vier fasen voor het creëren van datameren:
- Oprichting van een platform voor het verzamelen van ruwe data. In dit stadium is het belangrijk om te leren hoe u informatie kunt ophalen en opslaan.
- Platformontwikkeling en eerste experimenten. Data-analisten beginnen al met het analyseren van gegevens en het bouwen van analytische prototypes.
- Nauwe integratie met gegevensopslag. In dit stadium stromen steeds meer datasets naar de meren en wordt het navigatieproces vereenvoudigd.
- Data lake wordt de sleutelarchitectuur. Nieuwe toepassingsscenario's ontwikkelen zich, nieuwe add-ons en diensten met een gebruiksvriendelijke interface verschijnen, het bedrijf begint het Data-as-a-Service-bedrijfsmodel te gebruiken.
Analytische algoritmen
Er zit niets in de accumulatie van gegevens zelffundamenteel nieuw, maar dankzij de ontwikkeling van cloudsystemen, open source-platforms en een algemene toename van de computerkracht kunnen tegenwoordig zelfs startups met lake-architectuur werken.
Een andere motor van de industrie was de machinetraining - technologie vereenvoudigt het werk van analisten deels en geeft hen meer hulpmiddelen voor nabewerking. Waar een specialist voorheen verdronken zou zijn in de hoeveelheid bestanden, samenvattingen en tabellen, kan hij deze nu aan het algoritme ‘voeden’ en snel een analytisch model bouwen.
Het gebruik van datameren in combinatie met AI helptniet alleen centraal statistieken analyseren, maar ook trends volgen gedurende de hele geschiedenis van het bedrijf. Zo heeft een van de Amerikaanse hogescholen de afgelopen 60 jaar informatie over aanvragers verzameld. Er werd rekening gehouden met gegevens over het aantal nieuwe studenten, maar ook met werkgelegenheidsindicatoren en de algemene economische situatie in het land. Als gevolg hiervan heeft de universiteit het programma aangepast, zodat studenten hun studie afrondden en niet halverwege stopten met studeren.
Welke andere zakelijke taken kunnen datameren oplossen:
- Wijs middelen efficiënt toe om stock-outs te voorkomen tijdens perioden van piekvraag.
- Bouw nauwkeurigere prognoses en anticipeer op trends, en lanceer innovatieve producten vóór de concurrentie.
- Segmenteer uw publiek en identificeer de interesses van zelfs de meest nichegroepen.
- Bouw meer gedetailleerde en nauwkeurige rapporten om de statistieken te verbeteren en de productiviteit te verhogen.
- Pas promotie-algoritmen en aanbevelingssystemen efficiënter aan.
- Bespaar middelen in de productie of in het laboratorium - zelfs als het een complexe structuur is zoals CERN.
Meren worden echter niet alleen voor gebruiktzakelijke omgeving – aan het begin van de pandemie verzamelde AWS bijvoorbeeld informatie over COVID-19 in één enkele opslagplaats: onderzoeksgegevens, artikelen, statistische rapporten. De informatie werd regelmatig bijgewerkt en de toegang daartoe was gratis. U hoefde alleen maar te betalen voor analysetools.
Datameren kunnen niet als universeel worden beschouwdtool en wondermiddel, maar in een tijdperk waarin data wordt beschouwd als de nieuwe olie, is het belangrijk dat bedrijven op zoek gaan naar verschillende manieren om big data te onderzoeken en toe te passen. De belangrijkste taak is het centraliseren en consolideren van ongelijksoortige informatie. In het tijdperk van microservices en gedistribueerde teams doen zich vaak situaties voor waarin de ene afdeling niet weet waar de andere aan werkt. Hierdoor verspilt het bedrijf middelen en voeren verschillende specialisten dezelfde taken uit, vaak niet bewust. Dit vermindert uiteindelijk de efficiëntie en overbelast het "besturingssysteem" van het bedrijf. Uit enquêtes blijkt dat de meeste bedrijven in datameren investeren om de operationele efficiëntie te verbeteren. Maar de resultaten overtreffen de verwachtingen: early adopters van technologie verhogen de omzet en winst sneller dan degenen die achterblijven, en het belangrijkste is dat ze sneller nieuwe producten en diensten op de markt brengen.
Zie ook:
Het ministerie van Volksgezondheid van Argentinië heeft gegevens bekendgemaakt over bijwerkingen bij degenen die "Sputnik V" kregen.
Platypus bleek een genetische mix te zijn van zoogdieren, vogels en reptielen
Abortus en wetenschap: wat gebeurt er met de kinderen die zullen bevallen