אגמים, ויטרינות ואחסון
תארו לעצמכם שלחברה יש גישה למידע בלתי נדלה
המונח אגם נתונים עצמו הוצג על ידי ג'יימס דיקסון,מייסד פלטפורמת פנטהו. הוא השווה בין צעדות נתונים לאגמי נתונים: הראשונים הם כמו מים מבקבוקים שטוהרו, סוננו ונארזו. אגמים הם גופי מים פתוחים אליהם זורמים מים ממקורות שונים. אתה יכול לצלול לתוכם, או שאתה יכול לקחת דוגמאות מפני השטח. ישנם גם מאגרי נתונים המבצעים משימות ספציפיות ומשרתים תחומי עניין ספציפיים. לעומת זאת, ריבוטים על שפת האגם יכולים להועיל לשחקנים רבים אם משתמשים בהם בחוכמה.
נראה שזרם המידע רק מסבךלעבוד אצל אנליסטים מכיוון שהמידע אינו מובנה, וחוץ מזה יש יותר מדי כאלה. אך אם החברה יודעת לעבוד עם נתונים ולקבל מהם ערך, האגם אינו הופך לביצה.
חילוץ נתונים מה"בונקר "
ובכל זאת, מה היתרונות של אגמי נתונים?חברות? היתרון העיקרי שלהם הוא השפע. המאגר מקבל מידע מצוותים ומחלקות שונות, שלרוב אינם קשורים זה לזה. קחו למשל בית ספר מקוון. מחלקות שונות שומרות על הסטטיסטיקה שלהן ושואפות למטרותיהן - צוות אחד עוקב אחר מדדי שימור המשתמשים, השני בוחן את מסע הלקוחות של לקוחות חדשים והשלישי אוסף מידע על בוגרים. לאף אחד אין גישה לתמונה המלאה. אבל אם אתה צובר מידע שונה במאגר יחיד, אתה יכול למצוא דפוסים מעניינים. לדוגמא, מסתבר שמשתמשים שמגיעים לקורסי עיצוב וצפו לפחות בשני סמינרים מקוונים נוטים יותר להגיע לסוף התוכנית ולבנות קריירה מצליחה בשוק. מידע זה יעזור לחברה לשמור על סטודנטים וליצור מוצר משכנע יותר.
לעתים קרובות מתגלים דפוסים בלתי צפוייםבמקרה - לפיכך, אגם נתונים עוזר למנתחי נתונים "לחצות" בניסוי זרמים שונים של מידע ולמצוא הקבלות שהם בקושי היו מגלים בנסיבות אחרות.
מקורות נתונים יכולים להיות בכל:בבית ספר מקוון יהיו נתונים סטטיסטיים מערוצי קידום שונים, במפעל יהיו אינדיקטורים של חיישני IoT, לוח זמנים לשימוש במכונות ושיעורי שחיקת ציוד, בשוק יהיה מידע על זמינות הסחורות במלאי, סטטיסטיקות מכירה ונתונים על אמצעי התשלום הפופולריים ביותר. אגמים רק עוזרים לאסוף וללמוד מערכי מידע, שלרוב אינם מצטלבים בשום צורה ומגיעים לידיעתם של מחלקות שונות.
יתרון נוסף של אגמי נתונים הוא חילוץ נתוניםממאגרים שונים ותתי מערכות סגורות. לעתים קרובות מידע נשמר במעין "בונקר" מידע, שהגישה אליו כוללת מחלקה אחת בלבד. קשה או בלתי אפשרי להעביר ממנו חומרים - יש יותר מדי מגבלות. אגמים פותרים את הבעיה הזו.
אז יש לפחות שמונה יתרונות של אגמי נתונים:
- עזרו באנליסטים של נתונים להשיג תובנות בעלות ערך.
- מאפשר לחברה לקבל החלטות מהירות על בסיס סטטיסטיקה ועובדות.
- מאפשר לך להתנסות בסוגים שונים של נתונים ממקורות שונים.
- הפוך את תהליך הניתוח לדמוקרטי יותר והסר חסמים בין מחלקות.
- ספק רמה גבוהה של ריכוז נתונים וגרעיניות - זה מאפשר לך למצוא "מחט בערמת שחת".
- מתאים לחברות בכל הגדלים - בשלב מוקדם תוכלו להתחיל במיני אגמים ולהקים בהדרגה כמויות.
- הם מפשטים תהליכים עסקיים - למשל, הם מאפשרים לך לבצע שאילתות בין תחומים וליצור דיווח מורכב על מוצרים.
- הם זולים יותר מאחסון מכיוון שאין צורך לעבד את הנתונים.
אגמים נחוצים בעיקר על ידי מבוזרים וצוותים מסועפים. דוגמה קלאסית היא אמזון. התאגיד צבר נתונים מאלפי מקורות שונים. כך, עסקאות פיננסיות בלבד אוחסנו ב-25 מאגרי מידע שונים, אשר תוכננו ואורגנו בדרכים שונות. זה יצר בלבול ואי נוחות. האגם עזר לאסוף את כל החומרים במקום אחד ולהקים מערכת מאוחדת להגנה על נתונים. כעת מומחים - מנתחי נתונים ועסקים, מפתחים ו-CTOs - יכולים לקחת את הרכיבים הדרושים להם ולעבד אותם באמצעות כלים וטכנולוגיות שונות. ולמידת מכונה סייעה לאנליסטים של אמזון לעשות תחזיות מדויקות במיוחד - כעת הם יודעים כמה קופסאות בגודל מסוים יידרשו לחבילות בטקסס בנובמבר.
ארבעה צעדים לאגמי נתונים
אך לאגמי נתונים יש גם חסרונות.ראשית, הם דורשים משאבים נוספים ורמת מומחיות גבוהה - רק אנליסטים מוסמכים יכולים באמת ליהנות מהם. תזדקק גם לכלי בינה עסקית נוספים שיעזרו להפוך את התובנות שלך לאסטרטגיה קוהרנטית.
בעיה נוספת היא השימוש בצד ג 'מערכות לתחזוק אגמי נתונים. במקרה זה, החברה תלויה בספק. אם מתרחשת קריסת מערכת או דליפת נתונים, זה יכול להוביל להפסדים כספיים גדולים. עם זאת, הבעיה העיקרית של האגמים היא ההייפ סביב הטכנולוגיה. לעתים קרובות, חברות מאמצות את הפורמט הזה באופן האופנתי, אך אינן יודעות מדוע הן באמת זקוקות לו. כתוצאה מכך הם מוציאים סכומים גדולים, אך אינם משיגים החזר השקעה. לכן, מומחים מייעצים, בשלב ההכנה לקראת ההשקה, לקבוע אילו משימות עסקיות האגמים יפתרו.
מומחי מקינזי מזהים ארבעה שלבים ביצירת אגמי נתונים:
- יצירת פלטפורמה לאיסוף נתונים גולמיים. בשלב זה חשוב ללמוד כיצד לאחזר ולאחסן מידע.
- פיתוח פלטפורמה וניסויים ראשונים. מנתחי נתונים כבר מתחילים לנתח נתונים ולבנות אבות טיפוס אנליטיים.
- אינטגרציה הדוקה עם אחסון נתונים. בשלב זה יותר ויותר כמויות גדולות של נתונים זורמות לאגמים, ותהליך הניווט פשוט יותר.
- אגם הנתונים הופך למפתחארכיטקטורה. תרחישי יישומים חדשים מתפתחים, תוספות ושירותים חדשים עם ממשק ידידותי למשתמש מופיעים, החברה מתחילה להשתמש במודל העסקי Data-as-a-Service.
אלגוריתמים אנליטיים
אין שום דבר בצבירת הנתונים עצמהחדש ביסודו, אבל הודות לפיתוח מערכות ענן, פלטפורמות קוד פתוח והגדלה כללית בכוח המחשב, כיום אפילו סטארטאפים יכולים לעבוד עם ארכיטקטורת אגם.
נהג נוסף של התעשייה היה המכונההדרכה - הטכנולוגיה מפשטת בחלקה את עבודתם של האנליסטים ונותנת להם יותר כלים לעיבוד לאחר. אם בעבר מומחה היה טובע במספר הקבצים, הסיכומים והטבלאות, כעת הוא יכול "להזין" אותם לאלגוריתם ולבנות במהירות מודל אנליטי.
שימוש באגמי נתונים בשילוב עם AI עוזרלא רק לנתח סטטיסטיקה מרכזית, אלא גם לעקוב אחר מגמות לאורך ההיסטוריה של החברה. כך, אחת המכללות האמריקאיות אספה מידע על מועמדים במהלך 60 השנים האחרונות. נלקחו בחשבון נתונים על מספר התלמידים החדשים וכן מדדי תעסוקה והמצב הכלכלי הכללי בארץ. כתוצאה מכך התאימה האוניברסיטה את התכנית כך שהסטודנטים סיימו את לימודיהם במקום לנשור מהקורסים באמצע הדרך.
אילו משימות עסקיות אחרות אגמי נתונים יכולים לפתור:
- הקצה משאבים ביעילות כדי להימנע ממלאי בתקופות של ביקוש בשיא.
- בנה תחזיות מדויקות יותר וצפה מגמות, והשיק מוצרים חדשניים לפני המתחרים.
- פילחו את הקהל שלכם וזיהו את האינטרסים של אפילו הקבוצות הכי נישות.
- בנה דוחות מפורטים ומדויקים יותר שיעזרו בשיפור המדדים והגברת הפרודוקטיביות.
- התאמה אישית יעילה יותר של אלגוריתמי קידום ומערכות המלצה.
- חסוך משאבים בייצור או במעבדה - גם אם מדובר במבנה מורכב כמו CERN.
עם זאת, אגמים משמשים לא רק עבורסביבה עסקית - לדוגמה, בתחילת המגיפה, AWS אספה מידע על COVID-19 במאגר אחד: נתוני מחקר, מאמרים, דוחות סטטיסטיים. המידע עודכן באופן שוטף, והגישה אליו ניתנה בחינם - היית צריך לשלם רק עבור כלי ניתוח.
אגמי נתונים לא יכולים להיחשב אוניברסלייםכלי ותרופת פלא, אך בעידן בו הנתונים נחשבים לשמן החדש, חשוב שחברות יחפשו דרכים שונות לחקר ולהחיל נתונים גדולים. המשימה העיקרית היא לרכז ולרכז מידע שונה. בעידן המיקרו-שירותים וצוותים מבוזרים, לעיתים קרובות נוצרים מצבים בהם מחלקה אחת אינה יודעת על מה עובדת אחרת. מכיוון שכך, העסק מבזבז משאבים, ומומחים שונים מבצעים את אותן המשימות, ולעתים קרובות אינם מודעים לכך. בסופו של דבר זה מפחית יעילות ועומס יתר על "מערכת ההפעלה" של החברה. סקרים מראים שרוב החברות משקיעות באגמי נתונים כדי לשפר את היעילות התפעולית. אך התוצאות עולות על הציפיות: אימץ מוקדם של טכנולוגיה מגדיל את ההכנסות והרווחים מהר יותר מאלה שנמצאים מאחור, והכי חשוב, הם מביאים מוצרים ושירותים חדשים לשוק מהר יותר.
ראה גם:
משרד הבריאות בארגנטינה גילה נתונים על תופעות לוואי בקרב אלו שקיבלו את ספוטניק החמישי
הפלטיפוס התגלה כתערובת גנטית של יונקים, עופות וזוחלים
הפלה ומדע: מה יקרה לילדים שילדו