ההנהלה רוצה לדעת אם ההשקעה ב-AI משתלמת. מנהלי הביניים רוצים לדעת אם הצוות שלהם משתפר. ההכשרה רוצה להראות שעבדה.
כולם מודדים — וברוב הארגונים, מודדים את הדבר הלא נכון.
המדידה הנפוצה היא של פעילות: כמה רישיונות נרכשו, כמה משתתפים היו בהרצאות, כמה אנשים פתחו חשבון. קל לאסוף. ניתן לדיווח חודשי. נראה מעודד.
הבעיה: זה לא משקף בכלל אם העבודה השתנתה.
בעבודה של עמרי ווגסטף עם ארגונים כיועץ פיתוח ארגוני ובינה מלאכותית, אחת המשימות הראשונות היא לעזור להגדיר את המדדים הנכונים — אלה שמשקפים שינוי התנהגות בארגון, לא רק פעילות.
למה מדידה של רישיונות לא אומרת כלום
נניח שבארגון יש כמה מאות רישיונות פעילים, וכולם משלמים. נשמע טוב.
עכשיו נשאל: כמה מהמשימות החוזרות בארגון עוברות בפועל דרך הכלי? כמה תוצרים שיוצאים החוצה עברו דרכו? כמה דקות נחסכו בעבודה היומיומית?
ברוב הארגונים, אין תשובה לשלוש השאלות האלה.
הרישיון פעיל. מי משתמש בו, באיזו תדירות, באילו תהליכים — לא ידוע. רישיון פעיל יכול להיות גם של מישהו שמשתמש פעם בחודש כי הזכיר לעצמו לפתוח, וגם של מישהו שהפך את הכלי לחלק מהעבודה היומיומית. שניהם נראים אותו דבר במדידה.
המדד "כמה רישיונות פעילים" מודד מה שקרה ב-IT. הוא לא מודד מה שקרה בעבודה.
מדדים שלא משקפים אימוץ אמיתי
שלושה מדדים שארגונים נצמדים אליהם, וששווה לעבור מהם הלאה:
כמות רישיונות פעילים. מדד טכני שאומר על הגישה לכלי, לא על השימוש בו. נדרש לחיוב, לא לאימוץ.
כמות משתתפים בהרצאות וסדנאות. מדד של חשיפה, לא של שינוי. אדם יכול להשתתף בכמה הרצאות AI ולא לשנות דבר בעבודה היומיומית שלו.
כמות אנשים ש"פתחו חשבון" או "התחברו". מדד של נכונות ראשונית. מתוך מה שאני רואה בארגונים, רוב מי שפותח חשבון לא חוזר באופן עקבי בלי תמיכה ניהולית.
שלושת המדדים האלה לא רעים. הם פשוט עונים על שאלה אחרת — "האם החשיפה התרחשה". לא "האם ההטמעה הצליחה".
מדדים שכן משקפים אימוץ אמיתי
שישה מדדים שמחליפים — לא משלימים — את המדדים שלמעלה:
- שימוש חוזר בתהליך אמיתי. לא "כמה פעמים פתחו את הכלי", אלא "כמה פעמים תהליך עבודה ספציפי עבר דרכו". מדד שדורש מנהל שיודע מה התהליכים בצוות שלו.
- זמן שנחסך במשימות חוזרות. אפשר למדוד דרך השוואת לפני/אחרי, או דרך דיווח עצמי של הצוות. לא צריך דיוק מתמטי — די בכיוון.
- שיפור איכות תוצרים. מי שמשתמש בתוצר — לקוח, מנהל אחר, צוות ממשיק — נשאל אם הוא רואה שיפור. איכות נמדדת באיכות, לא בכמות.
- שגרת ניהול שכוללת AI. האם מנהלים שואלים את חמש השאלות השבועיות באופן עקבי. האם הם משלבים את הנושא בשיחות אחד-על-אחד.
- מספר use cases מיושמים בפועל. לא "מתוכננים" — מיושמים. כל use case שעבר לשגרה הוא תוצאה בפני עצמה.
- אימוץ ברמת הצוות, לא רק היחיד. האם כל הצוות משתמש בכלי באופן דומה, או שיש שני-שלושה "אנשי AI" שמיישמים וכל היתר ממשיכים בשגרה הישנה.
אלה דורשים יותר עבודה למדוד. הם גם הסיבה שארגונים שמודדים אותם רואים תוצאות אמיתיות, לא רק שיפור באקסל של ההכשרה.
מדדי פעילות לעומת מדדי שינוי התנהגותי
זאת ההבחנה המרכזית.
מדדי פעילות סופרים אירועים. הם עונים על שאלה כמו "כמה הכשרות התקיימו". זולים לאיסוף, קלים להציג.
מדדי שינוי התנהגותי סופרים שינוי. הם עונים על שאלה כמו "האם המנהלים שואלים שאלות אחרות מאשר לפני חצי שנה". דורשים יותר תשומת לב — אבל מודדים את מה שבאמת קרה.
הטעות הנפוצה: ארגונים מדווחים על מדדי פעילות כאילו הם מדדי הצלחה. "השנה העברנו כמה סדנאות" הוא מדד פעילות. הצלחה היא משהו אחר — האם משהו השתנה בעקבותיהן.
איך לבנות לוח מדדים בריא
לוח מדדים בריא שעמרי ווגסטף בונה עם ארגונים כולל ארבעה רבדים שמשתלבים זה בזה.
הרובד התפעולי הוא רובד החשיפה. רישיונות, השתתפויות, השקעה. צריך אותו לתפעול היומיומי, לא לקבלת החלטות.
הרובד הבא הוא השימוש. כמה משתמשים בפועל, באיזו תדירות, באילו תהליכים. כאן מתחילים לראות תמונה אמיתית של מה שקורה אצל הצוות.
הרובד השלישי הוא ההשפעה. זמן שנחסך, איכות שהשתפרה, תהליכים שעוצבו מחדש. זאת ליבת ההטמעה.
והרובד הרביעי הוא השינוי התרבותי. שאלות ניהוליות שונות, שיתופי ידע, מעבר משימוש אישי לשימוש ארגוני. השכבה הזאת מראה אם השינוי באמת החזיק.
ארבע שכבות, לא שכבה אחת. ארגון שמודד רק את הראשונה אינו יודע אם ההטמעה הצליחה, גם אם המספרים מעודדים.
דפוסי טעות במדידה
מדידה רק ברגע אחד. מדידה לפני סדנה ומיד אחריה לא משקפת שינוי. צריך מדידה גם כמה חודשים אחר כך.
הסתמכות על דיווח עצמי בלבד. אנשים נוטים לדווח שהם משתמשים יותר משהם משתמשים בפועל. שווה לשלב מדדי דיווח עצמי עם מדדי תהליך.
שאיפה למספרים יפים, לא לאמת. "אחוזי אימוץ גבוהים" נשמעים נהדר. השאלה היא איך הוגדר אימוץ. לפעמים זה "ענה כן בסקר".
חוסר חיבור למשתמשים בתוצר. אם רק הצוות עצמו אומר שהאיכות השתפרה, זה דיווח חלקי. צריך לשאול גם את מי שמקבל את התוצר.
מי בארגון אחראי על מסגרת המדידה
זאת שאלה שלא נשאלת מספיק. בארגונים רבים, המדידה של AI נופלת על הכתפיים של מי שמוביל את ההכשרה — בדרך כלל HR או למידה ופיתוח. הם מודדים את מה שהם רואים, וזה לרוב חשיפה והשתתפויות.
מסגרת מדידה אמיתית דורשת בעלות מבוזרת.
ההנהלה מגדירה מה היא רוצה לראות אחרי שנה. לא מספרים מדויקים, אלא תוצאות עסקיות. "צוות השירות סוגר פניות מהר יותר". "המכירות מכינות פגישות באיכות גבוהה יותר". "ה-HR מקצר זמני גיוס". מהיעדים העסקיים האלה נגזרים המדדים.
מנהלי הביניים מודדים את מה שקורה בצוות שלהם בפועל. שימוש בתהליכים, איכות תוצרים, הרגלי עבודה. הם מקור האמת לרובד "ההשפעה".
ההכשרה ממשיכה למדוד חשיפה והשתתפות — אבל כקלט תפעולי, לא כתוצאה.
מערכות מידע מספקות נתוני שימוש טכניים — תדירות, היקף, שגיאות.
ארגונים שמחלקים את הבעלות ככה רואים תמונה הוליסטית. ארגונים שמרכזים את הכול אצל גורם אחד מקבלים תמונה חלקית, גם אם המאמץ גדול.
מה הצעד הבא
מדידה היא לא נושא שמחכים איתו עד הסוף. היא נושא שמגדירים כבר בתחילת תהליך ההטמעה: מה נמדד, איך, מתי, על ידי מי.
עמרי ווגסטף מלווה ארגונים בבניית מסגרת המדידה הזאת כחלק מתהליך הליווי הארגוני במסגרת Omri AI.
אם ההנהלה אצלכם רוצה לדעת אם ההשקעה ב-AI באמת משתלמת — לא לפי כמות סדנאות, אלא לפי שינוי בעבודה — שיחת התאמה היא נקודת התחלה טובה.