תהליך ההערכה כולל, בין היתר, איסוף מידע בעזרת כלי מחקר מדעיים.
מהם הכלים הללו? מה היתרונות והחסרונות של כל אחד? מתי לבחור באיזה כלי?…
ובכן, בצורה מאד כללית ההערכה עושה שימוש בארבע קטיגוריות של כלים: ראיון, שאלון, ניתוח מסמכים ותצפית. בכל אחת מן הקטגוריות הללו קיימים סעיפים נוספים (למשל יש ראיון מובנה, ראיון פתוח, ראיון נאראטיבי…) אך אנו לא ניכנס לכך כאן.
ראיון – הוא כלי איכותני (להבחנה בין איכותני וכמותי יוחד הפוסט השלישי) אשר במסגרתו מתקיימת שיחה בין המרואיין והמראיין. יתרונו המרכזי של הכלי הזה הוא בכך שבמהלך השיחה ניתן לקבל מידע עשיר ומגוון, לעיתים גם כזה שלא ציפינו לקבל בתחילת הראיון. חסרונו המרכזי הוא בכך שאיסוף המידע וניתוחו אורכים זמן רב, ולכן יש קושי להפעיל כלי כזה על אוכלוסיה גדולה. מאחר שקבוצת מיקוד הינה כלי נפוץ בהערכה, חשוב לציין כי היא למעשה סוג של ראיון קבוצתי.
שאלון – הוא כלי כמותי בד"כ, אשר במסגרתו נבנית סדרת שאלות, לרוב סגורות (כלומר יש מספר תשובות אפשריות והמשיב צריך לבחור מביניהן), אשר מועברת לאוכלוסיה ממנה אנו מעוניינים לקבל תשובות. יתרונו המרכזי של הכלי הזה הוא בכך שהוא מאפשר לקבל תשובות מאוכלוסיה גדולה. חסרונו המרכזי הוא בכך שגם השאלות וגם מגוון אפשרויות התשובה מוכתבים למשיב ועליו לענות בהתאם, או במילים אחרות מקבלים תשובה רק על מה ששואלים ואין תובנות חדשות.
ניתוח מסמכים – המעריך אוסף ומנתח מסמכים רלוונטיים לפרוייקט, למשל פרוטוקולים של ישיבות, תכנית הפרוייקט, תכתובות בין בעלי עניין שונים, פרסומים וכ'ו. יתרונו המרכזי של הכלי הזה הוא בכך שהוא מאפשר לקבל זויות ראיה ייחודיות על הפרוייקט, אשר ללא המסמכים הללו לא היו זמינות להערכה. חסרונו המרכזי הוא בכך שלא תמיד המסמכים הללו רלוונטיים או משקפים נאמנה את המציאות.
תצפית – זהו כלי אשר במסגרתו המעריך נוכח בפעילויות של הפרוייקט המוערך ומתרשם מהן. יתרונו המרכזי הוא בכך שזהו כלי ההערכה היחיד בו המעריך מקבל מידע מכלי ראשון – בכלים האחרים הוא מקבל דיווח על המציאות דרך עיניהם של המרואיינים, המשיבים על השאלון וכותבי המסמכים ואילו כאן הוא צופה במציאות בעצמו. חסרונו העיקרי, בדומה לחסרונו של הראיון, הוא בכך שאיסוף המידע וניתוחו אורכים זמן רב.
אז איך בוחרים כלים? מתי מתאים לבחור איזה כלי?
בחירת כלי הערכה היא תהליך המאזן בין הרצוי והאפשרי.
לגבי הרצוי: אם אנו מעוניינים לקבל תובנות על המציאות, ראוי שנשתמש בכלים פתוחים (ראיונות) ואם אנו רוצים לבחון השערה, אפשר להשתמש בכלים סגורים (שאלונים). כך למשל, אם אנו מעוניינים להכריע בין שתי אפשריות (למשל ההשתלמות היתה טובה או לא) אפשר לבחון את זה בשאלון. לעומת זאת אם אנחנו רוצים להבין מה קרה בהשתלמות באופן כללי יותר, נבחן זאת בעזרת ראיון.
מעבר לכך, תמיד מומלץ לקבל נתונים מ "כלי ראשון", כלומר תצפית, שכן חשוב למעריך להיות נוכח בחלק מן ההתרחשות אותה הוא מעריך, וכן חשוב לבחון מסמכים רלוונטיים.
לגבי האפשרי: לא תמיד השימוש בכלים הרצויים אפשרי ואז יש למצוא תחליפים. למשל אם לדעתינו יש מקום לאסוף מידע בעזרת ראיונות, אך יש לשמור על אנונימיות המרואיינים, נאלץ לבחור בכלי חלופי המאפשר אנונימיות (למשל שאלון אנונימי). או אם אנו חושבים שחשוב מאד לקבל מידע לגבי ישיבות שהתקיימו ומעוניינים לנתח את הפרוטוקולים, אך אילו אינם זמינים לנו, נאלץ לקבל מידע לגבי הישיבות הללו בכלים חלופיים (למשל ראיונות עם משתתפי הישיבות).
לרוב אין מערך כלי הערכה "נכון" אלא יש מספר מערכים אפשריים, אבל "כלל אצבע" חשוב בבחירת כלי הערכה הוא שמומלץ לא לבחור בכלי אחד בלבד. איסוף מידע ביותר מאשר כלי אחד מאפשר לקבל תמונה מורכבת יותר של המציאות וכן מאפשר לתָקף ממצאים – אם קיבלנו ממצא דומה בשימוש בשני כלים, משמעות הדבר היא שכפי הנראה ממצא זה חזק, או בלשון יום יומית קיים סיכוי רב יותר שהממצא הזה "נכון".
וחשוב לזכור, שגם כלי טוב, אפשר להרוס על ידי שימוש לא נכון!
להתראות,
ארי