מבחנים צריכים להיות עם חומר פתוח – וקשים יותר

וכך, עם Busy של K’s Choice ברקע ("You think you haven’t changed…"), אני אקח הפסקה מהתכוננות למבחנים, כדי לכתוב על…. מבחנים. עם חומר פתוח, ובלי חומר פתוח:

לפני מספר ימים (טוב, 3, או (O(1 בשבילכם) הייתה ועברה לה כבר הבחינה בסטטיסטיקה (בפסיכולוגיה). הבחינה הייתה קשה, בכל קנה מידה. לא בלתי-אפשרית, אבל בהחלט קשה. ראוי לציין שסטטיסטיקה הוא קורס שנערך במתכונת פתוחה. ראשית, כל השיעורים זמינים ברשת (כסיכום וורד כולל נוסחאות, וכמצגת) שזה ראוי לציון ולהערכה בפני עצמו. מעבר לכך, הבחינה עצמה נערכת במתכונת פתוחה – כלומר, ‘עם חומר פתוח’. זו סוגיה מעניינת (בכלל, איך בוחנים ומודדים זה מעניין): מתי בוחנים עם חומר פתוח ומתי לא? נראה שהתשובה היחידה שאי אפשר לשלול היא שההחלטה היא שרירותית, או בשפה ארגונית/צבאית: ‘מסיבות היסטוריות’. כבא לומר: אין באמת סיבה מוצדקת לערוך מבחן בנושא א’ עם ‘חומר פתוח’ ומבחן בנושא ב’ ‘בלי חומר פתוח’. לכאורה, זמינות של כל החומר אומרת שהמבחן צפוי להיות קל יותר ("מה, יש לי את כל השיעורים איתי, מה כבר יש לא לדעת?"), אבל ברור שזו חשיבה נאיבית – שהרי כל מבחן שבודק משהו שלא נאמר באופן מפורש בשיעור, לא תוכל להגיע אליו כך. להיפך: דווקא כשיש חומר פתוח, ניתן (והגיוני) להקשות את המבחן, ולבדוק ‘הבנה’. כל מי שלמד קורסים קשים (אינפי, ליניארית, דאסט, למשל) וניסה את כוחו בתרגילי הבית יודע שממש לא מספיק שהחומר יהיה ‘פתוח’, ושיש חומות שלא תצליח לעבור. בפרפרזה על תערו של הנלון (http://en.wikipedia.org/wiki/Hanlon’s_razor) – סביר להניח שהגורם המכריע לכך שרוב הבחינות אינן עם חומר פתוח הוא שהרבה יותר קשה לכתוב בחינה (קשה ומשקפת) כאשר החומר זמין. כאשר החומר סגור, אין דבר קל יותר מאשר לבחון בעצם את הזיכרון – משפטים וטכניקות שעל התלמיד לשנן, בעצם, וליישמן בלחץ המבחן. דווקא מסנגרי המתמטיקות למיניהם אוהבים להלל את איך שבמתמטיקה הכל בנוי על ‘הבנה’ ולא על ‘שינון’ – אך ברור שמבחן עם חומר פתוח בנוי על הבנה, וחומר סגור דווקא על שינון.

מעבר לשיקולי המאמץ בכתיבת בחינה, ראוי לתהות גם על מהותה של הבחינה – שוב בהקשר של ‘חומר פתוח’. שהרי, בחינה באה לעשות מספר דברים: בראש ובראשונה, מבחן (באוניברסיטה, לפחות) תכליתו ללמד. לא עצם המבחן, אלא קיומו כחותמת איכות, אשר על-מנת לקבלה הסטודנט יודע הוא צריך ללמוד את החומר (ומשום כך אכן לומד אותו). במירוץ הקבוע שבין סטודנטים שלומדים ‘על-מנת לעבור את המבחן’ ולא כדי ‘לדעת את החומר’, ברור שהאחריות היא על המבחן (ועל סגל הקורס, ועל הממסד) ליצור בכל זאת מבחנים (הולכים ומשתפרים, אם צריך) אשר לעבור אותם ולהתכונן אליהם אכן משקף ומיישם את למידת החומר. כלומר: ברור שסטודנטים ילמדו ‘על-מנת לעבור את המבחן’. אחריות המבחן היא להיות מוצלח דיו שלמידה זו תהיה אפקטיבית ללימוד החומר.

הדבר השני שמבחן בא לעשות (ובעצם, מטרה משנית זו קיימת רק כדי לקדם את המטרה הראשית של הלמידה, כנ’ל) הוא למדוד – לשקף כמה טוב הנבחן יודע את החומר. כלומר, אחרי קורס בסטטיסטיקה, המבחן (וציונו) אמורים לשקף כמה טוב אני בסטטיסטיקה (המקטרגים יגידו שכל מבחן בודק רק כמה טוב אתה באותו המבחן, אך ברור שהפער בין זה לבין הצלחה בתחום הנמדד עצמו היא בדיוק תכונת ה’מהימנות’ המוכרת של כל מבחן: http://he.wikipedia.org/wiki/מהימנות_(שיטות_מחקר)). כיוון שכך – אם המבחן באלגברה ליניארית, לדוגמא אחרת, אמור לבדוק כמה אני טוב באלגברה ליניארית – מדוע לעשות אותו עם חומר סגור? שהרי ‘בחיים האמיתיים’ – בכל סיטואציה בה אדרש להפגין את היכולות והידע שרכשתי – מובן שאהיה עם ‘חומר פתוח’. אדרבא: יותר חשוב לדעת כמה אדם יודע ליישם ידע (בהינתן כל הנוסחאות, דפים, משפטים, ספרים שהוא צריך) מאשר כמה הוא זוכר בראשו. נרחיב ונאמר: גם במבחנים אשר נערכים (כיום) במתכונת ‘חומר פתוח’, ברור שהכוונה היא למחברות וספרים – אין פלאפונים, ואין לפטופים. מדוע? הרי מן המפורסמות שבעבודה (עיונית) אמיתית, כלים כאלו אינם רק אפשריים, אלא מתבקשים. מי מנסה בכלל לעשות היום משהו בלי מחשב? מהירות הקלדה, מעבר בין מסמכים (שלך עצמך) על המחשב, גוגל, ויקיפדיה, וכיו’ב: למדוד מטלה עיונית בלי הכלים האלו, שקול למדידת מהירות הריצה עם נעליים לא נוחות: זה לא משקף שום דבר. מנקודת מבט אחרת: כאשר אני, כמעסיק, רוצה לבחור בין שני עובדים פוטנציאלים – לא חשוב לי לדעת איזה מעובדים טוב יותר במטלה כאשר הוא עובד רק עם דף ועט; חשוב לי לדעת איזה עובד טוב יותר, כאשר כל האמצעים (הטריוויאלים) לרשותו.

בקיצור, חומר פתוח איז ת’ה וואי טו גו. מקובל, שבחינה עם חומר פתוח (על אחת כמה וכמה להגדרתי של ‘חומר פתוח’, כולל מחשבים) מציבה בעיות רבות ליוצרי הבחינה. קשה יותר לכתוב שאלות משקפות, קשה יותר לבדוק, קשה להבטיח שיוויון. אם לקחת דוגמא קיצונית, קורסי תכנות (באוניברסיטה) הם משני צידי הספקטרום – מצד אחד, חלק נכבד מהציון הוא על תרגילים (אשר דורשים יישום של החומר, כמובן עם שימוש בכל משאב זולת להעתיק עבודה), ומצד שני הבחינה עצמה היא עם חומר ‘סגור’, עם דף ועט. מגוחך, קמעה, להיבחן על קורס בתכנות עם דף ועט – שהרי מעולם, לעולם לא נצטרך לכתוב קוד עם דף ועט; החסרונות ברורים, והרלוונטיות להבנה זניחה.

טוב, האמת שבכלל רציתי לדבר על מבחנים שמודדים כמה אתה ‘חכם’ ו’מתפקד תחת לחץ’ לעומת מבחנים שבודקים למידה של החומר, אבל זה ימתין כבר לפוסט הבא. מזל שהרשו לי לכתוב את הפוסט הזה עם חומר פתוח, אחרת הוא בכלל היה יוצא פחות טוב.

  • Uncategorized

6 thoughts on “מבחנים צריכים להיות עם חומר פתוח – וקשים יותר

  1. כן, אתה צודק כמובן. רציתי לוודא בויקיפדיה, ואז התבלבלתי 😛

  2. נדמה לי שנקודה חשובה שאתה מפספס היא שאין שום דרך “להבין” משפט בלי, בתור התחלה, לזכור אותו בעל-פה.

  3. כיום גם מבחני לשכת עורכי הדין עובר ממבחן של תוכים, למבחנים של ניתוח והבנת מס’ מקרים מורכבים, לא אמריקאי.

    המבחן של לשכת עורכי הדין הינו 100 שאלות אמריקאיות, אם אינני טועה, עברתי אותו מלפני הרבה שנים.

  4. נראה לי שבקורסים לתכנות הם בכלל לא רוצים לתת מבחנים, ממה שהמרצה אמרה, היא מעדיפה שכל הציון יהיה על העבודות להגשה כי זה באמת משקף, אבל הם חוששים מהעתקות בתרגילים אם זה יהיה כל הציון…
    אתה צודק…צריך שהתלמידים ישאפו ממש להבין את החומר וזה גם יותר כייף ללמוד ככה, מצד שני זה דורש הרבה יותר השקעה למרות שהמבחנים שניגשתי אליהם דווקא חשתי שהם בודקים זיכרון וגם הבנה.
    בעצם בלי חומר פתוח אומר שאתה יודע את החומר ממש טוב, וגם טוב בליישם אותו ..
    הממ

  5. אני חושב שזה צירוף של גם ום.
    אני חושב שמבחן קשה עם חומר פתוח משקף באמת הבנה.
    אבל מבחן סגור עם טכניקות משקף, ובכן בקיאות בטכניקות.

    לדעתי קורס רציני צריך לכלול שילוב של כאלה וכאלה.
    מצד אחד, אני מסכים לחלוטין שחבל לבחון אנשים על שינון.

    מצד שני, ראוי וחשוב לקדם שינון, כי בסופו של דבר some things stick.
    אם תמיד תפתור תרגילי חדוא עם דף נוסחאות, אז שנה אחרי זה לא תזכור כלום בכלל.
    אם תמיד תדרש לפתור חדוא על בליינד, אז שנה אחרי זה, אתה תצטרך להעזר בדף נוסחאות, אבל אתה תזכור בע”פ חלקים גדולים מהחומר. וזכירה של חלקים גדולים מהחומר זה דבר מאד נחוץ לקורסים שבונים על החומר הזה.

    ככה שאני חושב שדווקא שילוב של שני הדברים (למשל תרגילי בית קשים עם חומר פתוח שנותנים 40% מגן, ומבחן עם חומר סגור) מוביל לקורס הכי מוצלח – שבו אתה גם זוכר וגם מבין.

    בנוסף הבעיה הנוספת של מבחנים היא תמיד חוסר היכולת האובייקטיבית של מרצה בעל 20 שנות נסיון בחומר X לכתוב מבחן שמודד ברמה טובה את ההישג הנדרש שלך. והבעיה עם מבחנים בחומר פתוח, שבד”כ זה מוביל לכך שמחבר המבחן מקשה מאד את המבחן, ולעיתים קרובות זה מגיע לרמה שדורשת ידע והבנה של החומר שהם לא ריאליים לקורס.

    מה זה תרגיל לא פתיר? זה תרגיל שנראה קל למי ששני סמסטרים מעליך, אבל כמי שכרגע סיים קורס (במקביל לעוד 5 קורסים אחרים, תוך כדי שהוא דילג על חלק משיעורי הבית מעומס, ולמד חלק מהדברים ברגע האחרון) לא יכול לפתור כל שאלת הבנה.

    אז סתרתי את עצמי כמה פעמים, כי אני מסכים ולא מסכים בו זמנים.

Leave a Reply

Fill in your details below or click an icon to log in:

WordPress.com Logo

You are commenting using your WordPress.com account. Log Out /  Change )

Twitter picture

You are commenting using your Twitter account. Log Out /  Change )

Facebook photo

You are commenting using your Facebook account. Log Out /  Change )

Connecting to %s