Оцінювання тестів

Як ми вже говорили, вибір технології взаємодії помітно впливає на функціональні можливості стадії оцінки. Оцінка - це стадія, на якій відповіді учні визначаються як правильні, неправильні або частково правильні (наприклад, неповні). Зазвичай, правильні і неправильні відповіді готуються під час створення, так що оцінка є або жорстко вбудованою в питання, як це робиться в питаннях типу [МВ/ОО], або здійснюється шляхом простого порівняння (у питаннях відкритого типу). Існує декілька випадків, що вимагають більш просунутої технології оцінки. У деяких наочних областях може виникнути ситуація, коли правильні відповіді можуть не мати літерної відповідності з правильною відповіддю, що зберігається. Приклади можуть служити: набір неврегульованих слів, дійсне число, простий вираз алгебри [Holtz 1995; Hubler & Assad 1995]. У цій ситуації потрібна програма порівняння. Деякі системи можуть застосовувати для цих цілей спеціальні інтелектуальні технології [Hubler & Assad 1995]. Нарешті, в деяких випадках для оцінки відповідей необхідний «експерт наочної області», такий як інтерпретатор Lisp для програмування на Lisp, як в системі ELM-ART [Brusilovsky, Schwarz & Weber 1996], або комп'ютерна система алгебри для наочних областей алгебри [Pohjolainen, Multisilta & Antchev 1997].

Перші два варіанти оцінки дуже прості і можуть бути реалізовані з використанням будь-якою інтерфейсною технологією - навіть JavaScript, може використовуватися, щоб написати просту програму порівняння. Якщо ж потрібні складніші обчислення (як у разі інтелектуальної відповідності відповіді), доводиться звертатися до повноцінного програмування на Java або програмі на стороні сервера, що використовує CGI-інтерфейс. Якщо для оцінки потрібний «експерт наочної області», то єдиною альтернативою в даний час є запуск «експерта» на стороні сервера з CGI-шлюзом. Фактично, багато систем типу «експерт наочної області» (наприклад, комп'ютерна система алгебри Mathematica) мають CGI-шлюз.

Зазвичай у функції зворотного зв'язку входить: повідомлення про те, що відповідь правильна, не правильна або частково правильна; видача правильної відповіді, забезпечення індивідуального зворотного зв'язку. Індивідуальний зворотний зв'язок може повідомляти, що є вірним в правильній відповіді, що невірно в неправильному і частково неправильному відповіді, забезпечується деякий мотиваційний зворотний зв'язок, забезпечувати мотивуючий зворотний зв'язок, а також видавати інформацію або посилання для продовження навчання. Весь індивідуальний зворотний зв'язок зазвичай створюється і зберігається разом з питанням. Система, що включає певні поняття або розділи з проставленими ваговими коефіцієнтами як частина метаданих питання, може забезпечувати якісний коректуючий зворотний зв'язок без безпосереднього створення, оскільки вона «знає», які знання пропущені, і де їх можна знайти.

Це означає, що потужність зворотного зв'язку визначається технологією створення і зберігання питань. Кількість інформації, що надається зворотним зв'язком, залежить від контексту. При самооцінці навчений зазвичай отримує весь можливий зворотний зв'язок - чим більше, тим краще. Цей зворотний зв'язок - дуже важливий дидактичний ресурс. У разі офіційного тестування навчаному зазвичай не надається ні правильного варіанту відповіді, ні, навіть, чи є його відповідь правильною. Єдиним зворотним зв'язком після закінчення всього тесту може бути загальне число правильних відповідей в тесті [Rehak 1997]. Це значно знижує можливість обману, але також і можливість навчатися. Для підтримки процесу навчання, багато існуючих WBE-систем роблять оцінку менш строгою і забезпечують більше зворотного зв'язку, намагаючись боротися з обманами іншими засобами. Єдиний спосіб об'єднати навчання і строгу оцінку полягає у використанні більш просунутих технологій, дозволяючих отримати необмежене число питань: використання питань [Brown 1997; Hubler & Assad 1995; Kashy et al. 1997; Merat & Chung 1997], що параметризуються, і генерація тестів на основі бази знань [Еліот, Нейман & Ламар 1997; Weber & Specht 1997]. У цій ситуації WBE-система може забезпечити повний зворотний зв'язок, перешкоджаючи при цьому обдурю.

Якщо тест призначений виключно для самооцінки, то генерація зворотного зв'язку повинна бути головним обов'язком WBE-системи на післятестовій стадії. Навчений - єдиний, кому необхідно бачити результати тестування. У контексті оцінки, головним обов'язком WBE-системи в процесі тестування є виставлення балів за підсумками виконання навчаним тесту і запис цих даних для майбутнього використання. Остаточний бал і інші результати тесту важливі для викладачів, адміністраторів курсу і безпосередньо навчених (багато авторів відзначають, що можливість бачити свої результати в режимі онлайн, наголошується більшістю навчених як позитивна особливість WBE-систем). Ранні WBE системи забезпечували досить обмежену підтримку викладача на стадії оцінки тесту.

Результати або посилалися викладачеві по електронній пошті або реєструвалися в спеціальному файлі. У обох випадках викладачеві доводилося ставити остаточний бал і робити записи особисто: обробити результати тесту і поставити остаточний бал, зробити запис про результати і забезпечити, доступ до них всім зацікавленим особам згідно політиці університету. Такий варіант просто реалізувати, і він не вимагає від викладача вивчення нових технологій. Унаслідок останньої причини можливість використання цієї технології все ще передбачається в декількох просунутих системах [Carbone і Schendzielorz 1997]. Проте, якщо система яка не забезпечує ніяких інших можливостей для ведення записів і виставлення оцінок, вона явно знаходиться нижчим за сучасний рівень. На сьогоднішній день сучасна WBE-система повинна бути здатна оцінити результати тесту автоматично і занести їх в базу даних.

Крім того, вона повинна підтримувати декілька рівнів обмеження доступу до записів для студентів, викладачів і адміністраторів. Обмеження зазвичай визначаються політикою університету. Наприклад, навчаному можуть не дозволити проглядати результати інших навчаних, або викладачеві можуть дозволити змінювати остаточні бали, проставлені автоматично. Багато систем університетського рівня [Bogley et al. 1996; Brown 1997; Carbone & Schendzielorz 1997; Gorp & Boysen 1996; Hubler & Assad 1995; MacDougall 1997; Ni, Zhang & Cooley 1997; Rehak 1997] і майже всі комерційні системи [Lotus 1999; WBT Systems 1999; WEBCT 1999] забезпечують ці вимоги в тому або іншому ступені. Менш просунуті системи зазвичай зберігають результати в структурованих файлах і забезпечують обмежені можливості доступу. Просунуті системи використовують для зберігання інформації про результати тестування технологію баз даних і забезпечують широкий набір можливостей проглядання оцінок навчаних і іншої інформації про тестування, такий як час, витрачений на проходження тесту, кількість спроб і т.д.