Технології оцінювання тестувань.
Як ми вже говорили, вибір технології взаємодії помітно впливає на функціональні можливості стадії оцінки. Оцінка - це стадія, на якій відповіді учні визначаються як правильні, неправильні або частково правильні (наприклад, неповні). Зазвичай, правильні і неправильні відповіді готуються під час створення, так що оцінка є або жорстко вбудованою в питання, як це робиться в питаннях типу (МВ/ОО), або здійснюється шляхом простого порівняння (у питаннях відкритого типу). Існує декілька випадків, що вимагають більш просунутої технології оцінки.
У деяких наочних областях може виникнути ситуація, коли правильні відповіді можуть не мати літерної відповідності з правильною відповіддю, що зберігається. Приклади можуть служити: набір неврегульованих слів, дійсне число, простий вираз алгебри (Holtz 1995; Hubler Assad 1995) - у тестах по бухгалтерському звіту, тестах по фінансах підприємств і галузях національної економіки и другим. У цій ситуації потрібна програма порівняння. Деякі системи можуть застосовувати для цих цілей спеціальні інтелектуальні технології (Hubler Assad 1995). Нарешті, в деяких випадках для оцінки відповідей необхідний "експерт наочної області", такий як інтерпретатор Lisp для програмування на Lisp, як в системі ELM-ART (Brusilovsky, Schwarz Weber 1996), або комп'ютерна система алгебри для наочних областей алгебри (Pohjolainen, Multisilta Antchev 1997). Перші два варіанти оцінки дуже прості і можуть бути реалізовані з використанням будь-якою інтерфейсною технологією - навіть JavaScript, може використовуватися, щоб написати просту програму порівняння.
Якщо ж потрібні складніші обчислення (як у разі інтелектуальної відповідності відповіді), доводиться звертатися до повноцінного програмування на Java або програмі на стороні сервера, що використовує CGI-інтерфейс. Якщо для оцінки потрібний "експерт наочної області", то єдиною альтернативою в даний час є запуск "експерта" на стороні сервера з CGI-шлюзом. Фактично, багато систем типу "експерт наочної області" (наприклад, комп'ютерна система алгебри Mathematica) мають CGI-шлюз. Зазвичай у функції зворотного зв'язку входить: повідомлення про те, що відповідь правильна, не правильна або частково правильна; видача правильної відповіді, забезпечення індивідуального зворотного зв'язку. Індивідуальний зворотний зв'язок може повідомляти, що є вірним в правильній відповіді, що невірно в неправильному і частково неправильному відповіді, забезпечувати мотивуючий зворотний зв'язок, а також видавати інформацію або посилання для продовження навчання.
Весь індивідуальний зворотний зв'язок зазвичай створюється і зберігається разом з питанням. Система, що включає певні поняття або розділи з проставленими ваговими коефіцієнтами як частина метаданих питання, може забезпечувати якісний коректуючий зворотний зв'язок без безпосереднього створення, оскільки вона "знає", які знання пропущені, і де їх можна знайти. Це означає, що потужність зворотного зв'язку визначається технологією створення і зберігання питань. Кількість інформації, що надається зворотним зв'язком, залежить від контексту. При самооцінці навчений зазвичай отримує весь можливий зворотний зв'язок - чим більше, тим краще. Цей зворотний зв'язок - дуже важливий дидактичний ресурс.
У разі офіційного тестування навчаному зазвичай не надається ні правильного варіанту відповіді, ні, навіть, чи є його відповідь правильною. Єдиним зворотним зв'язком після закінчення всього тесту може бути загальне число правильних відповідей в тесті (Rehak 1997). Це значно знижує можливість обману, але також і можливість навчатися. Для підтримки процесу навчання, багато існуючих WBE-систем роблять оцінку менш строгою і забезпечують більше зворотного зв'язку, намагаючись боротися з обманами іншими засобами. Єдиний спосіб об'єднати навчання і строгу оцінку полягає у використанні більш просунутих технологій, дозволяючих отримати необмежене число питань: використання питань (Brown 1997; Hubler Assad 1995; Kashy et al. 1997; Merat Chung 1997), що параметризуються, і генерація тестів на основі бази знань (Еліот, Нейман Ламар 1997; Weber Specht 1997).
У цій ситуації WBE-система може забезпечити повний зворотний зв'язок, перешкоджаючи при цьому обдурю. Якщо тест призначений виключно для самооцінки, то генерація зворотного зв'язку повинна бути головним обов'язком WBE-системи на післятестовій стадії. Навчений - єдиний, кому необхідно бачити результати тестування. У контексті оцінки, головним обов'язком WBE-системи в процесі тестування є виставлення балів за підсумками виконання навчаним тесту і запис цих даних для майбутнього використання. Остаточний бал і інші результати тесту важливі для викладачів, адміністраторів курсу і безпосередньо навчених (багато авторів відзначають, що можливість бачити свої результати в режимі онлайн, наголошується більшістю навчених як позитивна особливість WBE-систем).
Ранні WBE системи забезпечували досить обмежену підтримку викладача на стадії оцінки тесту. Результати або посилалися викладачеві по електронній пошті або реєструвалися в спеціальному файлі. У обох випадках викладачеві доводилося ставити остаточний бал і робити записи особисто: обробити результати тесту і поставити остаточний бал, зробити запис про результати і забезпечити, доступ до них всім зацікавленим особам згідно політиці університету. Такий варіант просто реалізувати, і він не вимагає від викладача вивчення нових технологій.
Унаслідок останньої причини можливість використання цієї технології все ще передбачається в декількох просунутих системах (Carbone і Schendzielorz 1997). Проте, якщо система, яка не забезпечує ніяких інших можливостей для ведення записів і виставлення оцінок, вона явно знаходиться нижчим за сучасний рівень. На сьогоднішній день сучасна WBE-система повинна бути здатна оцінити результати тесту автоматично і занести їх в базу даних. Крім того, вона повинна підтримувати декілька рівнів обмеження доступу до записів для студентів, викладачів і адміністраторів. Обмеження зазвичай визначаються політикою університету.
Наприклад, навчаному можуть не дозволити проглядати результати інших навчаних, або викладачеві можуть дозволити змінювати остаточні бали, проставлені автоматично. Багато систем університетського рівня (Bogley et al. 1996; Brown 1997; Carbone Schendzielorz 1997; Gorp Boysen 1996; Hubler Assad 1995; MacDougall 1997; Ni, Zhang Cooley 1997; Rehak 1997) і майже всі комерційні системи (Lotus 1999; WBT Systems 1999; WEBCT 1999) забезпечують ці вимоги в тому або іншому ступені. Менш просунуті системи зазвичай зберігають результати в структурованих файлах і забезпечують обмежені можливості доступу. Просунуті системи використовують для зберігання інформації про результати тестування технологію баз даних і забезпечують широкий набір можливостей проглядання оцінок навчаних і іншої інформації про тестування, такий як час, витрачений на проходження тесту, кількість спроб і т.д.