Технологии оценивания тестирований.
Выбор технологии взаимодействия заметно влияет на функциональные возможности стадии оценки. Оценка - это стадия, на которой ответы учащиеся определяются как правильные, неправильные или частично правильные (например, неполные). Обычно, правильные и неправильные ответы готовятся при создании, так что оценка является или жестко встроенной в вопрос, как это делается в вопросах типа (МВ / ОО), или осуществляется путем простого сравнения (в вопросах открытого типа). Существует несколько случаев, требующих более продвинутой технологии оценки.
В некоторых предметных областях может возникнуть ситуация, когда правильные ответы могут не иметь буквенного соответствия с правильным ответом, который сохраняется. Примеры могут служить: набор неурегулированных слов, число, простое выражение алгебры (Holtz 1995; Hubler Assad 1995) - в тестах по бухгалтерскому учету, тестах по финансам предприятий и отраслям национальной экономики и другим. В этой ситуации нужна программа сравнения. Некоторые системы могут применять для этих целей специальные интеллектуальные технологии (Hubler Assad 1995). Наконец, в некоторых случаях для оценки ответов необходим "эксперт предметной области", такой как интерпретатор Lisp для программирования на Lisp, как в системе ELM-ART (Brusilovsky, Schwarz Weber 1996), или компьютерная система алгебры для предметных областей алгебры (Pohjolainen, Multisilta Antchev 1997). Первые два варианта оценивания тестов очень просты и могут быть реализованы с использованием любой интерфейсной технологии - даже JavaScript, может использоваться, чтобы написать простую программу сравнения.
Если для оценки нужен "эксперт предметной области", то единственной альтернативой в настоящее время является запуск "эксперта" на стороне сервера с CGI-шлюзом. Фактически, многие системы типа "эксперт предметной области" (например, компьютерная система алгебры Mathematica) имеют CGI-шлюз. Обычно в функции обратной связи входит: сообщения о том, что ответ правильный, не правильный или частично правильный; выдача правильного ответа, обеспечение индивидуальной обратной связи. Индивидуальная обратная связь может сообщать, что является верным в правильном ответе, что неверно в неправильном и частично неправильном ответе, обеспечивает мотивационную обратную связь, обеспечивать мотивирующую обратную связь, а также выдавать информацию или ссылки для продолжения обучения.
Вся индивидуальная обратная связь обычно создается и хранится вместе с вопросом. Система, включающая определенные понятия или разделы с проставленными весовыми коэффициентами, как часть метаданных вопроса, может обеспечивать качественную обратную связь без непосредственного создания, поскольку она "знает", какие знания пропущены, и где их можно найти. Это означает, что мощность обратной связи определяется технологией создания и хранения вопросов. Количество информации, предоставляемой обратной связью, зависит от контекста. При самооценке обученный обычно получает весь возможный обратная связь - чем больше, тем лучше. Эта обратная связь - очень важный дидактический ресурс.
В случае официального тестирования, ученику обычно не предоставляется правильный вариант ответа. Единственной обратной связью по окончании всего теста может быть общее число правильных ответов в тесте (Rehak 1997). Это значительно снижает риск обмана, но также и возможность учиться. Для поддержки процесса обучения, многие существующие WBE-систем делают оценку менее строгой и обеспечивают больше обратной связи, пытаясь бороться с обманами другими средствами. Единственный способ объединить обучение и строгую оценку заключается в использовании более продвинутых технологий, позволяющих получить неограниченное число вопросов: использование вопросов (Brown 1997; Hubler Assad 1995; Kashy et al. 1997; Merat Chung 1997), и генерация тестов на основе базы знаний (Элиот, Нейман Ламар 1997; Weber Specht 1997).
В этой ситуации WBE-система может обеспечить полную обратную связь, устраняя при этом обман. Если тест предназначен исключительно для самооценки, то генерация обратной связи должна быть главной обязанностью WBE-системы на послетестовой стадии. Обученный - единственный, кому необходимо видеть результаты тестирования. В контексте оценки, главной обязанностью WBE-системы в процессе тестирования является выставление баллов по итогам выполнения обучаемым теста и запись этих данных для будущего использования. Окончательный балл и другие результаты теста важны для преподавателей, администраторов курса и непосредственно обученных (многие авторы отмечают, что возможность видеть свои результаты в режиме он-лайн, отмечается большинством обученных, как положительная особенность WBE-систем).
Ранние WBE системы обеспечивали довольно ограниченную поддержку преподавателя на стадии оценки теста. Результаты или посылались преподавателю по электронной почте или регистрировались в специальном файле. В обоих случаях преподавателю приходилось ставить окончательный балл и делать записи лично: обработать результаты теста и поставить окончательный балл, сделать запись о результатах и обеспечить, доступ к ним всем заинтересованным лицам согласно политике университета. Такой вариант просто реализовать, и он не требует от преподавателя изучение новых технологий.
Вследствие последней причины возможность использования этой технологии все еще предусматривается в нескольких продвинутых системах (Carbone и Schendzielorz 1997). Однако, если система которая не обеспечивает никаких других возможностей для ведения записей и выставления оценок, она явно находится ниже современного уровня. На сегодняшний день современная WBE-система должна быть способна оценить результаты теста автоматически и занести их в базу данных. Кроме того, она должна поддерживать несколько уровней ограничения доступа к записям для студентов, преподавателей и администраторов. Ограничения обычно определяются политикой университета.
Например, ученику могут не позволить просматривать результаты других обучаемых или преподавателю могут позволить менять окончательные баллы, проставленные автоматически. Многие системы университетского уровня (Bogley et al. 1996; Brown 1997; Carbone Schendzielorz 1997; Gorp Boysen 1996; Hubler Assad 1995; MacDougall 1997; Ni, Zhang Cooley 1997; Rehak 1997) и почти все коммерческие системы (Lotus 1999; WBT Systems 1999; WEBCT 1999) обеспечивают эти требования в той или иной степени. Менее продвинутые системы обычно хранят результаты в структурированных файлах и обеспечивают ограниченные возможности доступа. Продвинутые системы используют для хранения информации о результатах тестирования технологию баз данных и обеспечивают широкий набор возможностей просмотра оценок обучаемых и другой информации о тестировании, такой как время, затраченное на прохождение теста, количество попыток и т.д.