Корпоративное обучение для цифрового мира

Число вопросов в индивидуальном тесте

Число вопросов в индивидуальном тесте определяется общим числом вопросов, задаваемых участнику тестирования. Оптимальное число вопросов теста рекомендуется рассчитывать по формуле:

общее число вопросов = 5 ? количество тем (тематических блоков теста).

Т. о. в итоговом тесте участнику по каждой теме задается не менее 5 вопросов.

Например, если вопросы теста разделены на 4 темы, то рекомендуемая длительность теста – 20 вопросов. В противном случае адаптивному алгоритму может не хватить вопросов для достаточно достоверного определения уровня знания темы.

Типы вопросов

• С выбором одного правильного варианта ответа

• С выбором нескольких правильных вариантов ответа (multi choice)

• На соответствие/ упорядочивание

• С вводом текстового ответа (где ответ – это число, слово, недвусмысленная фраза (словосочетание), возможные для автоматической проверки)

Вариабельность ответов тестов:

• Для автоматической проверки ответов на тесты каждый вопрос должен иметь по крайней мере один вариант правильного ответа. Если вопрос содержит ровно один вариант ответа и этот вариант ответа правильный, то такой вопрос определяется как вопрос с открытым ответом

• Правильных ответов в вопросе может быть любое количество более одного.

– Если вопрос содержит более одного варианта ответа и ровно один правильный, то такой вопрос определяется как вопрос с выбором одного варианта ответа.

– Если вопрос содержит более одного правильного варианта ответа, то такой вопрос определяется как вопрос с выбором нескольких вариантов ответа

• Все варианты ответа также могут быть одновременно правильными. Т. е. вопрос может вообще не содержать ни одного неправильного варианта ответа

Уровни сложности

Вопросы в банке вопросов ранжируются по единым для всех тем уровням сложности. Количество уровней – не менее 3, оптимально – от 5 до 10. Наличие большого числа уровней сложности (например, 10) позволит более точно распределить вопросы по шкале сложности после начала тестирования и обеспечить более высокую точность итоговой оценки уровня знаний.

Внутри каждой темы (тематического блока) рекомендуется иметь вопросы разного уровня сложности, т. к. это прямо влияет на вариативность теста и адаптивные возможности технологии.

Внутри каждой темы лучше распределить вопросы группами не менее трех вопросов на каждом уровне. Чем больше вопросов на одном уровне сложности, тем больше вариативность теста, что важно для повторного прохождения или тестирования людей, которые могут помогать друг другу.

Варианты распределения

Равномерное распределение

Рекомендуется иметь не менее 10 вопросов каждого уровня сложности

«Пирамида»

Допускается коррекция количества вопросов в форме «пирамиды», когда более сложных вопросов несколько меньше, чем простых (т. к. до сложных доходят гораздо реже).

В этом случае рекомендуется следующее соотношение: не менее 6 вопросов высших уровней сложности (9–10), не менее 8 вопросов средних уровней сложности (7–8) и не менее 10 вопросов низших уровней сложности (1–6)

Автоматическое распределение

Возможно автоматическое распределение вопросов по уровням сложности. Для этого проводится первичное тестирование (на выборке участников), и степень сложности вопросов определяется в соответствии с ответами участников. Вопросы, набравшие большинство правильных ответов, считаются самыми простыми, а вопросы с наименьшим числом правильных ответов – самыми сложными

Траектории тестирования

Траектории тестирования позволяют определить наиболее вероятные пути прохождения тестирования в разных контекстах.

Например, в контексте перехода между уровнями сложности они помогают определить вопросы, в наибольшей степени влияющие на процесс тестирования (тестируемые «скорее справятся» на шаге N с вопросом уровня сложности X или, наоборот, испытают трудности с вопросом этого уровня сложности).

Результаты адаптивного тестирования и их трактовка

Данные результаты полезны в первую очередь для улучшения качества материалов и при построении индивидуальной траектории обучения (#litres_trial_promo). Заказчик может персонализировать учебную программу для каждой группы слушателей – на основе тех пробелов в знаниях, которые были обнаружены в ходе тестирования. Слушатели могут непосредственно в процессе тестирования провести самопроверку и восполнить выявленные пробелы (постепенно – от простого к сложному).

Коррекция адаптивного теста на основании аналитики

• Частотный анализ результатов

Позволяет внести корректировку в распределение вопросов по уровням сложности в сбалансированной модели на основе анализа распределения ответов участников (определить аномально сложные или простые вопросы на уровнях сложности и получить рекомендацию, в какой уровень сложности стоит перенести данные вопросы)

• Прогноз результатов обучения (#litres_trial_promo)

Статистический анализ результатов адаптивного теста проводится исходя из количества попыток пройти тест и среднего результата, достигнутого за время всех попыток

Инструменты разработчика адаптивных тестов

Аналитика обучения

Аналитика обучения, или учебная аналитика, (learning analytics) – измерение, сбор, анализ и представление данных об обучающихся и образовательной среде с целью понимания и оптимизации обучения и условий, в которых оно происходит[6 - Lang, C., Siemens, G., Wise, A., Ga?evic, D. (2017). The Handbook of Learning Analytics. 1st ed. SoLAR: Society for Learning Analytics Research, p. 241.].

Задачи учебной аналитики[7 - Enhancing Teaching and Learning Through Educational Data Mining and Learning Analytics: An Issue Brief. U.S. Department of Education, Office of Educational Technology. Washington, D.C., 2012. [PDF] Available at: https://tech.ed.gov/wp-content/uploads/2014/03/edm-la-brief.pdf (https://tech.ed.gov/wp-content/uploads/2014/03/edm-la-brief.pdf)]

Связь учебной аналитики и анализа образовательных данных[8 - Siemens, G. and Baker, R. (2012). Learning analytics and educational data mining: Towards communication and collaboration. In: 2nd International Conference on Learning Analytics and Knowledge. NY: ACM, pp.252–254.]

Связь учебной аналитики и бизнес-аналитики по уровню принятия решений (HR analytics / people analytics / talent analytics / T&D analytics – в зависимости от детализации)

• Для бизнес-аналитики – запрос со стороны бизнеса (ключевое – бизнес-ценность).

• Для учебной аналитики – запрос со стороны учебного процесса (ключевое – «понимание и оптимизация обучения и окружения»).

Деление не всегда может быть жестким, скорее несколько разные уровни абстракций.

Построение модели обучающегося на основе больших данных (model based on big data)

Источники доказательств

Взаимодействие с образовательными ресурсами