Центр международного сотрудничества по развитию образования (CICED)

Актуальность разработки.

Цифровые технологии в последнее время стали тем стержнем, вокруг которого разворачиваются основные события в сфере образования. Согласно многочисленным публикациям, в ХХI веке все более существенными для жизни, обучения и работы становятся цифровые компетенции. Задача измерения информационно-коммуникационной компетентности актуальна во всем мире, особенно в «пост-ковидном» образовании, так, пандемия короновируса вынудила большинство учебных заведений мира задуматься о дистанционном обучении при помощи технологий или перейти на него. Однако, успешность и сама возможность такого обучения зависит не только от доступа к компьютеру или смартфону, но и от умения преподавателей и обучающихся, например, правильно искать, создавать и предавать информацию в цифровых средах, анализировать и оценивать информацию, доносить информацию до целевой аудитории и т.п.

Информационно-коммуникационная компетентность (ИК-компетентность) сложный для измерения конструкт, поскольку включает в себя не только способность использовать цифровые технологии для работы с информацией, но и информационную безопасность, этику, управлять большими объемами информации и т.д. ИК-компетентность невозможно измерить традиционными тестами по компьютерной грамотности, состоящими из традиционных тестовых вопросов (например, выбора одного или нескольких правильных ответов, сопоставления, выбора последовательности и т.п.), которые измеряют прежде всего технические навыки работы с компьютером, но не позволяют валидно и надежно измерить когнитивные действия по работе с информацией и данными.

Особенности инструмента.

Для решения данной задачи в 2022 году Центр международного сотрудничества по развитию образования начал разработку российского инструментария, нацеленного на оценку информационно-коммуникационной грамотности. Отличительной особенностью разработки является использование в рамках тестирования заданий с фокусом на продукт и процесс работы (задания типа performance-based), которые могут представлять собой задания сценарного типа и симуляции, реализующиеся в компьютерной форме.

Задания сценарного типа имеют более сложную организацию, чем задания традиционных форматов. Например, в заданиях с множественным выбором правила начисления баллов относительно просты: выбор правильной ответной опции рассматривается как правильный ответ. В заданиях сценарного типа необходимо анализировать комплексные продукты деятельности тестируемых, которые могут включать изображение, текст, схемы и т.д. Кроме того, в заданиях сценарного типа элементы заданий могут относиться одновременно к разным составляющим ИК-компетентности и иметь дополнительную взаимосвязь между собой, обусловленную контекстом заданий. В работах, посвященных исследованию вклада контекста в функционирование инструментов сценарного типа, отмечается, что требуются дополнительные исследования, посвященные взаимосвязи элементов сценариев с различными характеристиками (трудность, дискриминативность), а также разработке способа наиболее удобного моделирования взаимосвязи элементов.

Также для разработки инструмента был использован альтернативный подход к моделированию комплексных компетенций, основанный на построении байесовских сетей. Байесовские сети позволяют моделировать сложную структуру компетенций и тестовых заданий, а также делать вероятностный вывод об уровне компетенции.

Описание инструмента и процедуры тестирования.

В настоящий момент инструмент для оценки ИК-компетенции включает в себя 12 заданий сценарного типа, разработанных на базе доступных всем онлайн инструментов. Тестирование с помощью инструмента предполагает наличие обычного доступа к интернету с любого устройства (телефон, планшет, компьютер), и не требует загрузки и установки дополнительного программного обеспечения, что значительно упрощает использование инструмента в школах, где с техникой могут наблюдаться проблемы. Время, необходимое для прохождения всех заданий, не превышает одного стандартного урока (40-45 минут). Для проведения тестирования была разработано подробное руководство.

В инструмент внедрена функция сбора обратной связи, для постоянного усовершенствования разработки по итогам прохождения школьниками тестирования. Также инструмент допускает сбор контекстных данных об испытуемых, что является обязательным условием в случае постановки задачи проведения более глубокого исследования качества образования.

Инструмент прошел пилотирование в Российской Федерации и странах СНГ на выборке в более чем 1000 школьников и показал высокие результаты по критериям «валидность» и «надежность». В дальнейшем разработка инструмента будет продолжена в направлении расширения его применения (версии для младших школьников, учителей), будут разрабатываться дополнительные задания, будет организована широкомасштабная апробация и межстрановое исследование качества образования, которое также включит локализацию инструментария на национальные языки стран СНГ.