Оценка учебных достижений младших школьников (SAM)

В качестве основных адресатов отчетов о результатах мониторинга учебно-предметных компетенций учащихся начальной школы SAM можно выделить:

• Учитель: учитель начальной школы, учитель-предметник по математике средней школы
• Администрация школы: директор, завуч-методист
• Органы управления образованием: города, области/республики

Учитель: учитель начальной школы, учитель-предметник по математике средней школы
Для учителей начальной школы интерес представляют все показатели SAM, характеризующие отдельных детей и классы:

• Тестовый балл – учащийся / класс;
• Ступень достижений – учащийся;
• Распределение учащихся по ступеням достижений – класс;
• Профиль достижений – учащийся/ класс;
• Матрица первичных оценок по каждой задаче – учащийся/ класс.

Учитель начальной школы может извлечь из инструментария SAM и результатов его применения наибольшее количество полезной для работы информации. Уже ознакомление с инструментарием SAM дает учителю ориентиры для понимания основных моментов учебного процесса: технологическую матрицу теста, которая определяет основные единицы и разделы предметного содержания; трехуровневую схему, моделирующую процесс его присвоения; типологию задач, структурирующую массив учебного материала. Будучи освоенной, вся эта система обобщенных представлений пополняет набор ориентиров организации и управления образовательным процессом.

Что касается данных итогового тестирования, то они позволяют учителю объективно оценить результаты своей деятельности, проанализировать успехи и неудачи и наметить программу работы с новым набором учащихся.

Для учителей математики средней школы главный интерес представляет распределение детей по ступеням освоения программы начальной школы. Этот показатель позволяет учителям заранее получить представление о том, какая часть класса скорее всего будет испытывать трудности в освоении новых понятий. Это же распределение, характеризующее структуру контингента учащихся, дает некоторые основания для определения педагогической стратегии, а именно, распределения во времени учебного содержания, выбора форм презентации материала, способов организации взаимодействия детей на уроках и т.п.

Администрация школы: директор, завуч-методист
Для школьной администрации интерес представляют (учащийся/класс):

• Тестовый балл;
• Распределение учащихся по ступеням достижений;
• Профиль учащегося/класса;
• Тестовый балл для каждого раздела программы;
• Распределение по ступеням достижений для каждого раздела программы.

Результаты SAM позволяют администрации школы провести сравнение классов между собой в плане учебной успешности, а также сопоставить уровень результатов с городскими показателями и социокультурной нормой. Владение этой картиной дает возможность администрации оценить объективное положение своей школы в образовательном поле города и региона, представлять вероятные перспективы своих учащихся при освоении программы средней школы и поступлении в ВУЗы.

Органы управления образованием: города, области/республики
На уровне органов управления образованием интерес может представлять следующий набор тестовых показателей (класс/школа/город):

• Тестовый балл;
• Распределение по ступеням достижений;
• Тестовый балл для каждого раздела программы;
• Распределение по ступеням достижений для каждого раздела программы.

Результаты SAM по городу/региону характеризуют общий уровень образовательных результатов школьной сети в целом. Допускается сопоставление со среднестатистическими показателями по региону, а также с аналогичными показателями других городов/регионов, что позволяет дать общую сравнительную оценку подготовки учащихся местной системы школьных учреждений.

Средние тестовые баллы по школам и классам позволяют оценить успешность тех и других на фоне городских данных, а также в сравнении с другими школами и классами, как местными, так и находящимися в других городах. В рамках задач управления образовательной системой важно выявить классы с успешностью, соответствующей социокультурной норме, чтобы определить группу эффективных учителей, способных поделиться полезным опытом, и наладить в дальнейшем с ними более плотный контакт с целью привлечения к различным образовательным мероприятиям городского масштаба.

Инструмент диагностики учебно-предметных компетенций школьников начальной школы (SAM) является российской разработкой, которая получила высокие оценки и признание среди ведущих мировых экспертов в области оценки качества образования.
C момента запуска и в процессе реализации проект по развитию инструмента SAM предусматривал участие экспертного совета, в который входили В.А. Болотов, вице-президент РАО, Г.С. Ковалева, руководитель Центра оценки качества РАО, Энтони Орджи, председатель Кембриджского совета, эксперт в области оценки качества образования, Хенк Моландс, директор международного департамента Голландского инcтитута по разработке тестов CITO, Уильям Бойл, профессор Манчестерского Университета, а также ведущие консультанты по образованию Всемирного Банка. Совет собирался несколько раз в год и производил регулярную экспертизу процесса разработки и валидизации мониторинга. По его рекомендациям план разработки подвергался соответствующей коррекции.

После проведения исследований по валидизации Экспертным советом было принято решение о необходимости проведения независимой международной экспертизы инструмента. Результаты международной экспертизы были получены разработчиками в ноябре 2013 года. В состав рецензентов вошли:

• Говард Эверсон (профессор психологии Центра изучения образования в Университете Нью-Йорка)
• Кленси Блэер (профессор прикладной психологии Штайнхардской школы культуры, образования и развития человека Университета Нью-Йорка).
• Доктор Бас Хемкер (старший научный исследователь Национального института тестологии Нидерландов)

Эксперты изучили следующую документацию, предоставленную на английском языке:

• Техническое руководство инструмента (Technical manual)
• Инструкция пользователя теста (User guide)
• Спецификация теста по математической грамотности (Test specification)
• Вариант теста по математической грамотности (Math test items)
• Отчет об исследованиях по валидизации инструмента (Validity study)

Общий вывод рецензий по данному проекту подтверждает, что принятый авторами подход и разработанный в рамках его инструментарий SAM положительно воспринимаются экспертами. Все эксперты указали на значительный объем проведенных исследований и необходимость продолжения исследований в рамках практического применения SAM для сбора как можно большего количества разнообразных данных об инструменте. Эксперты отметили важность исследований, предполагающих масштабирование инструмента.

В целом, международные эксперты высоко оценивают работу по развитию инструмента и отмечают, что статистические показатели теста, полученные на выборке в более 12 000 тестируемых, позволяют достоверно судить о психометрическом качестве теста. В частности, Бас Хемкер, констатирует, что: «Если оценивать инструмент SAM по голландской рейтинговой системе, то мы бы дали высший балл его конструктивной валидности за полученные результаты».

На протяжении нескольких лет (2011-2013) разработчиками теста проводились исследования на определение валидности инструмента SAM. Валидизация тестов SAM проводилась в соответствии с голландской системой COTAN. Исследования шли по нескольким направлениям, включая валидность по содержанию и валидность конструкта.

Валидность конструкта включала две составляющих – обоснование измерительных свойств тестов и обоснование того, насколько тест адекватен предмету и цели тестирования. В модели SAM основным конструктом, подлежащим верификации, является трехуровневая таксономия освоения учебного содержания, вписанная в возрастной контекст. В ходе исследования было установлено, что задачи одного блока, отвечающие теоретически заданным критериям трех уровней, обнаруживают соответствующую иерархию по трудности, то есть отображают логику функционального генеза в соответствии с принятой таксономией, что свидетельствует в пользу валидности этого конструкта. Результаты исследования также позволяют хорошо проследить возрастную динамику присвоения учебного содержания. К концу начальной школы (4 класс) вторая ступень освоения учащимися учебного содержания является доминирующей. Начиная с 8 класса (окончание основной школы), доминирует 3 уровень. Это обеспечивает поддержку теоретической модели SAM, то есть свидетельствует в пользу ее валидности.

Главным методом исследования валидности теста по содержанию являлось экспертное оценивание содержания каждого задания в отдельности и содержания теста в целом специалистами, т.е. проведение внешней экспертизы по содержанию. Тест по математике включает основные разделы математики, представленные в программах для начальной школы. Тест по русскому языку включает основные разделы грамматики русского языка, представленные в программах для начальной школы. Разработка и апробация тестовых заданий включала также консультации с учителями начальной школы и преподавателями-предметниками по содержанию теста. На заключительном этапе проведено экспертное оценивание содержания обоих тестов внешними экспертами – предметниками.

Таким образом, проведенные независимые экспертизы инструмента SAM позволяют сделать вывод о готовности инструмента для массового применения, его точности и надежности.