Раскрываем занавес GMAT: Integrated Reasoning полгода спустя

IR GMAT полгода спустя – ожидания разработчиков секции оправдались.

Бизнес-школы всегда ищут студентов, способных оценивать, синтезировать и извлекать всю важную информацию, одновременно отделяя разного рода информационный шум среди огромного объема данных. Приняв с июня прошлого года секцию Integrated Reasoning, тест GMAT стал оценивать эти навыки – просто необходимые для обучения на разных программах. Кроме того, они должны быть хорошо развиты у тех, кто намеревается бороздить просторы современного бизнеса. 

За первые шесть месяцев существования Integrated Reasoning, тест прошли 105,000 человек. Безусловно, чтобы установить прогностическую валидность теста для отдельных программ, (то есть, точно указать, насколько раздел добавляет свой вес к уже и так высокой способности GMAT), мы смогли провести предварительный анализ и посмотреть: показывает ли тест уклон в пользу или, наоборот, против какой-либо группы участников теста. А также интересно было посмотреть, как студенты, которые набрали одинаковое количество баллов за Quantitative и Verbal секции, показывают себя в новом разделе IR.

Объективная Оценка

Самый первый большой знак вопроса был следующим: получают ли разные группы студентов с одинаковым уровнем способностей одинаковый балл IR? Будучи разработчиком главного теста на определение талантов по всему миру, GMAC необходимо было убедиться, что IR отвечает нашим стандартам, базируясь на беспристрастной, объективной оценке. Наш анализ показывает, что это требование было выполнено безоговорочно. Между участниками теста: носителями и неносителями английского языка, жителями США и иностранными студентами, обладателями бизнес-степеней и без них, разница во всех категориях составляет меньше одной четверти стандартного отклонения. (Для сопоставления результатов Verbal и Quantitative разделов использовался анализ ковариации). Выявленные различия психометрически незначительные и практически несущественные. 

Процесс, использованный для разработки секции IR, заверил, что раздел будет иметь контент и конструктивную достоверность. Наш опрос бизнес-школ засвидетельствовал, что IR действительно оценивает важные навыки, именно то, что мы изначально запланировали оценивать.

Насколько соотносятся баллы IR и других секций

Дальнейшему исследованию подверглась еще одна тема – прогностическая валидность (обоснованность). Вносит ли свой ценный вклад «молодая» секция в уже и так высокоэффективный тест? Поскольку у нас не будет прямой прогностической валидности определенный период, наш анализ данных пока что показывает коэффициент корреляции IR с общим баллом GMAT – 0.55. Другими словами, все разделы: Quant, Verbal и IR оценивают подобное, но также и разное. 

Наблюдаемая корреляция «IR-общий балл GMAT» указывает на то, что новая секция, скорее всего, увеличивает прогностическую валидность теста. Мета-анализ GMAC 2008 года охватывал 273 программы. Он показал средний коэффициент множественной корреляции 0.53 во время прогноза основных баллов за GMAT, AWA и GPA.

На основании этих данных за первые 6 месяцев, мы ожидаем увеличение коэффициента до 0.59 и даже выше.

Это очень впечатляет, поскольку речь идет о разделе из всего 12 вопросов. Естественно, будут отклонения для отдельных программ, они есть и сегодня. Учитывая эти первые  обнадеживающие  результаты, сейчас для программ самое удачное время планировать изучение действительности, чтобы лучше понимать, какую оптимальную роль отводить разным секциям теста во время отбора студентов.


Дополнительные данные

Организация GMAC пропагандировала использование результата IR в качестве дополнительных сведений о кандидатах, которые набрали одинаковое количество баллов на GMAT. Сейчас у нас появились эмпирические данные в поддержку своих рекомендаций. 

На диаграмме показано распределение результатов за секцию IR по баллам – от 1 до 8 для всех участников теста GMAT, которые набрали от 600 до 640 за первые шесть месяцев существования новой секции. Другие диапазоны баллов показывают аналогичные распределения. В пределах каждого диапазона есть определенное количество студентов с сильными навыками, которые оценивает раздел Integrated Reasoning. 

На данном этапе выводи предельно ясны. Для студентов раздел IR является отличным способом выделиться и продемонстрировать свои способности. Знакомство и разбор заданий секции IR должно стать неотъемлемой частью подготовки к тесту. Для школ, результат IR – это качественный показатель дополнительных навыков студентов, особенно аппликантов, чьи академические успехи похожи или одинаковы.

Лоренс М.Руднер, PhD, MBA, является вице-президентом по исследованиям и развитию, а также главным психометристом в Graduate Management Admission Council.

Источник: gmac.com