WWW.DISSERS.RU

БЕСПЛАТНАЯ ЭЛЕКТРОННАЯ БИБЛИОТЕКА

   Добро пожаловать!

Pages:     || 2 |
-- [ Страница 1 ] --

вестниК международныХ орГанизаЦий. 2012. № 1 (36) сравнительный анализ международных методологий ранжирования высших учебных заведений Л.В. Заварыкина, А.С. Лопатина, О.В. Перфильева Заварыкина Любовь

Валерьевна – м.н.с. Центра международных сопоставительных исследований Института международных организаций и международного сотрудничества (ИМОМС) Националь­ ного исследовательского университета «Высшая школа экономики»;

E­mail: lzavarykina@hse.ru Лопатина Анастасия Сергеевна – м.н.с. Центра международных сопоставительных исследований Института международных организаций и международного сотрудничества (ИМОМС) Националь­ ного исследовательского университета «Высшая школа экономики»;

E­mail: alopatina@hse.ru Перфильева Ольга Владимировна – к.соц.н., директор Центра международных сопоставительных ис­ следований Института международных организаций и международного сотрудничества (ИМОМС) Национального исследовательского университета «Высшая школа экономики»;

E­mail: Perfilieva@ hse.ru В статье представлены результаты сравнительного анализа наиболее известных зарубежных методо логий ранжирования высших учебных заведений. Сравнительный анализ выполнен в рамках проекта «Раз работка и апробация модельной методологии рейтингования образовательных учреждений профессио нального образования», реализуемого Национальным фондом подготовки кадров по заказу Министерства образования и науки Российской Федерации в сотрудничестве с Центром международных сопоставитель ных исследований ИМОМС НИУ ВШЭ.

Сравнительный анализ методологий и ключевых параметров разнообразных систем ранжирования, принятых в зарубежной и международной практике, составляет основу общей методологии исследова тельского проекта. Как ключевой инструмент достижения главных целей проекта, он призван выявить элементы модельной методологии рейтингования российских вузов.

15 общих параметров, принятых за основу сравнительного анализа, обеспечили общую структуру и логику последовательного анализа каждого из подходов, позволили произвести горизонтальное сравнение подходов, отличающихся друг от друга по типу методологий (глобальные/ национальные/ специализиро ванные ранжирования и классификации), систематизировать лучшие практики и оценить их сильные и слабые стороны.

Единая аналитическая рамка обеспечила основу для сравнительного анализа методологий ранжиро вания по группам и их оценки относительно критериев IREG.

Ключевые слова: ранжирование, рейтинги, международная конкурентоспособность вузов.

Key words: ranking, rating, international competitiveness of HEIs.

введение Современное состояние национальных систем высшего образования характеризует­ ся многообразием институтов высшего образования, усложнением выполняемых ими функций, а также усиливающейся конкуренцией за человеческие и материальные ре­ сурсы, за место в глобальном пространстве высшего образования. И дело даже не в том, международный опыт ранжирования в высшем образовании что конкурентное поле для современных институтов высшего образования сужается.

Наоборот, под воздействием процессов глобализации предложение на рынке услуг высшего образования растет, выходя за рамки национальных систем образования и приобретая трансграничный характер. Речь идет о борьбе за качество – лучших иссле­ дователей, более квалифицированных преподавателей, более опытных управленцев, способных генерировать идеи, превращая университеты в современные корпорации, большие материальные ресурсы, более широкую известность на национальном и гло­ бальном уровне.

Неоспоримым источником серьезных трансформаций сферы высшего образова­ ния являются процессы глобализации. Растущее влияние глобальной среды раскрыва­ ется через усиление процессов международной мобильности, интернационализацию высшего образования, а также развитие практик международного сопоставления, ори­ ентацию на лучший мировой опыт и рейтинги. Глобализации подвергается и научно­ исследовательская деятельность вузов. Конкуренция пронизывает эту сферу деятель­ ности вузов на международном уровне. Но наряду с этим глобализация становится и важным стимулом развития сотрудничества и инноваций в сфере вузовской науки.

По мнению экспертов ОЭСР, международное сравнение научной результативно­ сти вузов усиливает конкуренцию между ними и, несмотря на заметное упрощение, отражает состояние и уровень развития сектора высшего образования в международ­ ной перспективе [2]. Э. Хазелкорн, в свою очередь, указывает на четыре источника современных изменений в сфере высшего образования. Прежде всего, это переход к знаниевой экономике, при которой основой роста становятся блага и услуги, разраба­ тываемые новым поколением одаренных, талантливых работников. Большая откры­ тость различных обществ друг другу и снятие традиционных границ и барьеров, таким образом, становятся важными условиями для становления знаниевой экономики там, где ощущается дефицит талантливых и одаренных людей. Во­вторых, современные де­ мографические процессы, а именно заметное старение населения во многих развитых странах в сочетании с сокращением численности молодого населения, влияющие на качественный состав и численность студенческого контингента. Интернационализа­ ция высшего образования при этом рассматривается как необходимый механизм при­ влечения иностранных студентов, особенно постдипломного обучения, аспирантов.

В­третьих, трансформация восприятия высшего образования – от сферы, требующей существенных расходов со стороны государства, к неотъемлемому элементу современ­ ной эффективной экономики, в связи с чем вопросы управления сферой высшего об­ разования приобретают высокую значимость для современной образовательной поли­ тики. Кроме того, все большая взаимосвязь уровня и стиля жизни, а также карьерных возможностей отдельных индивидов с уровнем полученных профессиональных квали­ фикаций определяет необходимость для вузов становиться более клиентоориентиро­ ванными. Основными потребителями услуг высшего образования в современном мире остаются студенты и их родители, однако структура их потребностей усложняется [6].

Следовательно, под воздействием глобализационных процессов современные университеты разрабатывают маркетинговые стратегии, больше ориентируются на из­ меняющиеся структуру и потребности потребителей услуг высшего образования. Все чаще университеты сталкиваются с необходимостью удовлетворять интересы разных групп потребителей, становиться более открытыми обществу, более интенсивно взаи­ модействовать с внешними стейкхолдерами. Повышение уровня конкурентоспособ­ ности, открытости и транспарентности [12], укрепление репутации на национальном и международном уровнях [6] становятся для университетов ключевыми задачами раз­ вития.

вестниК международныХ орГанизаЦий. 2012. № 1 (36) Решать современные задачи университетам помогают рейтинги национального, глобального или специализированного характера. Рейтинги, несмотря на непрекраща­ ющуюся волну критики, рассматриваются университетами как один из инструментов вхождения в глобальное пространство высшего образования и, по мнению современ­ ных исследователей, приобретают характер «навязчивой идеи» для международного университетского сообщества. Так, Э. Хазелкорн, обращаясь к истории ранжирова­ ний и их роли в развитии системы высшего образования, отмечает, что, зародившись в США как исследовательская практика начала прошлого века, ранжирование уже в середине 80­х годов XX в. становится важным информационным ресурсом для студен­ тов, который сегодня превращается в инструмент геополитического влияния. Увлечен­ ность мирового академического сообщества рейтингами объясняется Э. Хазелкорн также усилением влияния процессов глобализации на развитие высшего образования.

Но не только. Этому также способствует переход к экономике, основанной на знани­ ях, а также требования подотчетности и транспарентности, предъявляемые со сторо­ ны общества и государства к университетам. Рейтинги являются главным отражением мировой борьбы за качество и применяются как инструмент определения статуса от­ дельных институтов высшего образования, оценки качества и результативности систем высшего образования, как мера глобальной конкурентоспособности вузов. По мере того как интернационализация становится приоритетом национальных правительств и отдельных институтов высшего образования, способность университетов привлекать талантливые кадры и производить знание становится значимым конкурентным пре­ имуществом страны на мировой арене и в контексте глобальной экономики. В свете происходящих изменений существующие системы ранжирования не только влияют на трансформацию внутри университетов, но и видоизменяют систему высшего образо­ вания в целом.

Почему же рейтинги так популярны? Ответ на этот вопрос встречается в работах зарубежных исследователей, всесторонне изучающих теоретические основы, методо­ логии и влияние существующих систем ранжирования на развитие высшего образо­ вания в глобальном масштабе. Так, Дж.Ч. Шин и Р.К. Туткущян отмечают, что одним из объяснений стремительного роста числа рейтингов и систем ранжирования универ­ ситетов в прошлом столетии является переход от концепции элитарного к концепции эгалитарного высшего образования, зародившийся в XIX в. и проявившийся в масси­ фикации высшего образования в начале XX в. в США и Европе. Возникновение новых типов вузов и их диверсификация (колледжи сообществ в США, политехники в Евро­ пе) укрепили позиции эгалитаристского подхода к пониманию высшего образования.

В результате к 80­м годам XX в. в центре внимание общественности, экспертов и по­ литиков от образования оказались вопросы качества предоставляемых услуг высшего образования многочисленными вузами. В отношении функционирования институтов высшего образования данная тенденция проявилась в усилении требований подотчет­ ности вузов как профильным ведомствам в соответствии с заданной системой пока­ зателей результативности, так и общественности. В настоящее время это проявляется в сосуществовании трех отдельных, но взаимосвязанных механизмов оценки качества современного высшего образования: системах ранжирования, развиваемых главным образом различными средствами массовой информации;

системах обеспечения каче­ ства высшего образования, являющихся сферой компетенции разнообразных агентств оценки качества образования;

и системах подотчетности, продвигаемых органами, от­ ветственными за развитие сферы высшего образования. В 90­е годы прошлого столе­ тия рост популярности рейтингов начинают объяснять усиливающимися процессами массификации, маркетизации и глобализации сферы высшего образования [11].

международный опыт ранжирования в высшем образовании Для разработки национальной системы ранжирования вузов критически важным является изучение зарубежного опыта построения различных типов ранжирований, накопленного за последние несколько лет, их сравнительный анализ, а также оценка соответствия международным стандартам качества построения ранжирований.

В ходе реализации проекта был выполнен подробный анализ каждой из выбранных для исследования зарубежных методологий ранжирования и классификаций. Однако анализ, в основу которого положены 15 единых параметров, определил много общих положений и повторов в его структуре. Кроме того, полученный материал оказался до­ статочно объемным, и его полная публикация не представляется возможной в рамках формата научной статьи. В связи с необходимостью представить читателям ключевые результаты проведенного исследования, не упустив ничего важного, в настоящей ста­ тье приводятся положения сравнительного анализа различных методологий и результа­ ты оценки соответствия их качества международным критериям IREG на основе пяти агрегированных индикаторов.

Методика сравнения методологий по агрегированным индикаторам аудита качества IREG была применена для обеспечения сопоставимости различных методологий ран­ жирования. Коротко отметим, что основу агрегированных индикаторов составляют те же 20 критериев оценки качества ранжирований IREG, которые изначально были при­ няты за основу для оценки и сравнения методологий ранжирования между собой. Од­ нако, как показал анализ, среди 20 критериев IREG, используемых для оценки методо­ логий ранжирования, можно выделить схожие критерии, которые отражают различные аспекты более крупных характеристик качества, по которым оцениваются ранжирова­ ния. Таким образом, схожие (и зачастую коррелирующие) критерии были объединены в пять групп, олицетворяющие пять элементов качества построения систем ранжиро­ вания:

1. Четкость в постановке целей и определении целевых групп пользователей объеди няет три индикатора:

– цель и ключевые группы должны быть определены;

– ранжирования должны отражать разнообразие учебных заведений;

– ранжирования должны уточнять культурный, языковой и исторический кон­ текст.

2. Надежность способа сбора данных:

– данные получены из надежных источников с соблюдением надлежащих про­ цедур сбора данных;

– при ранжировании необходимо обеспечить качество самих процедур ранжиро­ вания.

3. Надежность и релевантность индикаторов:

– индикаторы должны быть релевантными и валидными;

– сочетание различных точек зрения (должны быть разработаны индикаторы, от­ ражающие различные точки зрения);

– индикаторы должны отражать результат деятельности учебного заведения;

– базовая методика должна оставаться постоянной (не менять индикаторы и их веса);

– необходимо сократить ошибки, вызванные ранжированием (должна учиты­ ваться возможность ошибки, которая может появиться при оценке такой ком­ плексной системы, как образование).

4. Транспарентность:

– транспарентность методологии;

вестниК международныХ орГанизаЦий. 2012. № 1 (36) опубликование весов индикаторов;

– доступность результатов ранжирования для пользователя в течение года;

– описание методов и индикаторов;

– информация о баллах для каждого отдельного индикатора;

– наличие механизма реагирования на запросы пользователей;

– наличие контактного адреса рейтингующей организации;

– документация процедур;

– меры по повышению доверия к рейтингу.

5. Интерактивность:

– возможность для пользователя выделить из ранжирования учебные заведения, в наибольшей степени удовлетворяющие его потребностям;

– возможность составить собственный рейтинг.

На основании агрегированных оценок по пяти группам критериев было рассчи­ тано среднее значение для каждой отдельной группы методологий, а также проведен более детальный анализ выбранных методологий по группам1.

Такой подход позволил авторам не только определить и проанализировать силь­ ные и слабые стороны различных методологий, но и провести на основе произведенно­ го сравнения оценку соответствия качества методологий ранжирования международ­ ным критериям IREG.

Таким образом, результаты проведенного исследования в рамках настоящей ста­ тьи будут последовательно представлены через:

1) сравнительный анализ преимуществ и недостатков методологий ранжирова­ ния по группам;

2) сравнение методологий ранжирования по группам на основе пяти агрегиро­ ванных индикаторов;

3) оценку соответствия качества методологий ранжирования международным критериям IREG.

сравнительный анализ преимуществ и недостатков методологий ранжирования по группам Глобальные рейтинги Целью глобальных рейтингов (Shanghai, THE, US News, QS, Leiden) является вы­ деление ведущих университетов мира и оценка их деятельности. Однако каждая ме­ тодология вкладывает различное понимание в термин «ведущий университет». Так, создатели рейтинга Shanghai считают, что ведущие университеты – это университеты с большим количеством выдающихся ученых (лауреатов Нобелевской премии и премии Филдса) среди выпускников и сотрудников университета;

рейтинг Leiden при отборе лучших университетов ориентируется только на количество опубликованных универ­ ситетом статей. В рамках методологий QS и US News (обе методологии разрабатывают­ ся независимой консультационной компанией QS – Quacquarelli Symonds Ltd) список ведущих университетов составляется путем электронного опроса экспертов, сам рей­ тинг опирается на результаты национальных рейтингов, данные экспертного опроса и библиометрические показатели, обеспечивается географическая сбалансированность.

Рейтинг THE включает в число ведущих университетов классические университеты, Методологии сгруппированы исходя из схожести целей ранжирования.

международный опыт ранжирования в высшем образовании предлагающие программы высшего и постдипломного образования и публикующие более 1000 статей в год.

Определяя различным образом ведущие университеты, все представленные мето­ дологии одномерного ранжирования достаточно широко определяют свою целевую ау­ диторию: это мотивированные молодые люди, желающие учиться в ведущих универси­ тетах мира, академическое сообщество, политики, представители системы управления образованием.

Исключением является рейтинг Leiden, оценивающий научную эффективность университетов с помощью различных библиометрических показателей. Очевидно, что такая специфическая оценка деятельности вузов интересна, прежде всего, академиче­ скому сообществу.

Глобальные рейтинги охватывают различное количество ведущих университетов (табл. 1).

Таблица 1. Охват регионов и предметных областей в глобальных методологиях одномерного ранжирования (рейтингах) Shanghai THE US News Leiden QS Коли­ 500 универси­ 400 универси­ 400 500 универ­ чество тетов тетов университетов ситетов университетов универси­ тетов Регионы Нет отдель­ Европа, Азия, Африка, Представлен Нет отдель­ ного списка Северная Аме­ Азиатско­ рейтинг ми­ ного списка университетов рика, Южная Тихоокеанский ровых уни­ университетов по регионам, Америка, Океа­ регион, Централь­ верситетов по регионам, университеты ния, Африка ная Азия, Евро­ и рейтинг университеты указываются по па, Латинская европейских указываются странам Америка, Средний университе­ по странам Восток, Северная тов Америка Пред­ 1) Естественные 1) Инженерия и 1) Гуманитарные Предметные 1) Гуманитар­ метные науки и матема­ технология науки области не ные науки области тика 2) Гуманитарные 2) Инженерия и представле­ 2) Инженерия 2) Медико­ науки технологии ны и технологии биологические 3) Клинические 3) Биологические 3) Биологи­ и сельскохозяй­ науки и меди­ науки ческие науки и ственные науки цина 4) Естественные медицина 3) Клиническая 4) Биологиче­ науки и матема­ 4) Естествен­ медицина и фар­ ские науки тика ные науки и макология 5) Точные науки 5) Социальные математика 4) Социальные и математика науки 5) Социальные науки 6) Социальные науки и менед­ 5) Инженерные науки жмент и компьютерные науки Все методологии, за исключением Leiden, представляют рейтинг университетов по предметным областям, и только методологии THE и US News представляют рейтин­ ги университетов по регионам;

Shanghai представляет рейтинги университетов по стра­ нам и выделяет наиболее популярные страны для обучения (США, Великобритания, Австралия, Германия, Канада). Интересно, что QS, используя ту же методологию, что и US News, не публикует рейтинг глобальных университетов по регионам: так же как вестниК международныХ орГанизаЦий. 2012. № 1 (36) и Shanghai, QS представляет рейтинг университетов по странам, ежегодно составляя рейтинг университетов по какому­то одному региону: так, в рейтинге 2011/2012 года отдельно представлен рейтинг университетов стран Латинской Америки.

Безусловно, все методологии одномерного ранжирования глобальных универси­ тетов ориентированы на классические исследовательские университеты, но методоло­ гии THE, US News пытаются выделить разнообразные регионы и представить рейтинг университетов по этим регионам. Рейтинг QS, помимо общего рейтинга университе­ тов, стал представлять профайлы по образовательным системам различных стран и со­ веты по обучению в той или иной стране.

В зависимости от своего понимания ведущего университета методологии одномер­ ного ранжирования глобальных университетов вводят различные индикаторы оценки деятельности университетов (табл. 2).

Таблица 2. Индикаторы, используемые различными методологиями глобального одномерного ранжирования университетов Shanghai THE Leiden QS/US News Качество Количество 1) Репутационное Качество Соотношение преподавания/ выпускников исследование преподавания количества ППС обучения университета, по вопросам не оценивается и студентов которым были преподавания – 15% присуждены 2) Количество Нобелевская присуждаемых степеней премия и PhD в расчете на одного премия Филдса ППС – 6% 3) Соотношение принятых студентов и количества ППС – 4,5% 4) Соотношение присужденных докторских степеней и присужденных степеней бакалавра – 2,25% 5) Доход на одного ППС – 2,25% Общий вес направления «Качество 10% 30% – 20% преподавания/ обучения» Академическая Академическая Академическая Академическая Репутационная репутация репутация репутация репутация характеристика не оценивается не оценивается не оценивается университета по мнению академического сообщества Общий вес направления – – – 40% «Академическая репутация» международный опыт ранжирования в высшем образовании Shanghai THE Leiden QS/US News Качество 1) Количество 1) Репутационное Оценка только по Количество научных публикаций в исследование по библио­ цитирований на исследований журналах Nature вопросам научно­ метрическим одного ППС и Science – 20% исследовательской показателям 2) Общее деятельности – 18% (6 индикаторов).

количество 2) Доход от Веса индикаторам статей, исследований – 6% не приписы­ индексируемых 3) Количество статей ваются в системах Sci­ на одного препода­ ence Citation и вателя и одного Social Science исследователя – 6% Citation – 20% Общий вес направления «Качество 40% 30% – 20% научных исследований» Качество ППС 1) Количество Качество ППС Качество ППС Качество ППС сотрудников не оценивается не оценивается не оценивается университета, имеющих Нобелевские премии и премии Филдса – 20% 2) Количество часто цитируемых ППС – 20% Общий вес направления 40% – – – «Качество ППС» Научное Научное Импакт­фактор Научное влияние Научное влияние влияние влияние научного цитирования университета университета университета университета (нормализованное не оценивается не оценивается не оценивается среднее значение цитирования на одну статью) Общий вес направления «Научное – 30% – – влияние университета» Экономическая Экономическая Доход от исследований Экономическая Экономическая активность активность по заказу активность активность не оценивается промышленных не оценивается не оценивается предприятий (в расчете на одного ППС) вестниК международныХ орГанизаЦий. 2012. № 1 (36) Shanghai THE Leiden QS/US News Общий вес направления «Экономи­ 2,5% ческая активность» Между­ Международная 1) Доля иностранных Международная 1) Доля народная деятельность ППС в общей деятельность иностранных деятельность не оценивается численности ППС – не оценивается преподавателей, 2,5% работающих в 2) Доля иностранных университете – студентов в общей 5% численности 2) Доля студентов – 2,5% иностранных 3) Доля публикаций студентов, ППС в научных обучающихся в периодических университете – изданиях, 5% подготовленных в соавторстве по крайней мере с одним иностранным автором, в общем количестве журнальных публикаций ППС – 2,5% Общий вес направления «Между­ – 7,5% – 10% народная деятель­ ность» Мнение Мнение Мнение работодателей Мнение Репутационная работодателей работодателей не оценивается работодателей характеристика не оценивается не оценивается университета согласно мнению работодателей Общий вес направления «Мнение – – – 10% работо­ дателей» В целом можно сделать вывод, что методологии глобального одномерного ран­ жирования университетов часто не оценивают качество преподавания в вузе (Leiden), либо вводят такие индикаторы, как академическая репутация (QS и US News) или каче­ ство профессорско­преподавательского состава (Shanghai), которые можно отнести к оценке как качества научных исследований, так и качества преподавания. При оценке качества преподавания многие методологии (THE, QS, US News) используют резуль­ таты опросов – экспертный опрос по вопросам преподавания (THE) или опросы по академической репутации вуза (QS и US News), что является спорным критерием, так как любой опрос несет в себе элемент субъективности. Кроме того, методологии QS, международный опыт ранжирования в высшем образовании US News, THE недостаточно полно раскрывают критерии, по которым осуществляется оценка репутации университета со стороны экспертного сообщества.

Среди используемых количественных индикаторов по оценке качества препода­ вания / условий обучения наиболее часто используемый индикатор – соотношение преподавателей и студентов (THE, QS, US News), который, согласно экспертному мне­ нию [4, 5, 7], является лишь косвенной оценкой качества преподавания в вузе. Оценка качества преподавания по методологии Shanghai c использованием индикаторов коли­ чества лауреатов Нобелевской премии и премии Филдса неоднократно подвергалась критике со стороны специалистов [7, 10].

Качество научных исследований все представленные методологии оценива­ ют при помощи библиометрических показателей (количество публикаций, импакт­ фактор научного цитирования), при этом только THE вводит индикатор дохода вуза от научно­исследовательской деятельности. THE также отдельно выделяет индикатор цитирования публикаций, определяя таким образом влияние вуза в области научных исследований. Очевидно, что эти количественные данные надежнее данных репута­ ционных опросов. Тем не менее библиометрические индикаторы также подвергаются критике со стороны экспертного сообщества [7, 10]:

1) при подсчете количества публикаций учитываются только англоязычные базы данных (Scopus), т.е. эти индикаторы предвзяты в отношении неанглоязычных университетов;

2) количество публикаций в области естественнонаучных дисциплин и медицины в научных журналах выше, чем в области гуманитарных наук, где основным про­ дуктом научной деятельности являются книги, выступления на конференциях и другие продукты научной деятельности, отличные от публикаций в научных жур­ налах.

Анализируя индикаторы, на основе которых проводится оценка преподаватель­ ской и научно­исследовательской деятельности университетов, можно отметить, что в целом все глобальные рейтинги придают большее значение оценке научно­ исследовательской деятельности университетов (большие значения весов индикато­ ров), чем преподаванию.

Международная деятельность вузов оценивается только в рамках методологии рейтинга THE, QS и US News, Leiden и Shanghai это направление деятельности вузов не рассматривают. При этом только методология THE использует как индикаторы ресур­ сов, так и индикаторы результатов международной деятельности вузов, методологии QS и US News используют только индикаторы ресурсов при оценке международной деятельности: это индикаторы долей иностранных преподавателей и иностранных сту­ дентов в университете.

Такие аспекты деятельности вузов, как взаимодействие с регионом или деятель­ ность по обмену знаниями, не рассматриваются ни одним из глобальных рейтингов, кроме методологии THE, которая вводит индикатор «доход от исследований по заказу промышленных предприятий», который можно рассматривать как индикатор деятель­ ности вуза по трансферу знаний.

Среди представленных методологий рейтинг THE является наиболее сбалансиро­ ванным по набору качественных и количественных индикаторов, индикаторов ресур­ сов и индикаторов результатов деятельности вузов. В рамках этой методологии также сделана попытка оценить разнообразные функции вузов (преподавание, исследования, международная деятельность, деятельность по обмену знаниями).

Методология Shanghai использует только количественные индикаторы, в основ­ ном ориентируясь на индикаторы результатов деятельности вузов. Однако использо­ вестниК международныХ орГанизаЦий. 2012. № 1 (36) вание таких специфических индикаторов, как количество Нобелевских лауреатов, ко­ личество лауреатов премии Филдса, как было отмечено выше, не является надежным критерием оценки научно­исследовательской или преподавательской деятельности университетов.

Методологии QS и US News при оценке деятельности вузов большой вес прида­ ют репутационной оценке, используя электронные опросы экспертов и работодателей, за что подвергаются критике со стороны международных исследователей и экспертов [10]. Методология THE также использует репутационные опросы, но вес индикаторов в этой категории у THE значительно ниже (33%), чем у QS и US News (50%).

Анализ представленных рейтинговых методологий относительно критериев IREG показывает, что все методологии достаточно четко определяют цели ранжирования (выявление мировых университетов­лидеров) и основные целевые группы (мотивиро­ ванные абитуриенты, ориентированные на обучение в лучших вузах мира). Общим не­ достатком всех методологий является то, что они не отражают всего разнообразия ин­ ститутов высшего образования, рассматривая только крупные исследовательские вузы.

В числе ведущих университетов мира во всех глобальных рейтингах (табл. 3) оказыва­ ются американские и британские университеты, что позволяет многим исследователям говорить о предвзятости рейтингов в пользу англосаксонской системы образования.

Однако используемые индикаторы (библиометрические, количество Нобелевских лау­ реатов) лишь отражают тот факт, что большинство научных статей в мире публикуется на английском языке [3], и университеты США и Великобритании, обладая большими ресурсами, имеют возможность приглашать на работу ведущих ученых и повышать та­ ким образом свою репутацию. Очевидно, что в ближайшем будущем данная ситуация вряд ли изменится.

Очевидно и то, что глобальные рейтинги прежде всего ориентируются на англосак­ сонскую систему образования, игнорируя особенности образовательных систем других стран. Например, в рейтинги не включаются немецкие научно­исследовательские ин­ ституты (например, Институт Планка), ведущие подготовку аспирантов и проводящие научные исследования.

Существует мнение, что в глобальных рейтингах группа лидеров представлена од­ ними и теми же университетами. Однако результаты рейтингов 2011 г. демонстрируют, что в пятерку ведущих университетов мира входят различные университеты, при этом такие мировые лидеры, как Harvard, Massachusetts Institute of Technology, присутствуют практически во всех глобальных рейтингах. Анализ показывает, что в методологиях од­ номерного ранжирования, основанных на количественных библиометрических пока­ зателях (Leiden), на первые места попадают университеты, отличные от университетов, представленных в других методологиях. Результаты глобальных рейтингов, в основе которых лежат оценки, полученные в ходе экспертных опросов (THE, QS и US News), и результаты которых имеют различные веса, также различаются (табл. 3).

Вызывают вопросы релевантность и валидность некоторых индикаторов методо­ логий глобальных рейтингов, прежде всего индикаторы количества Нобелевских лау­ реатов и лауреатов премии Филдса как индикаторы качества научных исследований и качества преподавания в университете.

Как показано многими исследователями [10], библиометрические показатели предвзяты в языковом отношении: данные берутся из англоязычных баз данных, пу­ бликации на других языках не учитываются. Эти индикаторы также «благоволят» есте­ ственным наукам и медицине (университеты всегда имеют более высокие показатели по публикациям в области естественных наук).

международный опыт ранжирования в высшем образовании Таблица 3. Результаты методологий глобального одномерного ранжирования университетов (рейтингов) Shanghai THE Leiden QS/US News 1. Harvard 1. California Institute of 1. Massachusetts Institute 1. University of Cambridge University (USA) Technology (USA) of Technology (USA) (UK) 2. Stanford 2. Harvard University 2. Rockefeller University 2. Harvard University (USA) University (USA) (USA) (USA) 3. Massachusetts 3. Stanford University 3. University California, 3. Massachusetts Institute of Institute of (USA) Santa Cruz (USA) Technology (USA) Technology (USA) 4. University of 4. University of Oxford 4. Princeton University 4. Yale University (USA) Cambridge (UK) (UK) (USA) 5. California 5. Princeton University 5. University of 5. University of Oxford (UK) Institute of (USA) California, Santa Barbara Technology (USA) (USA).

Индикаторы оценки качества преподавания в вузах (соотношение преподавате­ лей и студентов) и индикаторы международной деятельности вузов (доля иностранных студентов, обучающихся в университете, и доля иностранных преподавателей в уни­ верситете) являются индикаторами ресурсов и лишь косвенно оценивают деятельность университетов в этом направлении.

В рамках кабинетного исследования сложно оценить, насколько соблюдены про­ цедуры и профессиональные правила сбора данных для эмпирических исследований.

Однако следует отметить, что Shanghai и Leiden получают количественные данные из открытых источников, что затрудняет манипулирование этими данными. Другие ме­ тодологии используют комбинации количественных и качественных данных, получае­ мых из открытых источников, самих вузов и опросов. Надежность таких данных и со­ блюдение надлежащих процедур сбора являются спорными.

Что касается неизменности, методологии рейтингов Shanghai и Leiden не меня­ лись. То же относится и к методологиям QS и US News, однако рейтинг QS сменил информационного партнера. До 2010 г. рейтинг публиковался изданием Times Higher Education Supplement, начиная с 2010 г. QS прервала сотрудничество с Times, и сегодня рейтинг публикуется независимой компанией QS. Издание US News использует мето­ дологию QS для публикации рейтинга ведущих университетов мира.

THE(S) обновила методологию рейтинга 2011/2012 года: теперь его создатели по­ лучают данные от университетов, снижен вес данных, получаемых из опросов, данные по количеству статей и количеству цитирований научных публикаций шкалируются с учетом размера университетов. Для оценки международной деятельности введен но­ вый индикатор – количество совместных публикаций с иностранными учеными. По мнению создателей рейтинга THE, изменения призваны способствовать большей объ­ ективности его результатов.

Все представленные методологии доступны для пользователей в интерактивном виде, но не предусматривают инструментов взаимодействия с вузами и пользователя­ ми, за исключением форума и предоставления контактных адресов.

Методологии THE, QS, US News дают некоторую возможность пользователям вы­ брать интересующий их критерий и рассмотреть оценку деятельности университетов по этому критерию. Однако они не предоставляют возможности ранжирования уни­ верситетов по выбранному критерию. Рейтинги Shanghai и Leiden не предоставляют вестниК международныХ орГанизаЦий. 2012. № 1 (36) возможности ни для оценки вузов, ни для их ранжирования по выбранному индикато­ ру (рис. 1, 2).

Глобальные рейтинги Надежность способа Shanghai сбора данных THES US News Leiden Надежность Транспарентность и релевантность рейтинга показателей 3 2 1 1 2 Интерактивность Рис. 1. Соответствие группы методологий глобальных рейтингов пяти агрегированным критериям IREG Глобальные рейтинги (QS) Надежность способа QS сбора данных Надежность Транспарентность и релевантность рейтинга 3 2 1 1 2 показателей Интерактивность Рис. 2. Соответствие группы методологий глобальных рейтингов пяти агрегированным критериям IREG (продолжение) международный опыт ранжирования в высшем образовании Большинство исследователей выделяют ряд преимуществ глобальных методоло­ гий одномерного ранжирования университетов:

– рейтинги стимулируют конкурентоспособность ведущих вузов;

– различные рейтинги имеют схожие результаты, поэтому можно говорить о не­ которой надежности применяемых индикаторов и методологий;

– создатели рейтинговых методологий взаимодействуют с экспертным сообще­ ством и университетами для получения и обсуждения получаемых данных.

Недостатки глобальных рейтингов часто формулируются следующим образом:

– рейтинги не учитывают национальный контекст систем образования и упуска­ ют из вида разнообразие функций университетов;

– используемая система индикаторов способствует продвижению крупных клас­ сических исследовательских университетов с преподаванием на английском язы­ ке;

– используемая система индикаторов в большей степени оценивает достижения в области естественных наук и медицины;

– преобладание репутационной оценки (QS, US News), а не количественных ин­ дикаторов при оценке деятельности университетов ставит под сомнение надеж­ ность полученных результатов;

– не все индикаторы, используемые при одномерном ранжировании, являются релевантными для целевой аудитории.

Национальные методологии одномерного ранжирования Среди национальных методологий ранжирования представлены методологии одномерного ранжирования Великобритании (Times, Guardian, Guardian Specialist Institutions League Table) и США (Forbes).

В Великобритании рейтинги вузов готовятся периодическими изданиями (Times и Guardian) в сотрудничестве с независимыми маркетинговыми агентствами. Историче­ ски рейтинг Times появился раньше (1992), чем Guardian (1999). Рейтинг лучших кол­ леджей США издается ежемесячным финансово­экономическим журналом Forbes в сотрудничестве с независимым исследовательским Центром по изучению доступности и результативности колледжей2 начиная с 2008 г.

Все рейтинги являются ежегодными и ориентированы на выпускников школ, вы­ бирающих университет для поступления. При этом, по мнению создателей рейтинга Guardian, выпускников при выборе университета больше всего интересует качество преподавания, дальнейшее трудоустройство и ресурсы, выделяемые на обеспечение обучения и преподавания. Создатели рейтинга Times оценивают университеты по ка­ честву преподавания, качеству проводимых научных исследований и трудоустройству выпускников, считая, что именно эта информация значима для абитуриентов при вы­ боре университета. Создатели рейтинга Forbes считают, что выпускников как потре­ бителей образовательных услуг прежде всего интересует эффективность вложенных в тот или иной колледж средств для получения образования, поэтому для них важна ин­ формация об удовлетворенности студентов процессом обучения, успехах выпускников после окончания колледжа и уровне долга по окончании обучения. В целом потенци­ альная аудитория рейтинга Times шире аудитории Guardian и Forbes, так как качество The Center for College Affordability and Productivity. URL: http://centerforcollegeaffordability.org/ (date of access: 22.12.2011).

вестниК международныХ орГанизаЦий. 2012. № 1 (36) научно­исследовательской работы может интересовать и абитуриентов, и студентов постдипломного образования, и представителей научного сообщества.

Помимо общего рейтинга университетов, Guardian и Times создают рейтинги по отдельным предметным областям (Guardian рассматривает 46 предметных областей, а Times – 62). Также Guardian представляет отдельный рейтинг специализированных высших учебных заведений (Guardian Specialist Institutions League Table), в то время как Times включает специализированные заведения в общий рейтинг университетов. Рей­ тинг Forbes представляет только таблицу лиг колледжей США без учета предметных областей.

Так как при сборе данных для составления рейтинга и Times, и Guardian исполь­ зуют статистические данные Агентства статистики высшего образования и данные На­ ционального опроса студентов, в рейтинге могут участвовать только государственные британские университеты, предоставляющие данные в Агентство статистики высшего образования. По этой причине в этих рейтингах участвует примерно равное количе­ ство университетов (116 – в Times, 119 – в Guardian, 36 вузов – в Guardian Specialist из 165 высших учебных заведений Великобритании). Оба рейтинга не учитывают дан­ ных вузов, финансируемых из частных фондов, и некоторых шотландских вузов, не предоставляющих данные в Агентство статистики высшего образования (шотландские вузы предоставляют свои данные в шотландское правительство). В рейтинге Forbes представлены только те колледжи (650 колледжей), которые имеют право присуж­ дать степень бакалавра после 4­летнего обучения (данные Министерства образования США), а также колледжи и университеты, которые могут присуждать степень доктора и магистра наук (по классификации Carnegie). То есть и британские методологии од­ номерного ранжирования, и американская методология одномерного ранжирования ориентированы на оценку тех учебных заведений, информация по которым доступна в национальных статистических базах данных.

Методологии одномерного ранжирования Times и Guardian используют восемь индикаторов оценки деятельности университетов. Как было отмечено выше, Times оценивает такие направления деятельности вуза, как качество преподавания, каче­ ство научных исследований, перспективы трудоустройства выпускников, а Guardian и Guardian Specialist концентрируются только на качестве преподавания и перспективах трудоустройства. Оценивая качество исследований, Times использует данные эксперт­ ной оценки исследовательской деятельности вузов (Research Assessment Exercise, RAE).

Ни Guardian, ни Forbes не оценивают качество научных исследований. При оценке перспектив трудоустройства выпускников методологии рейтингов Times и Guardian используют количественный индикатор – процент выпускников, получивших работу по специальности после окончания университета в течение шести месяцев по данным Агентства статистики высшего образования. Для оценки качества преподавания дан­ ные методологии используют различный набор индикаторов (табл. 4).

Методологии Times и Guardian используют официальные статистические и со­ циологические данные: данные Агентства статистики высшего образования и данные Национального опроса студентов (табл. 4). Методологии рейтингов Times и Guardian стараются представить баланс индикаторов ресурсов и результатов деятельности вуза, Guardian даже разработал собственный индикатор динамики роста академической успеваемости (value added) для оценки результатов преподавания. Эти рейтинговые ме­ тодологии (для Guardian Specialist применяется та же методология, что и для Guardian) используют сбалансированное число количественных и качественных индикаторов (качественные индикаторы получают в результате опроса).

международный опыт ранжирования в высшем образовании Таблица 4. Оценка качества преподавания национальными методологиями одномерного ранжирования Times и Guardian Times Guardian и Guardian Specialist Индикаторы ресурсов Уровень подготовки абитури­ Вступительные баллы в университет (Input indicators) ентов (тариф UCAS) (данные (тариф UCAS) (данные Национального Национального статистического статистического агентства по высшему агентства образованию) по высшему образованию) Соотношение студентов и препо­ Соотношение студентов и преподавате­ давателей (данные Национального лей (данные Национального статистиче статистического агентства по ского агентства по высшему образованию) высшему образованию) Затраты на оборудование и ин­ Затраты на студента (данные Нацио фраструктуру (данные Националь- нального статистического агентства по ного статистического агентства высшему образованию) по высшему образованию) Индикаторы Процент студентов, завершив­ Динамика роста академической успе­ результатов ших обучение (данные Нацио- ваемости (value added) – собственный (Output indicators) нального статистического агент- показатель Guardian ства по высшему образованию) Процент студентов, закончив­ Качество преподавания (данные Нацио ших университет с дипломом нального опроса студентов) первого или второго класса (диплом с отличием) (данные Национального статистического агентства по высшему образова нию) Общая удовлетворенность сту­ Общая удовлетворенность студентов дентов преподаванием (данные преподаванием (данные Национального Национального опроса студентов) опроса студентов) Оценивание и обратная связь с препода­ вателями (данные Национального опроса студентов) Особенность методологии Forbes, по сравнению с Times и Guardian, состоит в том, что качество преподавания не оценивается напрямую. Для этого вводятся косвенные индикаторы оценки преподавательской эффективности вуза, в частности: удовлет­ воренность студентов преподаванием;

оценка студентами преподавателей на сайте Ratemyprofessor.com;

доля студентов, перешедших на второй курс;

успешность студен­ тов после завершения обучения (данные по зарплате студентов по материалам сайта Payscale.com, количество выпускников в списках Who is Who и Forbes);

доля студентов, завершивших четырехлетний курс обучения. Методология одномерного ранжирования Forbes использует 12 индикаторов по пяти направлениям (удовлетворенность студентов;

успех студентов после выпуска;

долг студента по окончании обучения;

доля студентов, закончивших четырехлетний курс обучения;

количество студентов, получивших наци­ ональные премии). Веса имеют как отдельные направления, так и отдельные индика­ торы, т.е. в методологии Forbes применяются композитные индикаторы. Методология Forbes использует официальные данные Министерства образования США, а также при­ бегает к неофициальным данным электронных ресурсов – сайтов Ratemyprofessor.com вестниК международныХ орГанизаЦий. 2012. № 1 (36) и Payscale.com, разрабатывает собственные индикаторы (прогнозируемая доля студен­ тов, перешедших на второй курс, прогнозируемая доля студентов, окончивших че­ тырехлетний курс обучения). В отличие от Times и Guardian, методология Forbes ис­ пользует только индикаторы результатов деятельности вуза, а потребительский подход к оценке деятельности вуза, лежащий в основе этой методологии, делает ее схожей с методологиями рейтингования бизнес­школ (Economist, Financial Times, Bloomberg), где основным показателем качества деятельности бизнес­школ выступает профессио­ нальный успех выпускников по окончании обучения. Так же, как методологии Times и Guardian, методология Forbes использует сбалансированный набор количественных (статистические данные Министерства образования США) и качественных (данные онлайн­опросов студентов) индикаторов.

Необходимо отметить, что все представленные индикаторы подвергаются крити­ ке со стороны экспертного сообщества.

Индикаторы ресурсов (затраты на инфраструктуру, соотношение преподавателей и студентов) лишь косвенно оценивают качество преподавания. Их плюсом является только то, что составители рейтингов получили их из надежного источника (Агентство статистики высшего образования), и по этим данным можно оценить вклад универси­ тета в учебный процесс. Использование данных индикаторов в рейтингах приводит к порочному кругу (эффекту Matthew): элитарные вузы могут позволить себе большие затраты на инфраструктуру и оборудование, имеют возможность привлечь большее число преподавателей и научных сотрудников, что позволяет им занять более высокие позиции в рейтингах и в конечном счете привлечь еще бoльшее финансирование из внешних источников.

Индикаторы, учитывающие квалификации абитуриента при поступлении в вуз, ставят в невыгодное положение учебные заведения, принимающие абитуриентов с не­ академическими квалификациями. Так, рейтинги Times и Guardian вводят индикатор «вступительные баллы абитуриента», где указывается проходной балл, необходимый для поступления в тот или иной вуз. Эти баллы начисляются абитуриентам за сданные экзамены и полученные квалификации в рамках системы, принятой в UCAS3 (Бри­ танская служба по приему заявок в университеты и колледжи / Universities and Colleges Admissions Service). В соответствии с этой системой абитуриенты, сдавшие националь­ ные экзамены по академическим дисциплинам (например, экзамены A­level по мате­ матике, английскому языку и т.д.), получают больше баллов, чем абитуриенты, сдав­ шие экзамены на получение профессиональной квалификации (например, экзамены в области бухгалтерии или дизайна). Таким образом, специализированные учебные заведения или вузы, предлагающие программы обучения в области прикладных наук, принимающие абитуриентов по результатам сданных профессиональных экзаменов и имеющие контингент студентов с невысоким средним баллом по системе UCAS, будут занимать более низкие места в рейтинге, чем классические исследовательские универ­ ситеты, принимающие абитуриентов по результатам академических экзаменов и име­ ющие контингент студентов с более высокими баллами по системе UCAS.

Индикаторы результатов деятельности вуза по направлению «качество препода­ вания», используемые этими методологиями, также являются спорными: процент вы­ пускников, процент студентов, перешедших на второй курс, и процент выпускников с дипломом первого или второго класса лишь косвенно оценивают качество препода­ вания в данном вузе. По мнению многих экспертов [7, 9], оценка университетов на основе данных индикаторов лишь усиливает сегрегацию университетов по социально­ См.: http://www.ucas.ac.uk/students/ucas_tariff/tarifftables.

международный опыт ранжирования в высшем образовании экономическим показателям: в невыигрышном положении оказываются вузы, прини­ мающие взрослых студентов и студентов из неблагополучных районов.

С одной стороны, данные Национального опроса студентов дают представление о качестве преподавания в том или ином вузе, а с другой – носят субъективный характер.

Некоторые вузы [5] были уличены в том, что заставляли студентов определенным об­ разом отвечать на предлагаемые опросом вопросы. Кроме того, методологии Times и Guardian используют выборочные данные из Национального опроса студентов.

В рамках Национального опроса студенты оценивают преподавание на своем кур­ се по набору индикаторов, включая:

– преподавание на моем курсе;

– оценивание и обратная связь с преподавателями;

– академическая поддержка;

– организация процесса обучения;

– обучающие ресурсы;

– личностное развитие;

– общая удовлетворенность процессом обучения на моем курсе.

Как можно видеть, из всего перечня индикаторов методология рейтинга Times ис­ пользует только данные по общей удовлетворенности студентов процессом обучения на курсе, а Guardian и Guardian Specialist – данные по качеству преподавания, оценива­ нию и обратной связи с преподавателями и общей удовлетворенности. При этом созда­ тели методологий не объясняют, почему из всего перечня индикаторов Национального опроса они выбрали именно эти.

То же можно сказать и о данных опроса студентов в методологии Forbes. В отличие от Национального опроса студентов, который администрируется Советом по финанси­ рованию высшего образования в Великобритании и проводится крупнейшим нацио­ нальным агентством по опросам общественного мнения (MORI), сайт Ratemyprofessor.

com является частной инициативой, позволяющей оценить преподавателей всех вузов США по следующим параметрам:

– доступность (легкость) курса;

– поддержка студентов;

– ясность изложения материала;

– степень интересности курса.

Как видно из параметров оценивания, такой источник данных является еще бо­ лее субъективным по сравнению с британским Национальным опросом студентов.

Эксперты отмечают, что преподаватели точных наук всегда получают меньше баллов за доступность (легкость) курса по сравнению с преподавателями гуманитарных наук, что, очевидно, обусловлено спецификой материала и не связано с качеством препо­ давания.

Разработанный Guardian индикатор “value­added” (добавочная стоимость или динамика академической успеваемости) – один из самых критикуемых: создатели ин­ дикатора пытались оценить прирост академических знаний студента, сравнивая ком­ петенции абитуриента при поступлении и его квалификацию по окончании универ­ ситета, однако методика расчета индикатора не является транспарентной. При этом некоторые исследователи [9] подчеркивают, что сама идея разработать индикатор, из­ меряющий динамику академической успеваемости студента, является релевантной, и многие университеты поддерживают идею создания такого индикатора.

Разработанные методологией Forbes индикаторы по прогнозируемой доле выпуск­ ников и прогнозируемой доле студентов, перешедших на второй курс, также критику­ вестниК международныХ орГанизаЦий. 2012. № 1 (36) ются за непрозрачную методологию расчета. Кроме того, не все специалисты уверены в релевантности этих индикаторов для оценки деятельности вуза.

Индикаторы количества выпускников, работающих директорами компаний, или входящих в списки Who is Who, а также количества студентов, получивших националь­ ные премии, используемые Forbes, также являются спорными критериями для оценки деятельности вуза.

Результатом методологий ранжирования Times и Guardian являются таблицы лиг британских вузов и таблицы лиг вузов по предметным областям. Для получения таких таблиц данные по индикаторам шкалируются, взвешиваются, затем взвешенные баллы суммируются и вузам присваивается общий балл, в соответствии с которым они зани­ мают место в таблице лиг. Обе методологии не используют композитные индикаторы.

Различаются и веса индикаторов, используемых этими методологиями: Times исполь­ зует вес 1,5 для оценки качества научных исследований и общей удовлетворенности студентов преподаванием и 1 – для всех остальных индикаторов. Guardian, в свою оче­ редь, использует процентные веса индикаторов, выделяя отдельные веса для медицины и ветеринарии (табл. 5).

Таблица 5. Веса индикаторов в методологии Guardian Индикатор Вес Качество преподавания 10%, для медицинских и ветеринарных специальностей – 14% Оценивание и обратная связь 10%, для медицинских и ветеринарных с преподавателями специальностей – 14% Общая удовлетворенность обучением 5%, для медицинских и ветеринарных специальностей – 7% Динамика роста академической 15%, для медицинских и ветеринарных успеваемости (value added score) специальностей – 5% Соотношение студентов и преподавателей 15%, для медицинских и ветеринарных специальностей – 20% Затраты на студента 15%, для медицинских и ветеринарных специальностей – 20% Вступительные баллы (тариф UCAS) 15%, для медицинских специальностей – 20% Перспективы трудоустройства 15%, для медицинских и ветеринарных специальностей – 0% Как видно из табл. 5, в отличие от методологии Times, придающей большее зна­ чение индикаторам результатов деятельности вузов, методология ранжирования Guardian наибольшие веса приписывает индикаторам ресурсов и своему индикатору динамики роста академической успеваемости. Методология Guardian различает веса индикаторов для отдельных групп специальностей, в отличие от методологии ранжи­ рования Times.

Методология ранжирования Forbes опирается на композитные индикаторы, веса направлений и индикаторов указываются в процентах (табл. 6).

Так же как и Times, Forbes отдает наибольший вес индикатору удовлетворенности студентов преподаванием, но, в отличие от Times, использует неофициальный источ­ международный опыт ранжирования в высшем образовании Таблица 6. Веса индикаторов в методологии Forbes Направление Индикатор Вес, % Удовлетворенность студентов, 27,5% Оценка преподавателей студентами 17, на RateMyProfessor.com Доля студентов, перешедших на второй курс Прогнозируемая доля студентов, перешедших на второй курс Успех студентов после выпуска, 30% Упоминание выпускников в Who is Who in America Заработная плата выпускников по данным Payscale.com Количество выпускников – директоров компаний по спискам Forbes (2000 мировых компаний­ лидеров) Долг студента, 17,5% Средняя задолженность студента по кредиту на образование Доля студентов, имеющих неуплату задолженности по кредиту Процент студентов, берущих 2, федеральные кредиты на обучение Доля студентов, закончивших 4­летний курс Доля студентов, фактически 8, обучения, 17,5% закончивших четырехлетний курс обучения Соотношение прогнозируемой 8, доли студентов, закончивших четырехлетний курс обучения, и доли студентов, фактически закончивших четырехлетний курс обучения Количество студентов, получивших 7, национальные премии ник – сайт Ratemyprofessor.com. Методология Forbes уделяет большое внимание такой категории, как успех студентов после выпуска, которая не представлена в рейтингах Times и Guardian. Представляется, что индикаторы этой категории более характерны для рейтингов бизнес­школ. При этом релевантность индикаторов, по которым оце­ нивается это направление, является спорной, кроме того, данные по рассматриваемым индикаторам получают из неофициальных источников (сайт payscale.com, где выпуск­ ники сами указывают свою зарплату), что ставит под сомнение их надежность.

Важной особенностью британских таблиц лиг является то, что у пользователей есть возможность выстраивать рейтинги университетов в зависимости от выбранного индикатора. Таблица лиг Forbes такой возможности не предоставляет.

Анализируя национальные методологии одномерного ранжирования относитель­ но критериев IREG, следует иметь в виду, что методологии четко выделяют свои целе­ вые группы, определяющие их ключевой подход. Но при этом:

вестниК международныХ орГанизаЦий. 2012. № 1 (36) 1. Рейтинг Guardian в большей степени, чем Times, конкретен относительно сво­ ей целевой аудитории: он ориентирован на потенциальных абитуриентов, фоку­ сируется на качестве обучения по программам бакалавриата, полагая, что именно эта информация в первую очередь интересует поступающих в университет. Рей­ тинг Guardian Specialist еще более избирателен в отношении целевой аудитории, ориентируясь на абитуриентов, интересующихся специальными программами обучения (изобразительное искусство, музыка, туристическая индустрия и т.д.).

Помимо таблиц лиг университетов, на сайте Guardian размещены советы по по­ ступлению, информация об университетах и программах обучения, а также ин­ формация о стоимости обучения. Guardian сознательно не использует индикаторы оценки научной деятельности университетов (хотя использовал эти индикаторы в своих первых рейтингах), объясняя это тем, что данная информация мало инте­ ресует абитуриентов. То есть методология одномерного ранжирования Guardian при выборе индикаторов ориентируется на потребности своей целевой аудито­ рии. Таблицы лиг дополнены информацией, полезной для абитуриентов. Times оценивает деятельность университета по различным параметрам (обучение, науч­ ные исследования, трудоустройство выпускников), объясняя, что эти индикаторы и итоговые таблицы лиг помогают абитуриентам в выборе университетов, но не учитывая, что оценка научной деятельности университетов скорее заинтересует студентов, поступающих на постдипломные программы обучения. На сайте Times представлены таблицы лиг (общая и по предметным областям), краткая инфор­ мация об университетах и стоимость обучения. Более подробную информацию об условиях поступления абитуриенты могут получить, купив книгу The Times Good University Guide. Методология Forbes ставит во главу угла финансовый успех вы­ пускников после окончания обучения, объясняя это тем, что абитуриенты могут оценить качество образовательных услуг только по результатам своего успешного трудоустройства и наличия небольшой финансовой задолженности по окончании обучения. В целом представленные методологии указывают свою целевую аудито­ рию и последовательны в выборе индикаторов для нее.

2. Рейтинги Times, Guardian и Forbes не отражают всего разнообразия вузов систе­ мы высшего образования Великобритании и США. В рейтингах Times и Guardian участвуют только классические государственные университеты, предоставляющие свои данные в Агентство по статистике высшего образования Англии. Guardian предпринял попытку представить отдельную таблицу лиг для специализирован­ ных вузов, используя те же индикаторы, что и для общего рейтинга, но эта табли­ ца малоинформативна: специализированные вузы искусств, медицинские и педа­ гогические вузы, учебные заведения по подготовке сотрудников туристического сектора помещены в одну таблицу лиг. Forbes представляет только 650 из более чем 2000 колледжей США, обучающих по программам бакалавриата, объясняя это тем, что методология выбирает лучшие колледжи, которые могут обеспечить фи­ нансовый успех выпускникам.

3. С одной стороны, методологии одномерного ранжирования являются на­ циональными и отражают специфический контекст системы образования Вели­ кобритании и США. С другой стороны, рейтинги Times и Guardian учитывают только классические государственные университеты, предлагающие программы бакалавриата, и не принимают в расчет разнообразия высших учебных заведе­ ний. Рейтинги никак не оценивают британские высшие учебные заведения, ра­ ботающие в странах Содружества. Современная Великобритания – мультикуль­ международный опыт ранжирования в высшем образовании турная страна, в которой действует достаточное количество вузов для мусульман (Aga Khan University, Islamic Azad University), а также университетов других стран (США, Германии, Ирландии), деятельность которых также никак не отражается в рейтингах Times и Guardian. Концепция методологии Forbes, рассматривающая студентов как потребителей образовательных услуг, не включает в рейтинг кол­ леджи, предлагающие альтернативное образование – дистанционное, колледжи с программами двухгодичного высшего образования, так как исходит из предпо­ ложения, что после окончания таких учебных заведений у выпускников меньше шансов добиться успеха.

Как показал анализ, методологии построения ранжирований Times, Guardian и Forbes используют различный набор индикаторов, ориентируясь на свое понимание нужд целевой аудитории:

1. И Times, и Guardian используют достаточно релевантные для своей целевой ау­ дитории и валидные индикаторы, данные для которых получены из официальных и надежных источников. Однако экспертное сообщество отмечает, что процесс обучения достаточно сложен, чтобы его качество можно было оценить данными опросов студентов и такими индикаторами, как соотношение преподавателей и студентов и затраты на инфраструктуру. Оценка качества деятельности вуза по результатам трудоустройства студентов также является спорной – это скорее от­ ражение экономической ситуации в стране, хотя представленные данные могут указывать на взаимодействие вуза с реальными секторами экономики. Методоло­ гия Forbes использует спорные индикаторы (например, количество выпускников в Who is Who, зарплата выпускников после окончания и т.д.). В основном мето­ дология Forbes пользуется данными из неофициальных источников, что снижает надежность ее индикаторов по сравнению с индикаторами, используемыми Times и Guardian.

2. Рассмотренные методологии одномерного ранжирования, ставя перед собой цель предоставить полезную информацию для абитуриентов, не учитывают разно­ образия деятельности вузов. Как уже было отмечено, методологии ориентированы на оценку качества деятельности вуза в области преподавания и в области науч­ ных исследований (Times), успешность выпускников после окончания колледжа (Forbes). Такие аспекты деятельности вузов, как международная направленность, трансфер знаний, взаимодействие вуза с регионом, никак не учтены в представ­ ленных методологиях рейтингования.

3. Методологии Times и Guardian используют сбалансированный набор индика­ торов результатов деятельности вузов и индикаторов ресурсов при оценке деятель­ ности вузов. Методология Forbes ориентируется только на индикаторы результа­ тов деятельности вуза.

4. Guardian, Times и Forbes достаточно подробно описывают свои методологии, но эти описания не раскрывают в полной мере процедуры агрегирования инди­ каторов, не содержат достаточной информации по шкалированию индикаторов (Guardian) или не содержат ее вообще (Times, Forbes). Методология Guardian Specialist не описана, так как подразумевается, что она аналогична методологии Guardian. Расчет некоторых индикаторов (value/added, соотношение прогнози­ руемой доли студентов, закончивших четырехлетний курс обучения и доли сту­ дентов, фактически закончивших четырехлетний курс обучения, прогнозируемая доля студентов, перешедших на второй курс) не приводится. То есть данные мето­ дологии не являются полностью транспарентными.

вестниК международныХ орГанизаЦий. 2012. № 1 (36) 5. Методологии Times, Guardian и Forbes содержат достаточно полную информа­ цию о весах всех индикаторов. Концепция методологий рейтингов не менялась:

Guardian последовательно делает упор на оценку качества преподавания в вузах, а Times оценивает как преподавание, так и условия обучения в вузах. Методология Forbes относительно нова (2008 г.) и также не подвергалась изменениям. Основные изменения методологий Times и Guardian связаны с изменением источников сбора данных: так, данные по качеству образования до 2005 г. брались из агентств по обе­ спечению качества образования Англии, Шотландии и Уэльса. Начиная с 2005 г.

используются данные Национального опроса студентов. Если агентства обеспе­ чения качества образования, оценивая качество преподавания в вузе, выставляли вузам только один балл, то в рамках Национального опроса студенты отвечают на семь вопросов о качестве преподавания и обучения в вузе, соответственно рейтин­ говые методологии изменили набор параметров, используемых при оценке каче­ ства преподавания.

6. Guardian и Times берут свои данные из официальных источников, занимающих­ ся сбором статистических данных по высшему образованию и опросом студентов, находящихся в открытом доступе. Forbes пользуется данными как из официальных (Министерство образования США), так и из неофициальных источников (сайты Ratemyprofessor.com;

Payscale.com). Проводя кабинетное исследование, сложно оце­ нить корректность процедур при сборе этих данных.

7. Базовые методологии и набор индикаторов рейтингов Times и Forbes остаются постоянными на всем протяжении их существования. Guardian вначале использо­ вал индикаторы по оценке качества научной деятельности вузов, но затем от них отказался – создатели рейтинга посчитали эту информацию нерелевантной для студентов.

8. Рейтинги Guardian и Forbes находятся в открытом доступе в течение всего года, а с рейтингом Times можно ознакомиться только по платной подписке.

9. Методологии содержат достаточно полное описание методов и индикаторов, используемых для рейтингования.

10. Методологии построения ранжирования Guardian и Times не используют комплексные индикаторы, поэтому они не приводят информацию по баллам для каждого отдельного индикатора при расчете комплексного индикатора. Методо­ логия рейтинга Forbes содержит комплексные индикаторы, она приводит веса от­ дельных индикаторов, но баллы для каждого отдельного индикатора в описании методологии не раскрываются.

11. Используя уже заданные веса индикаторов, рассматриваемые методологии на­ ционального одномерного ранжирования не предоставляют возможности выбора релевантности весов для потребителя, но при этом методологии Times и Guardian предоставляют возможность ранжирования университетов в зависимости от вы­ бранного пользователем индикатора;

методология Forbes такой возможности не предоставляет.

Анализируя транспарентность и оперативность методологий, можно выделить стандартные способы работы с потребителями результатов этих методологий: исполь­ зование форума для обсуждения результатов ранжирования, присутствие контактных данных для связи с составителями рейтинга. Однако сложно выделить какой­либо осо­ бый механизм, который способствовал бы оперативному реагированию на нужды и за­ просы высших учебных заведений и других заинтересованных сторон.

международный опыт ранжирования в высшем образовании Следует отметить, что методологии Guardian и Times имеют достаточно высокую репутацию среди академического сообщества, создатели рейтингов активно взаимо­ действуют как с самими университетами, так и с государственными организациями, занимающимися оценкой деятельности университетов. Методология Forbes в большей степени критикуется академическим сообществом за использование нерелевантных индикаторов и неофициальных источников данных. Данная методология предлагает свою концепцию оценки деятельности вузов и собственный набор индикаторов, кото­ рый соответствует нуждам определенной группы абитуриентов.

Соответствие проанализированных методологий национальных рейтингов агре­ гированным критериям IREG представлено на рис. 3.

Национальные рейтинги Надежность способа Times сбора данных Guardian Guardian Sp Forbes Надежность Транспарентность и релевантность рейтинга 1 2 3 2 показателей Интерактивность Рис. 3. Соответствие группы национальных методологий одномерного ранжирования (рейтингов) пяти агрегированным критериям IREG Среди безусловных положительных сторон методологий национальных рейтингов важно отметить следующие:

– использование официальных статистических данных (для Forbes, Guardian и Times) и данных опросов, проводимых под эгидой государственных органов, со­ бирающих статистику высшего образования и проводящих оценку деятельности вузов (для Guardian и Times);

– включение в методологию дополнительной информации (о вузах, программах обучения, вступительных требованиях, стоимости обучения), полезной для аби­ туриентов;

– достаточно подробное описание методологии и разъяснения по применяемым индикаторам оценки деятельности вузов;

– сбалансированное использование качественных и количественных индикато­ ров (для Guardian, Forbes и Times), индикаторов ресурсов и индикаторов результа­ тов (для Guardian и Times).

вестниК международныХ орГанизаЦий. 2012. № 1 (36) К заметным недостаткам методологий национальных рейтингов относятся:

– недостаточный учет разнообразия вузов Великобритании и США;

– научно не обоснованное приписывание весов индикаторам и их непостоянство в течение времени (для методологии Guardian);

– недостаточно описанные процедуры агрегирования индикаторов;

– использование данных неофициальных опросов (для Forbes).

Следует также отметить, что на первых местах рейтинговых таблиц Guardian и Times год за годом оказываются классические британские университеты: Оксфорд, Кембридж, колледжи Лондонского университета, что не является открытием для аби­ туриентов (табл. 7а).

Таблица 7а. Результаты рейтингов Times и Guardian в 2012 г.

Рейтинг Times 2012 г. Рейтинг Guardian 2012 г.

1. University of Oxford 1. University of Cambridge 2. University of Cambridge 2. University of Oxford 3. London School of Economics and Political 3. St. Andrews University Science 4. London School of Economics and Political 4. Imperial College of Science, Technology and Science Medicine 5. University College London 5. University College London Как видно, лидерами рейтинга предсказуемо являются классические британские университеты.

Результаты рейтинга Forbes более интересные: в топ­лист попадают не классиче­ ские американские университеты из Ivy League, а колледжи, предлагающие оптималь­ ное соотношение «цена / качество обучения». Такой подход может, безусловно, заинте­ ресовать некоторых абитуриентов (табл. 7б).

Таблица 7б. Результаты рейтингов Forbes и US News в 2012 г.

Рейтинг Forbes 2012 г. Рейтинг US News 2012 г.

1. Williams College 1. Harvard University 2. Princeton University 2. Princeton University 3. United States Military Academy 3. Yale University 4. Amherst College 4. Columbia University 5. Stanford University 5. California Institute of Technology Национальные и региональные методологии многомерного ранжирования Ранжирования CHE и U­Multirank в своем подходе к оценке высших учебных заведений основываются на единых принципах, которые можно описать термином «многомерное ранжирование». Многомерное ранжирование производится с помощью сравнения учебных заведений только относительно определенных выделенных крите­ риев. При этом оценки, полученные по всем критериям, не суммируются для получе­ ния общего балла. Также разработчики таких методологий ранжирования стараются международный опыт ранжирования в высшем образовании не разделять критерии по значимости, т.е. им не приписываются веса. Сравнение про­ изводится либо по определенным предметам или предметным областям в соответствии с выделенными критериями, либо между университетами, в соответствии с выделен­ ными сферами деятельности. Таким образом, разработчики многомерных ранжирова­ ний избегают сравнения всей сложной системы учреждений высшего образования с другими такими же сложными системами.

Одномерные ранжирования Многомерные ранжирования (рейтинги) Сравнение учебного Сравнение учебных заведений только заведения на основании по определенным предметам или комплексного индикатора, предметным областям, или по зачастую с присвоением отдельным индикаторам, без расчета весов для выделения более комплексного индикатора оценки.

важных элементов оценки: Также индикаторы рассматриваются как равнозначные, т.е. им не Y = X1 * k1+X2 * k2… X k, n n приписываются веса:

где Y – общая оценка вуза, Y1 = X1, k – вес, X – оценка одного Y2 = X2, из элементов деятельности Y = X, вуза n n где Y – оценка деятельности вуза по n одному из критериев, X – оценка одного из элементов деятельности вуза Рис. 4. Характеристики одномерного и многомерного подхода к оценке деятельности вузов Многомерные национальные ранжирования CHE Основу всех ранжирований, проводимых немецким Центром высшего образо­ вания (CHE), составляют разработанные центром принципы, значительным образом отличающие ранжирования CHE от многих глобальных и национальных рейтингов, являющихся одномерными ранжированиями. Во­первых, Центр высшего образования не производит ранжирование университетов в целом – оцениваются только отдельные предметы или предметные области. По мнению разработчиков ранжирований CHE, сравнение учебного заведения в целом не позволяет показать уровень развития от­ дельных программ и факультетов, который внутри университетов может быть неодно­ родным. Так, основываясь на собранных данных, разработчики пришли к выводу, что только 6,1% всех университетов, включенных в ранжирование, имеют высокую оценку по всем четырем выделенным предметным областям, тогда как основная часть уни­ верситетов имеет только одну хорошо развитую область преподавания (рис. 5). Тем не менее эта одна область может быть высокоразвитой и представлять интерес для опреде­ ленной группы студентов.

вестниК международныХ орГанизаЦий. 2012. № 1 (36) Количество предметных областей высокого уровня в учебных заведениях Четыре предметные Три предметные области, области, 6,1% вузов 6,1% вузов Две предметные Одна предметная области, область, 24,2% вузов 63,6% вузов Источник: презентация Ranking – New Developments in Europe, Gero Federkeil CHE – Centre for Higher Education Development, The 3rd International Symposium on University Rankings Leiden, 6– February 2009.

Рис. 5. Распределение предметных областей немецких университетов по уровню развития Во­вторых, разработчики CHE не опираются на один комплексный индикатор, охватывающий деятельность университета в целом – при ранжировании использует­ ся несколько индикаторов, позволяющих осуществить многомерную оценку учебного заведения. Индикаторы оценки отражают преподавательский потенциал учебного за­ ведения, инфраструктуру, интернационализацию, учет учебным заведением потребно­ стей рынка труда, развитость исследовательской деятельности и т.д., но в один общий индикатор эти показатели не складываются. Возможность многомерной оценки учеб­ ного заведения, не ведущей к сравнению одного университета с другим на основании одного общего оценочного индикатора, является отличительной чертой многомерных ранжирований.

В­третьих, университет, включенный в ранжирование, по одному из оценочных индикаторов может оказаться в одной из групп: «верхней», «средней» или «нижней».

Группы отражают степень оценки по отдельному индикатору: от наиболее высокой к наиболее низкой. При этом внутри каждой из групп ранжирование не производится, а университеты располагаются внутри группы по отношению друг к другу в алфавит­ ном порядке. Данная форма группировки оценок производится, в частности, для того, чтобы избежать присвоения университетам со схожей оценкой разных мест в ранжи­ ровании.

Центр высшего образования предлагает четыре ранжирования, отличающихся, прежде всего, целевой аудиторией (категорией пользователей) и, следовательно, имею­ щих разный набор индикаторов (рис. 6).

1) Ранжирование университетов предназначено, в первую очередь, для будущих и настоящих студентов, а также университетов. В данном ранжировании принимают участие университеты Германии, но за последние несколько лет в систему также были включены университеты Австрии, Швейцарии, Нидерландов, Бельгии, а также уни­ верситеты Италии и Венгрии, где преподавание ведется на немецком языке.

международный опыт ранжирования в высшем образовании При ранжировании университетов используется 100 индикаторов, которые орга­ низованы в девять групп. При этом для университетов, специализирующихся в при­ кладных науках, используется измененный набор индикаторов. Как было отмечено выше, в соответствии с принципами CHE не производится сравнение и ранжирование университета в целом, а только по отдельным предметам или предметным областям, что позволяет выявить сильные и слабые стороны деятельности университетов.

Семьдесят процентов индикаторов основываются на оценке учебных заведений студентами (поддержка/консультации преподавателя, качество библиотеки и компью­ терных услуг, спортивные секции);

10–30% индикаторов составляет количественная оценка «фактов»;

5–10% индикаторов – оценка, осуществляемая преподавательским составом (репутация преподавателей и исследователей других вузов). Также использу­ ются данные о подготовке выпускников для выхода на рынок труда и данные об уровне развитости исследований в университетах.

2) Ранжирование лучших программ для магистров и докторов (PhD) призвано по­ мочь в выборе программы обучения магистерского и докторского уровня. Ранжирова­ ние программ производится только по следующим предметным областям: биология, химия, математика, физика, политические науки, экономика, психология.

Для включения в ранжирование высшие учебные заведения проходят специаль­ ный отбор. Университеты должны набрать как минимум две «звезды», одна из которых получена за требуемое количество публикаций или цитирований (не менее 3000 публи­ каций по данным Web of Science). Остальные отборочные критерии, по которым учеб­ ное заведение также может получить звезду, включают: наличие выдающихся ученых (премия Нобеля, премия Кёрбера за европейскую науку, премия Филдса);

количество проектов по программе Мари Кюри, студенческая мобильность;

преподавательская мобильность;

участие в программе «Эразмус Мундус», получение грантов от Европей­ ского исследовательского совета. Оценка отобранных высших учебных заведений про­ изводится на основании опроса образовательных учреждений и опроса студентов, обу­ чающихся на докторских и магистерских программах.

3) Ранжирование исследовательских программ оценивает научно­исследователь­ скую деятельность университетов Германии. Собираемая информация предназначена для исследователей и образовательных учреждений, ведущих исследовательскую дея­ тельность. Ранжирование производится по 17 предметным областям при помощи двух общих групп индикаторов: относительных и абсолютных. Использование двух групп индикаторов позволяет оценивать исследовательскую деятельность учебных заведений как в общем объеме, так и с точки зрения ее эффективности. В арсенале исследовате­ лей четыре оценочных индикатора:

1) внешнее финансирование за три года;

2) публикации – библиометрический показатель за три года (публикации в на­ циональных и международных журналах);

3) изобретения / патенты;

4) присуждение степеней (за шесть семестров, предшествующих сбору данных).

Все полученные данные проходят тщательную проверку на достоверность и пол­ ноту при помощи сравнения с данными, размещенными во внешних источниках (дан­ ные Немецкого научно­исследовательского сообщества). Университеты также имеют возможность проверить и при необходимости скорректировать информацию, перед тем как будут произведены расчеты и составлено ранжирование.

Полученные данные предоставляются по предметным областям с распределением результатов на три группы: «верхняя», «средняя», «нижняя». В верхнюю группу попада­ ют университеты, соответствующие более 50% требований.

вестниК международныХ орГанизаЦий. 2012. № 1 (36) 4) Рейтинг учебных заведений по уровню подготовки выпускников к рынку труда рас­ сматривает профессионально ориентированные бакалавриаты. Целью рейтинга являет­ ся, прежде всего, оценка степени включения в образование программ обучения практи­ ческим знаниям и навыкам использования современных технологий, что в настоящее время является одним из основных факторов успешного трудоустройства выпускников.

Данные ранжирования предназначаются для информирования потенциальных студен­ тов об имеющихся программах обучения, а также для сравнительной оценки программ работодателями и самими учебными заведениями. В оценку программ бакалавриата не включается оценка преподавания и академического знания. Четыре индикатора, ис­ пользуемые для ранжирования, включают оценку практико­ориентированных навыков, социальных компетенций, практического опыта, приобретенного студентами, а также уровень интернационализации учебного заведения. На данный момент были оценены и проранжированы программы в таких предметных областях, как бизнес, гражданская инженерия, инженерия, бизнес­информатика, бизнес­инженерия, информатика.

Все учебные заведения ранжируются в соответствии с количеством полученных «звезд» (от одной до пяти). Данные представляются в виде таблицы, где учебные заве­ дения проранжированы относительно количества полученных звезд. Также приводятся оценки по каждому из индикаторов в отдельности. Результатом сравнения профессио­ нально­ориентированных бакалавриатов является рейтинг (одномерное ранжирование).

ранжирование ранжирование ранжирование рейтинг учебных университетов исследовательских программ для заведений по уровню программ магистров подготовки и докторов выпускников к рынку труда Целевая группа: Целевая группа: Целевая группа: Целевая группа:

студенты исследователи, соискатели студенты программ и университеты университеты, магистерской и профессионального ведущие исследова- докторской степени бакалавриата, работо Индикаторы: тельскую датели, 1. обучение и деятельность Индикаторы: учебные заведения преподавание 1. библиометри- 2. инфраструктура Индикаторы: ческий Индикаторы:

3. интернацио- 1. внешнее критерий отбора 1. практико нализация финансирование 2. наличие выдающихся ориентиро- 4. ориентация на за три года. ученых (лауреаты ванные навыки рынок труда 2. публикации нобелевской премии, 2. соцальные компе 5. репутационная 3. изобретения/ премии Филдса, тенции оценка патенты премии Кёрбера) 3. практический опыт вуза 4. присуждение 3. Количество проектов работы 6. исследова- степеней по программе мари 4. интернацио- тельская Кюри нализация деятельность 4. студенческая 7. Город и универ- мобильность ситет 5. преподава- тельская мобильность 6. участие в программе «Эразмус мундус» 7. получение грантов европейского совета по исследованиям Рис. 6. Ранжирования CHE: дифференциация целевых групп и наборов индикаторов международный опыт ранжирования в высшем образовании Обобщая, отметим, что методология ранжирования университетов использует наиболее разнообразную информацию, позволяющую дать всестороннюю оценку дея­ тельности университета. Методологии ранжирования исследовательских программ и ранжирование программ для магистров и докторов, так же как и рейтинг уровня подго­ товки выпускников к рынку труда, являются в большей степени специализированны­ ми и используют индикаторы, выявляющие ценность образовательных программ для конкретных групп пользователей.

Общая характеристика качества национальных многомерных ранжирований CHE Сбор данных. Семьдесят процентов всех данных, используемых в ранжировании CHE, собираются с помощью онлайн­анкетирования и материалов самооценки, что повышает риск фальсификации данных. Тем не менее степень соответствия требова­ ниям надежности и достоверности в этих методологиях является достаточно высокой в связи с тем, что все полученные данные проходят процедуру аудита на достоверность и надежность и пересылаются учебным заведениям для окончательного подтверждения.

Также, поскольку производится оценка не всего учебного заведения, а предметной об­ ласти, данные самооценки оказываются более открытыми для внешней оценки спе­ циалистами в этой области, что помогает в контроле над фальсификациями данных.

В случае подозрения в фальсификации, учебное заведение исключается из ранжирова­ ния/рейтингования.

Надежность и релевантность индикаторов. Индикаторы репутационной оценки подвергаются все большей критике, в ответ на которую разработчики ранжирований пересматривают индикаторы и замещают индикаторы репутационной оценки количе­ ственными индикаторами «фактов». Методология ранжирования обновляется посто­ янно: увеличивается использование количественных данных, снижается использова­ ние оценочных и репутационных данных.

Интерактивность и транспарентность. Ранжирования данных методологий в высокой степень интерактивны. Потребителям предоставляется возможность выбора одного индикатора или группы индикаторов для сравнения университетов. Информа­ ция о методах сбора данных, расчете индикаторов и оценке учебных заведений нахо­ дится в открытом доступе.

Сравнение многомерных ранжирований: CHE и U-Multirank Ранжирование U-Multirank, разрабатываемое по инициативе Европейской комис­ сии, ставит перед собой цель создать глобальное ранжирование, которое также будет организовано по принципу многоуровневого сравнения. Ожидается, что ранжирование будет отражать различные стороны деятельности высших учебных заведений, в частно­ сти, образование, исследовательскую деятельность, инновации, уровень интернацио­ нализации, выполнение учебным заведением третьей миссии и подготовку студентов к трудоустройству. Разработчики ранжирования U-Multirank в качестве особенности своего подхода отмечают усиленное внимание, уделяемое качеству преподавания и об­ щественной активности учебных заведений. Результатом оценки U-Multirank предпо­ лагаются два вида ранжирований: ранжирование учебных заведений и ранжирование по предметным областям. Ранжирование учебных заведений планируется производить на основании сравнения вузов по одной из сфер деятельности – исследованиям, пре­ подаванию, интернационализации, передаче знаний и др.

вестниК международныХ орГанизаЦий. 2012. № 1 (36) Применяемые при ранжировании U-Multirank индикаторы основаны на индика­ торах ранжирования CHE. Для расчета библиометрических показателей используют­ ся данные из источников Scopus и Thomson Reuters. Разработчики признают, что эти базы данных не отражают в полной мере результаты исследований в гуманитарных областях, однако на данный момент они не предлагают других вариантов выполнения таких подсчетов. Основным способом сбора информации для ранжирования будет являться самооценка университетов. Третьим типом источников данных для ранжи­ рований станет опрос студентов. В отличие от индикаторов CHE, U-Multirank не ис­ пользует индикаторы оценки репутации, которые рассматриваются как недостаточ­ но надежные, в особенности при сравнительной оценке учебных заведений разных стран. В этом отношении можно отметить, что, основываясь во многом на подходе и организации работы, разработанной CHE, U-Multirank ставит перед собой задачу по­ вышения надежности и релевантности индикаторов. Также необходимо отметить, что географически целевой охват ранжирования U-Multirank намного шире ранжирова­ ний CHE, который специализируется на ранжировании немецких и немецкоязычных университетов. Таким образом, ранжированию U-Multirank необходимо приложить особые усилия при разработке методов выявления и оценки сильных и слабых сторон университетов в различных странах мира.

Во многом работа по созданию методологии и организации сбора данных и проце­ дуры ранжирования U-Multirank находится в стадии разработки, и не вся информация доступна для внешних пользователей. Тем не менее можно предварительно оценить потенциал ранжирования U-Multirank как в высокой степени соответствующий требо­ ваниям IREG (рис. 7).

Многомерные ранжирования Надежность способа сбора данных CHE University U-Multirank Надежность Транспарентность и релевантность рейтинга 3 2 1 1 2 показателей Интерактивность Рис. 7. Соответствие группы методологий многомерных ранжирований пяти агрегированным критериям IREG международный опыт ранжирования в высшем образовании Региональные и национальные методологии классификации высших учебных заведений Методология U­map и методология Carnegie представляют собой примеры класси­ фикации вузов на региональном (Европа – U­map) и национальном (США – Carnegie) уровне. Если классификация европейских вузов U­map находится в процессе разработ­ ки (проект инициирован Европейской комиссией в 2005 г.), то классификация Carnegie является завершенной (первая классификация была опубликована в 1973 г.).

Как отмечалось ранее, основной целью обеих методологий является классифика­ ция, а не оценка деятельности учебных заведений, на основе эмпирических данных.

Так как обе классификации описывают вузы по различным направлениям, целе­ вая аудитория этих методологий является достаточно широкой: это может быть и ака­ демическое сообщество, и абитуриенты, и студенты, и сами вузы, и лица, принимаю­ щие решения в различных сферах политики.

Но если классификация европейских вузов U­map сознательно представляет свои результаты таким образом, что их могут использовать самые разнообразные группы пользователей, то классификация Carnegie в большей степени ориентирована на ис­ следователей, занимающихся проблемами высшего образования в США, хотя методо­ логия и результаты классификации доступны и для широкой аудитории.

Обе методологии создавались при поддержке университетов и независимых иссле­ довательских центров: Карнеги (классификация Carnegie) и европейского Центра по ис­ следованию политики в области высшего образования (классификация U­map). И клас­ сификация Carnegie, и U­map не публикуют результаты ежегодно: во­первых, в системе образования так часто не происходят изменения, которые необходимо отражать в клас­ сификации, во­вторых, обе методологии работают с большим объемом данных, которые сложно обработать за короткий срок. Carnegie и U­map не ограничивают вузы в участии в классификации. Они преследуют обратную цель: описать как можно больше учебных заведений. Но если классификация Carnegie эту задачу выполнила и описала 4500 вузов США, предоставляющих свои данные в систему Национального центра статистики по образованию (NCES), то классификация U­map, ставя перед собой амбициозную задачу по описанию более 3 тыс. европейских вузов и колледжей, официально аккредитован­ ных на национальном уровне, описала только 67 европейских учебных заведений.

Несмотря на то что обе классификации ставят перед собой задачу продемонстри­ ровать разнообразие высших учебных заведений, их подходы отличаются.

Классификация Carnegie в описании вузов опирается на следующие характери­ стики вузов:

– контингент обучающихся в вузе студентов (доля студентов­очников, студентов, обучающихся дистанционно, студентов программ бакалавриата, магистрантов, аспирантов);

– предлагаемые программы обучения по уровням (бакалавриат, магистратура, аспирантура) и профилю (обучение по широкому спектру специальностей или узкоспециализированное);

– местоположение вуза и его инфраструктура (городской или сельский вуз, на­ личие общежития).

Используя статистические данные Министерства образования США, методоло­ гия Carnegie формирует шесть параллельных классификаций вузов:

– по предлагаемым программам высшего образования;

– предлагаемым программам постдипломного образования;

вестниК международныХ орГанизаЦий. 2012. № 1 (36) – контингенту поступающих абитуриентов;

– контингенту обучающихся студентов на программах высшего образования;

– размеру и инфраструктуре вузов.

Помимо перечисленных классификаций, существует также базовая классифи­ кация, разработанная специалистами Carnegie в 70­х годах прошлого века, которая учитывает разнообразные характеристики вузов: форму собственности, предлагаемые программы обучения (высшее образование, постдипломное и т.д.) и размер учебного заведения. В 2005 г. вузам было предложено добровольное участие в классификации по включенности вузов в региональное сообщество (интеграции в жизнедеятельность региона).

В рамках U­map классификация вузов происходит на основе различных направле­ ний их деятельности:

– обучение и преподавание;

– профиль обучающихся в вузе студентов;

– исследовательская деятельность;

– взаимодействие с регионом;

– международная деятельность;

– трансфер знаний.

В общей сложности U­map использует 25 индикаторов по шести направлениям для описания деятельности вузов.

Для классификации деятельности вузов как Carnegie, так и U­map используют ко­ личественные индикаторы (например, количество программ бакалавриата, количество студентов, обучающихся на очном отделении, доля преподавателей с докторской сте­ пенью и т.д.). Исключением является классификация Carnegie по включенности вузов в сообщество, где вузы в самоотчетах описывают свою деятельность по взаимодействию с регионом, а эксперты определяют тип данного взаимодействия: (взаимодействие с регионом через учебную деятельность, через научные и бизнес­партнерства и инфор­ мационную деятельность, взаимодействие с регионом как через учебную деятельность, так и через партнерства).

Как видно из представленной информации, более современная методология U­map классифицирует вузы не только по профилю студентов и программам обучения и инфра­ структурным признакам, как это делает Carnegie, но и по таким актуальным аспектам де­ ятельности вузов, как международная активность и трансфер знаний. Создатели Carnegie осознают, что на данный момент ими учитываются не все характеристики вузов, поэтому они предложили дополнительную классификацию по включенности вузов в сообщество.

В рамках проведения этой классификации специалисты Carnegie и внешние эксперты анализировали отчетные документы вузов по их взаимодействию с местным сообще­ ством. Следует отметить, что одной из проблем этой классификации оказалось то, что не все вузы смогли предоставить достаточно информации для экспертного анализа.

Методологии применяют различные подходы к сбору данных: национальная клас­ сификация Carnegie использует статистические данные Министерства образования США, не испытывая серьезных проблем с получением информации. Для построения классификации U­map данные собираются из европейского статистического агентства, национальных статистических агентств и вузов – участников проекта. При этом созда­ тели U­map отмечают, что не все данные легкодоступны. Этот опыт показывает, что со­ ставление национальных классификаций на основе большого количества индикаторов требует серьезного финансирования, желательно, создания единых региональных стати­ стических агентств и привлечения широкого круга заинтересованных специалистов.

международный опыт ранжирования в высшем образовании Обе классификации по­разному подходят к представлению результатов данных:

если классификация U­map содержит элементы бенчмаркинга и позволяет сравнивать вузы между собой, то классификация Carnegie представляет только алфавитные списки вузов, входящих в ту или иную группу.

«Изюминкой» методологии U­map является визуализация результатов деятельно­ сти вузов: представление вузов в виде диаграмм солнечных лучей, где разным цветом показаны различные направления деятельности вуза. Такая визуализация позволяет сравнивать учебные заведения между собой, изучать отдельные профайлы вузов, выби­ рать направления деятельности и сравнивать по этому направлению различные вузы.

Классификация Carnegie такой возможности не представляет.

Анализ соответствия данных методологии критериям IREG учитывает ограниче­ ния аудита, его ориентированность на оценку качества методологий ранжирования, а не классификаций. Обе классификации не оценивают деятельность учебных заведений (хотя U­map использует элементы сравнения деятельности вузов), не вводят весов ин­ дикаторов и не выводят общий балл оценки деятельности вуза. При этом:

1. Обе классификации четко определяют свои целевые группы, считая, что опи­ сание разнообразных характеристик вузов будет, прежде всего, полезно академи­ ческому сообществу.

2. Индикаторы, используемые в классификациях, являются релевантными и ва­ лидными: в выборе индикаторов для классификации Carnegie участвовали специ­ алисты независимого исследовательского центра Карнеги и эксперты вузов США;

создатели U­map консультировались с широким кругом заинтересованных лиц при выборе индикаторов: представителями вузов, студентами, исследователями и научными сотрудниками, представителями бизнеса и политиками. Такой подход, с одной стороны, позволяет проверить индикаторы на валидность, релевантность и надежность, а с другой – привлечь различных стейкхолдеров к оценке деятель­ ности вузов. При этом Carnegie в большей степени ориентирован на работу с ака­ демическим сообществом и представителями вузов, а U­map привлекает более широкие слои заинтересованных лиц.

3. Классификации отражают разнообразие деятельности национальных/регио­ нальных учебных заведений. Однако классификация Carnegie в меньшей степени, чем U­map ориентирована на описание актуальных для вуза функций: взаимодей­ ствия с регионами, международной деятельности и деятельности по обмену зна­ ниями.

4. Обе классификации содержат подробное описание методологии и получают данные из авторитетных государственных источников и вузов.

5. Изменения в классификации Carnegie были связаны с изменениями в системе образования США (появление новых специальностей, появление новых функций вузов), которые было необходимо отразить при описании вузов. Классификация U­map находится на начальном этапе разработки, поэтому изменений здесь пока не происходило.

Обе классификации доступны для пользователей и позволяют им выбрать те пара­ метры деятельности вузов, которые их интересуют. Классификация Carnegie представ­ ляет свои результаты в менее визуализированной форме: алфавитные списки вузов по выбранному параметру, классификация U­map представляет параметры деятельности вуза в виде диаграммы солнечных лучей.

Создатели методологии Carnegie выработали эффективный механизм реагирования на запросы вузов за счет постоянного взаимодействия с академическим сообществом вестниК международныХ орГанизаЦий. 2012. № 1 (36) и вузами, проведения исследовательской работы в области высшего образования. Соз­ датели классификация U­map с самого начала проекта привлекли к участию основных стейкхолдеров: представителей вузов, академического сообщества, бизнеса и студентов.

Можно выделить несколько положительных сторон методологий построения классификаций:

– учет разнообразия деятельности вузов;

– привлечение академического и экспертного сообщества к выбору индикаторов описания деятельности вузов;

– использование количественных индикаторов, получаемых из официальных ис­ точников;

– визуализация результатов деятельности вузов, удобная для пользователя (U­map).

К основным недостаткам методологий можно отнести их некоторые особенности, в частности:

– большое количество индикаторов усложняет работу с классификациями для неподготовленных пользователей;

– классификация Carnegie не учитывает все аспекты деятельности вузов (напри­ мер, международный, трансфер знаний);

– классификация U­map находится в стадии разработки, но уже испытывает сложности с наличием необходимых данных для описания деятельности вузов.

В целом следует отметить, что обе классификации постоянно совершенствуются, предоставляют актуальную информацию как для академического сообщества, так и для более широкого круга пользователей. Их соответствие критериям IREG, несмотря на существенные ограничения, является высоким (рис. 8).

Классификации Надежность способа сбора данных Carnegie U-Map Надежность Транспарентность и релевантность рейтинга 3 2 1 1 2 показателей Интерактивность Рис. 8. Соответствие группы методологий национальных и региональных классификаций пяти агрегированным критериям IREG международный опыт ранжирования в высшем образовании Сравнительный анализ специализированных рейтингов:

Economist, Financial Times, Business Week Все рейтинги программ MBA ставят для себя цель предоставления информации о наилучших программах MBA потенциальным студентам, а также работодателям и спе­ циалистам по набору персонала в бизнес­отраслях. Все проанализированные рейтинги проводят ранжирование не более 120–130 лучших программ, на основании информа­ ции о которых составляется рейтинговая таблица сотни лучших программ.

Financial Times и Economist предоставляют рейтинговые таблицы по программам MBA во всем мире;

Business Week специализируется на программах, предлагаемых в США, хотя в недавний рейтинг были включены 18 программ MBA других стран. Рей­ тинги программ MBA направлены на предоставление информации о том, какие про­ граммы лучше всего помогут потенциальным студентам добиться карьерного роста, повышения заработной платы, трудоустроиться в крупные международные компании.

В проанализированных рейтингах бизнес­школ отчетливо видно доминирова­ ние «западных» школ: 53 школы из 100 в рейтинге Financial Times – это школы, рас­ положенные в США, более 30 расположены в различных странах Европы (из них школ – в Великобритании), и только 9 школ – это школы, находящиеся в Азии, Аф­ рике, Центральной Америке. Журнал Economist также предлагает рейтинг 100 лучших бизнес­школ, 48 из которых – это школы США, 44 расположены в различных странах Европы, а также в Канаде и Австралии (из них 16 – в Великобритании), и 8 школ в странах Азии. Данная картина отражает доминирование американских и британских школ и относительно меньшую представленнось бизнес­программ в других странах мира, что не удовлетворяет в полной мере критерию разнообразия принципов IREG.

Индикаторы, используемые для ранжирования программ MBA, отражают спе­ циализированный характер бизнес­школ. Большая часть индикаторов, используемых в рейтингах, служит для оценки новых возможностей профессионального роста, кото­ рые должны появиться у студента после окончания MBA: индикатор журнала Economist «возможности для новой карьеры» составляет 35% веса в композитном индикаторе, ин­ дикатор «рост заработной платы» составляет 25% веса. Журнал Financial Times исполь­ зует индикатор «рост заработной платы», вес которого составляет 20%, и индикатор «карьерный рост» – вес 3%, «достижение целей» – вес 3%. Business Week концентри­ руется практически полностью на оценке удовлетворенности студентов программами MBA, что также включает индикаторы, оценивающие профессиональный рост и рост заработной платы у выпускников бизнес­школ.

Программы MBA в большей степени ориентированы на обучение бизнес­ администрированию, во многом основанном на опыте компаний США и Европы, и меньше внимания уделяют культурному или историческому контексту (третий крите­ рий принципов IREG). Таким образом, рассматриваемые рейтинги не выделяют задачу выявления культурного, исторического или языкового разнообразия бизнес­программ в качестве основной. Комплексный индикатор рейтинга Financial Times включает в себя индикатор интернационализации, вес которого составляет 20% в комплексном индикаторе оценки. В структуре данного индикатора учитываются следующие: «ко­ личество иностранных преподавателей» – 4%;

«количество иностранных студентов» – 4%;

«количество иностранных членов совета» – 2%;

«международная мобильность на основании данных о трудоустройстве выпускников до и после обучения по програм­ ме MBA» – 6%;

«международный опыт, средневзвешенный индикатор, включающий четыре индикатора, измеряющих интернационализацию программ» – 2%;

«количе­ вестниК международныХ орГанизаЦий. 2012. № 1 (36) ство языков, которыми студенты должны владеть по завершении программы» – 2%.

Economist использует ряд индикаторов для выявления уровня интернационализации бизнес­школ: индикатор «международная представленность» имеет 8,33% веса в ито­ говом индикаторе, «разнообразие программ международного обмена» – 6,25%. Однако необходимо отметить, что фактор разнообразия (культурного, экономического, языко­ вого) в обучении не является одним из основополагающих при составлении рейтингов.

Учитывается в основном только студенческая мобильность, но не разнообразие про­ грамм обучения в соответствии с культурным, языковым, историческим или экономи­ ческим контекстом среды. Так, например, рейтинг Business Week не выделяет культур­ ное, языковое разнообразие или интернационализацию в отдельный индикатор. Таким образом, критерий языкового, культурного и исторического разнообразия принципов IREG удовлетворяется рассматриваемыми методологиями не в полной мере.

Также среди анализируемых рейтингов заметна тенденция расширения перечня используемых индикаторов, например, таких как «количество женщин среди слуша­ телей программы», «количество женщин в преподавательском составе», «количество женщин в Совете вуза» (5% – Financial Times, 8,33% – Economist). Данные индикаторы отражают гендерное равенство, но не являются прямыми индикаторами качества об­ разования.

Индикатор «зарплата в течение трех лет после выпуска» (Economist – 25%, Financial Times – 20% веса) также не может в полной мере служить адекватным инструментом сравнения различных программ MBA, так как не во всех сферах производства зара­ ботная плата растет одинаково. Помимо этого, размер начальной заработной платы может значительно отличаться, в результате чего в более выгодном положении нахо­ дятся учебные заведения, где осуществляется подготовка студентов по направлениям инвестиционного бизнеса, так как в данной сфере компенсация выше, чем в других областях, особенно в начале карьеры. Financial Times предлагает корректировку раз­ мера зарплат с учетом особенности индустрий, с расчетом среднего за два­три года.

Economist и Business Week не приводят информации о поправках на индустрию.

Индикатор «оценка трудоустройства выпускников: процент выпускников, на­ шедших рабочее место в течение трех месяцев после окончания учебы», используемый Economist – 25% веса, Financial Times – 2% веса, также не всегда в полной мере в со­ стоянии отразить качество учебного заведения, так как перспективы трудоустройства выпускников во многом зависят от ситуации в экономике той или иной страны или в мире в целом. Также важно, что хотя при ранжировании зарплат выпускников разных учебных заведений производится конвертация денежных вознаграждений в валюту доллар США, трудно обеспечить сопоставимость размера компенсаций и их роста в различных странах, в которых работают выпускники бизнес­школ.

Рейтинги часто критикуют за постоянство бизнес­школ, занимающих из года в год в рейтинге первые места. С другой стороны, в рейтингах бизнес­программ наблюдают­ ся резкие перемещения школ по итоговой таблице. Так, например, в рейтинге Economist бизнес­школа Ashridge переместилась с 67­го на 35­е место за один год, тогда как шко­ ла Vlerick Leuven Gent Management School, тоже за один год, опустилась с 10­го на 47­е место. Подобные перемещения можно также наблюдать и в рейтинге Financial Times.

Причиной столь резких скачков является, скорее всего, не стремительное улучшение или ухудшение качества преподавания, а изменение весов используемых рейтингами индикаторов. Такая практика нарушает критерий постоянства методологии рейтинго­ вания принципов IREG.

Также необходимо отметить, что оценки, присуждаемые различным программам MBA, зачастую незначительно отличаются друг от друга. Тем не менее все програм­ международный опыт ранжирования в высшем образовании мы получают свое уникальное место в рейтинге. В связи с этим возникает вопрос: на­ сколько значительна разница программ, получающих приблизительно одинаковую оценку, но в рейтинговой таблице занимающих более высокие или более низкие места?

Рейтинг Financial Times попытался разрешить этот вопрос за счет объединения бизнес­ программ со схожими оценками в кластеры, внутри которых бизнес­программы год от года могут перемещаться относительно друг друга.

Рейтинги MBA в большей степени полагаются на качественную оценку программ различными группами респондентов: студентами, выпускниками, специалистами по подбору персонала. В этом отношении можно отметить, что специализированные рейтинги стараются включить разнообразные точки зрения в оценку программ MBA.

Однако особое значение при сборе качественной информации имеет процедура по­ лучения данных. Поскольку в большинстве случаев данные собираются с помощью онлайн­анкетирования (Economist, Financial Times), т.е. интервьюер не может контроли­ ровать качество предоставляемой информации, надежность получаемых данных нель­ зя в полной степени гарантировать. Исключением является методология сбора данных рейтингом Business Week, где, по информации самого рейтинга, качеству сбора данных уделяется особое значение, и данные, не прошедшие тест на достоверность, в расчетах не используются. Также значительный объем информации, используемой рейтингами Economist и Financial Times, предоставляется самими учебными заведениями, т.е. каче­ ство сбора данных также не контролируется в полной мере.

Результаты ранжирования предоставляются пользователям как в печатном, так и в электронном виде. Электронные версии рейтингов Financial Times и Business Week по­ зволяют пользователям в некоторой степени принимать самостоятельные решения от­ носительно релевантности весов и индикаторов: интерактивные таблицы Business Week позволяют изменять значение веса индикаторов;

рейтинговая таблица Financial Times позволяет убирать или добавлять индикаторы, на основе которых строится рейтинг, или смотреть ранжирование MBA­программ только по отдельным индикаторам.

Результаты ранжирования публикуются в печатном виде в журналах или на сайте, однако полная информация о том, как связаться с ответственным лицом или группой разработчиков рейтинга, не предоставляется – на сайте размещен только общий адрес редакции.

Обобщая, отметим, что цели, которые ставят перед собой специализированные рейтинги, значительным образом отличаются от целей общих глобальных или нацио­ нальных рейтингов (одномерных ранжирований). Рейтинги программ MBA не ставят перед собой цель наиболее полно учитывать культурный и исторический контекст, в которых находится та или иная бизнес­программа, или охватить как можно больше программ MBA, предлагаемых бизнес­школами, расположенными по всему миру.

Целью специализированных рейтингов является предоставление потенциальным сту­ дентам списка наиболее высокооцениваемых бизнес­школ, обучение в которых помо­ жет им продвинуться по карьерной лестнице.

Между тем можно отметить элементы, влияющие на качество результатов этих методологий построения рейтингов. Во­первых, это применяемая методология сбора данных. При снижении контроля над сбором данных возрастает вероятность недосто­ верности полученных данных. Так, у Financial Times и Economist уровень надежности качества данных ниже, чем у рейтинга Business Week, который проводит тщательный аудит полученных данных. Во­вторых, очень важна релевантность и валидность ис­ пользуемых индикаторов, а также приписываемых им весов. Как было показано выше, не все используемые в рейтингах индикаторы соответствуют этим требованиям. Сле­ дующим важным элементом, обеспечивающим качество рейтинга, является его транс­ вестниК международныХ орГанизаЦий. 2012. № 1 (36) парентность: полная публикация всех данных, объяснение полученных результатов и методики расчета. Немаловажным также является элемент возможности пользователя модифицировать рейтинг в соответствии со своими предпочтениями, что, как было показано выше, также осуществляется не всеми проанализированными рейтингами.

Степень соответствия методологий специализированных рейтингов агрегированным критериям качества IREG приведена на рис. 9.

Надежность способа сбора данных Business week Economist Financial Times Надежность Транспарентность и релевантность 3 2 1 1 2 3 рейтинга показателей Роль пользователя Рис. 9. Соответствие группы методологий специализированных рейтингов пяти агрегированным критериям IREG оценка соответствия качества методологий ранжирования международным критериям IREG С точки зрения соответствия международным критериям качества аудита ранжирова­ ний IREG, проведенный анализ различных зарубежных методологий ранжирования и классификаций вузов и других образовательных учреждений и программ позволил по­ лучить важные результаты с точки зрения целей настоящего исследования (включая определение лучших международных практик и наиболее качественных систем ранжи­ «Правила аудита рейтингов (IREG Ranking Audit Rules)» приняты на заседании исполнительно­ го комитета Наблюдательного совета Международной экспертной группы по определению рейтингов университетов IREG, прошедшего в рамках глобального форума «Рейтинг и оценка качества высшего образования – сильные и слабые стороны» (16–17 мая 2011 г. штаб­квартира ЮНЕСКО, Париж), совместно с ОЭСР и Всемирным банком. Аудит призван способствовать повышению прозрачности рейтингов и применяется в качестве инструмента определения их надежности, совершенствования качества академических рейтингов и повышения уровня доверия к ним. Более подробнее см. [1].

международный опыт ранжирования в высшем образовании рования, применяемых в настоящее время для оценки качества деятельности учебных заведений и программ подготовки).

Учитывая ограничения, связанные с использованием методологии аудита IREG5, было проведено сопоставление методологий с 20 критериями IREG.

Оценка и сравнение анализируемых методологий с критериями IREG осуществля­ лись в несколько этапов. Сначала все анализируемые методологии были соотнесены со всеми рекомендуемыми критериями, далее оценка была дифференцирована в соответ­ ствии с особенностями анализируемых методологий. На заключительном этапе было произведено сравнение методологий по пяти агрегированным индикаторам качества IREG внутри групп, сформировавшихся из числа анализируемых методологий. Такой подход позволил, с одной стороны, произвести формальное соотнесение выбранных для анализа методологий с рекомендациями IREG, а с другой – учесть разнообразие рассма­ триваемых систем оценки деятельности учебных заведений по отдельности и в целом6.

Формальное сопоставление методологий с 20 критериями IREG осуществлялось на основании полученной для каждой из них среднего значения балльной оценки по шкале от 0 до 3 (табл. 8). Однако в связи с тем, что не все анализируемые методологии изначально удовлетворяли критериям аудита IREG, общее значение баллов не позво­ лило объективно отразить качество анализируемых методологий и их разнообразие.

При формальном соотнесении оценка рассматриваемых методологий с точки зрения их соответствия всем критериям IREG оказалась несправедливой по отношению к методологиям построения классификаций и многомерных ранжирований, которые, в частности, не обладают композитными (агрегированными) индикаторами, наличие которых определяется Правилами аудита и Берлинскими принципами как результат ранжирования (критерий 8). Методологии построения классификаций и многомер­ ного ранжирования также не содержат информации о баллах для каждого отдельного индикатора, используемой для расчета места университета в рейтинге, потому что не предполагают построения таблиц лиг и приписывания университетам соответствую­ щих мест (критерий 13). Кроме того, как показал анализ, по тем же причинам не все При анализе сильных и слабых сторон методологий ранжирования принимались во внимание процедуры проведения аудита IREG, которые включают: запрос рейтингующей организации в IREG о проведении внешнего аудита;

подготовку рейтингующей организацией доклада на основе самоана­ лиза, выполненного в соответствии с предлагаемым вопросником;

взаимодействие международной экспертной команды с рейтингующей организацией по результатам самоанализа, и подготовку до­ клада международной команды экспертов с заключением о соответствии системы рейтингования ключевым Берлинским принципам.

Особенности проведения аудита определили необходимость адаптации методологии аудита IREG для целей настоящего сравнительного анализа, поскольку процедура:

– является инструментом официального признания качества существующих методологий ран­ жирования, используемым международной организацией;

– в большей степени ориентирована на системы ранжирования (имеющие результатом как та­ блицы лиг, так и группы университетов, объединенные по отдельным признакам) и не учитыва­ ет существующие классификации.

Кроме того, учитывались и другие ограничения, связанные с возможностью применения неа­ даптированной методологии аудита IREG, в том числе:

– ограниченность информации об анализируемых системах ранжирования, доступной в откры­ тых источниках. Методология аудита предполагает подготовку рейтингующей организацией до­ клада, отражающего параметры для самоанализа, заданные IREG.

Несмотря на ограничения, анализ сильных и слабых сторон существующих методологий ран­ жирования на основе критериев аудита IREG представлялся обоснованным, прежде всего, в связи с тем, что разрабатываемая методология рейтингования российских вузов должна будет пройти аудит IREG.

Более подробно о процедуре сопоставления методологий критериям IREG см. [1].

вестниК международныХ орГанизаЦий. 2012. № 1 (36) из них соответствуют критерию 18 о необходимости обеспечения качества процедур ранжирования.

Учитывая данные ограничения, была произведена дополнительная оценка, диф­ ференцированная с учетом особенностей анализируемых методологий, сопоставление которых опиралось не на 20, а на 15 критериев IREG (посредством анализа из 20 крите­ риев 15 были отобраны как общие для всех методологий). Соотнесение анализируемых методологий с учетом произведенных исключений позволило принять во внимание специфику методологий многомерного ранжирования и классификаций и их преи­ мущества перед методологиями построения одномерных ранжирований (рейтингов).

Произведенная корректировка повысила положение методологий многомерного ран­ жирования и классификаций на шкале в сторону более высоких значений, а следова­ тельно, в сторону большего соответствия критериям IREG (рис. 10).

mEAN 20* mEAN** U-multirank 2,5 U-multirank 2, U-map 2,5 U-map 2, CHE University 2,4 CHE University 2, CHE Excellence 2,35 CHE Research 2, THES 2,3 CHE Excellence 2, CHE Research 2,25 CHE Employment 2, QS 2,2 Carnegie 2, Financial Times 2,15 Leiden 2, CHE Employment 2,15 THES 2, Carnegie 2,15 QS 2, Leiden 2,1 Financial Times 2, Guardian 2,1 Guardian 2, Bloomberg BusinessWeek 2,1 Bloomberg BusinessWeek 2, Shanghai 2,05 Shanghai 2, Times 2,05 Times 2, The Economist 1,9 The Economist 2, Forbes 1,85 Forbes 1, US News 1,8 Guardian Sp 1, Guardian Sp 1,8 US News 1, * Среднее, рассчитанное с учетом всех 20 критериев.

** Скорректированное среднее, рассчитанное с учетом отсутствия данных либо специфики ме­ тодологии.

Рис. 10. Изменение положения методологий на шкале соответствия критериям IREG с учетом скорректированного среднего Таблица 8. Соотнесение анализируемых методологий с критериями IREG, формальное и с исключениями (баллы, среднее значение) Ключевой МЕТОДОЛОГИЯ Транспа- Обеспе- подход, рентность, чение цели опера- качества тивность WEIGHT 2 2 1 2 1 1 2 2 2 1 1 1 2 1 1 2 1 2 1 CRITERIA 1 2 3 4 5 6 7 8 9 10 11 12 13 14 15 16 17 18 19 20 TOTAL mEAN mEAN COR глобальное Shanghai 2 1 2 2 1 3 2 3 3 3 3 3 3 1 2 2 1 1 3 65 3,42 3, глобальное THES 3 1 2 2 2 2 3 3 2 2 3 3 3 2 2 3 3 2 3 71 3,74 3, глобальное US News 3 1 2 1 2 2 1 1 2 2 3 2 1 1 2 2 3 2 3 55 2,89 2, глобальное Leiden 3 1 1 3 1 3 3 3 3 3 3 3 3 3 3 3 62 3,88 3, глобальное QS 3 1 2 2 2 2 3 3 2 2 3 3 2 2 2 2 3 2 3 67 3,53 3, национальное Times 3 1 2 2 2 2 2 3 3 3 2 3 1 2 2 1 3 2 2 61 3,21 3, Одномерное национальное Guardian 3 2 2 2 2 2 2 2 3 3 3 3 1 2 2 1 3 2 2 62 3,26 3, ранжирование национальное Guardian Sp 3 1 2 2 2 2 1 1 3 1 3 2 1 2 2 1 3 2 2 51 2,68 2, национальное Forbes 3 1 1 2 2 2 2 3 2 3 3 2 1 1 2 1 3 1 2 57 3,00 2, специализированное Financial Times 3 2 2 2 3 3 2 3 2 2 3 3 2 2 2 1 2 2 2 66 3,47 3, специализированное Bloomberg 3 2 1 3 3 3 2 1 3 2 3 2 1 2 3 1 2 3 2 61 3,21 3, BusinessWeek специализированное The Economist 3 2 1 2 2 3 3 2 1 1 3 3 2 1 2 1 2 2 2 60 3,16 глобальное U­multirank 3 3 3 3 3 2 3 3 3 3 3 3 3 3 3 3 3 72 4,24 3, национальное CHE University 3 2 3 3 3 2 3 3 3 3 3 3 3 3 3 2 3 70 4,12 3, национальное CHE Excellence 3 2 2 3 3 2 3 3 3 3 3 3 3 3 3 2 3 65 3,82 3, Многомерное ранжирование национальное CHE 3 2 2 3 3 2 3 3 3 3 3 1 3 3 3 3 63 3,94 3, Employment национальное CHE Research 3 2 2 3 3 2 3 3 3 3 3 3 3 3 3 3 65 4,06 3, региональная U­map 3 3 3 3 3 2 3 3 3 3 3 3 3 3 3 3 3 71 4,18 3, Классификация национальная Carnegie 3 3 2 3 2 2 3 3 3 3 3 2 2 3 3 3 64 4,00 3, международный опыт ранжирования в высшем образовании вестниК международныХ орГанизаЦий. 2012. № 1 (36) При оценке степени соответствия рассматриваемых методологий критериям каче­ ства IREG была обнаружена тенденция, при которой критериям IREG в большей степе­ ни соответствуют методологии глобального многомерного ранжирования (U­Multirank), национального многомерного ранжирования (CHE University) и региональных класси­ фикаций (U­Map), притом что в большей степени, как было показано выше, критерии аудита IREG ориентированы на оценку качества систем ранжирований, а не классифи­ каций.

Четко определяя приоритеты, целевые группы, учитывая разнообразие вузов, опи­ раясь на достоверную информацию, релевантные индикаторы и обеспечивая транс­ парентность, оперативность и качество предоставляемых результатов, методологии региональных классификаций (U­Map) тем самым компенсируют отсутствие в своей итоговой оценке баллов за соответствие индикаторам, характерным только для методо­ логий построения ранжирований. Удовлетворяя большинству критериев IREG (т.е. по­ лучая наивысший балл «3»), даже без подсчета скорректированного среднего значения, положение таких методологий на шкале соответствия оказывается выше.

По­другому обстоит дело, например, с методологиями национальных классифи­ каций (Carnegie). При расчете среднего значения оценки данной методологии с учетом всех 20 критериев положение методологии на шкале соответствия критериям IREG оказывается ниже. Тем самым преимущества методологии по критериям, прежде все­ го, связанным с методологическими аспектами, как, например, постоянство базовой методики (критерий 10), учет многообразия институтов высшего образования (крите­ рий 5) и другим, по которым методология получает максимально высокий балл «3», оказываются неучтенными. С учетом скорректированных средних значений положе­ ние методологии национальных классификаций (Carnegie) изменится в сторону боль­ шего соответствия критериям IREG (рис.10).

Если описанные выше обе процедуры соотнесения с критериями IREG способ­ ствовали оценке качества каждой отдельной методологии и определению их преиму­ ществ и недостатков в отдельности, то введение в анализ агрегированных индикаторов качества IREG обеспечило основу для сравнения методологий по группам и определе­ ния преимуществ и недостатков групп методологий ранжирования.

Так, в группе методологий глобальных рейтингов, наиболее отвечающих требо­ ваниям качества, выделяются глобальные системы THE и QS. Несмотря на пробле­ мы, связанные с релевантностью используемых индикаторов и обеспечением надеж­ ности способов сбора данных, качество этих систем в большей степени удовлетворяет критериям IREG и является наиболее сбалансированным по отношению ко всем пяти агрегированным индикаторам в сравнении с другими существующими глобальными системами. В группе методологий национальных одномерных ранжирований выделя­ ются методологии рейтингов Times и Guardian, их соответствие критериям качества также является наиболее сбалансированным. В группе методологий многомерных ран­ жирований все рассмотренные методологии удовлетворяют критериям качества IREG в достаточно высокой степени, общность используемых подходов и принципов к по­ строению ранжирования во многом это обусловливает. Одно из отличий методологий в этой группе заключается в том, что методология U­Multirank не является действующей системой ранжирования, а находится в стадии апробации. В группе методологий спе­ циализированных одномерных ранжирований (рейтингов) выделяется методология рейтинга программ MBA журнала Financial Times, ее подход к построению ранжиро­ вания в наибольшей степени удовлетворяет критериям IREG по сравнению с другими системами, представленными в данном группе. Наконец, в группе методологий нацио­ международный опыт ранжирования в высшем образовании нальных и региональных классификаций более качественной представляется методо­ логия U­map. Однако незавершенность проекта по ее разработке не дает возможности говорить о качестве будущих результатов, которые планируется получить с ее помо­ щью.

Сравнительный анализ методологий ранжирования и классификаций внутри групп на основе пяти агрегированных индикаторов качества IREG способствует по­ ниманию того, какие элементы всех входящих в анализ методологий могли бы быть ис­ пользованы в качестве эталонных для построения российской системы ранжирования вузов. Значимыми для целей настоящего исследования, помимо выявленных эталон­ ных методологий, являются и систематизированные в результате сравнительного ана­ лиза лучшие практики построения систем ранжирования и классификаций, которые должны стать ориентиром при разработке национального подхода к ранжированию учебных заведений и/или программ подготовки (Приложение 1).

выводы и заключение Таким образом, нами рассмотрены в сравнении несколько типов методологий ран­ жирования, представляющих собой наиболее известный международный опыт. Кро­ ме того, мы предприняли попытку понять, насколько эти методологии удовлетворя­ ют современным требованиям построения качественных ранжирований, в частности требованиям Международной группы экспертов IREG. Данная процедура соотнесения потребовалась для того, чтобы оценить, какими преимуществами и недостатками обла­ дают разные методологии. Однако, поскольку весь сравнительный анализ методологий ранжирования был предпринят для того, чтобы найти эталон, на который можно было бы опереться или, по крайней мере, ориентироваться при разработке национальной методологии ранжирования, выделенных сильных и слабых сторон отдельных мето­ дологий оказалось недостаточно. Лучшие практики были выделены посредством срав­ нительного анализа различных методологий по группам и по более емким критериям оценки качества ранжирований. Из широкого многообразия различных подходов к оценке качества вузов и/или отдельных образовательных программ шаг за шагом были выделены элементы, являющиеся для различных методологий залогом успеха, показа­ телем их достоверности, релевантности, надежности.

Из представленного сравнения различных типов методологий и их соотнесения с критериями IREG можно сделать ряд важных выводов для создания национальной методологии ранжирования.

1. При планировании национальной методологии ранжирования важно правиль­ но определить цели ранжирования. Что планируется осуществить: систематиза­ цию, упорядочение, оценивание, сравнение, продемонстрировать разнообразие или выстроить иерархию рассматриваемых объектов? На начальном этапе раз­ работки системы ранжирования этот вопрос должен быть определяющим. Далее следует вопрос: что планируется оценить? Вполне естественно, что в контексте образовательной проблематики в фокусе внимания систем оценки качества нахо­ дятся образовательные учреждения. Однако, какие именно учреждения составят объект ранжирования, определяется отдельно: будут ли это вузы, реализующие программы бакалавриата и магистратуры;

или только бакалавриата и только маги­ стратуры;

все вузы страны или география ранжирования выйдет за рамки нацио­ нальной системы образования;

классические или исследовательские университе­ ты;

учреждения, предлагающие программы бизнес­образования, или отдельные вестниК международныХ орГанизаЦий. 2012. № 1 (36) образовательные программы университетов. Постановка цели определяет объект ранжирования и последующий выбор инструментов, с помощью которых будет осуществляться сбор данных, их обработка и конечный результат ранжирования.

Pages:     || 2 |



© 2011 www.dissers.ru - «Бесплатная электронная библиотека»

Материалы этого сайта размещены для ознакомления, все права принадлежат их авторам.
Если Вы не согласны с тем, что Ваш материал размещён на этом сайте, пожалуйста, напишите нам, мы в течении 1-2 рабочих дней удалим его.