WWW.DISSERS.RU

БЕСПЛАТНАЯ ЭЛЕКТРОННАЯ БИБЛИОТЕКА

   Добро пожаловать!

международный опыт ранжирования в высшем образовании международный опыт ранжирования в высшем образовании многомерное ранжирование: новый инструмент прозрачности в области высшего образования* Ф. ван

Вухт, Д.Ф. Вестерхайден ORGANI SATI ON FOR ECONOMI C CO-O PERATI ON AND DEVELOPMENT ван Вухт Франс – почетный профессор и бывший президент Университета Твенте, Нидерланды;

E­mail: f.a.vanvught@utwente.nl Вестерхайден Дон Ф. – доктор экономики, старший научный сотрудник Центра политики высшего образования Университета Твенте, Нидерланды;

E­mail: d.f.westerheijden@utwente.nl Представляем вашему вниманию перевод статьи «Многомерное ранжирование: новый инструмент про зрачности в области высшего образования», опубликованной в журнале Программы «Институциональное управление в высшем образовании» ОЭСР «Управление и политика в высшем образовании» в 2010 г.

Авторы статьи анализируют необходимость разработки новых инструментов транспарентно сти в сфере высшего образования, которые могли бы информировать стейкхолдеров о качестве универ ситетов. Сначала вниманию читателей предлагается общий обзор концепции инструментов обеспечения прозрачности и характеристика тех инструментов, которые доступны и используются сегодня. Далее осуществляется критический анализ методологий существующих инструментов транспарентности.

Особое внимание авторы статьи уделяют проблеме надежности источников данных для оценки транс парентности, рискам, связанным с использованием таблиц лиг в качестве инструмента транспарент ности, а также трудностям применения композитных индикаторов. В заключение авторы предлагают использовать многомерное ранжирование как новый принцип обеспечения транспарентности.

Ключевые слова: многомерное ранжирование, таблицы лиг, классификации, качество образования, инструмент транспарентности, Берлинские принципы ранжирования, U­map, U­multirank, композитные индикаторы.

Key words: multidimensional ranking, league tables, classifications, education quality, transparency tool, Berlin Principles on Rankings of Higher Education Institutions, U­map, U­multirank, composite indicators.

Текст «Многомерное ранжирование: новый инструмент прозрачности в области высшего образова­ ния» авторов Франса Ван Вухта и Дона Вестерхайдена впервые был опубликован на английском языке * Перевод выполнен м.н.с Центра международных сопоставительных исследований ИМОМС НИУ ВШЭ А.С. Лопатиной под ред. к.соц.н., директора Центра международных сопоставительных исследований ИМОМС НИУ ВШЭ О.В. Перфильевой.

вестниК международныХ орГанизаЦий. 2012. № 1 (36) под названием “Multidimensional Ranking: a New Transparency Tool for Higher Education and Research” в журнале «Управление и политика в высшем образовании», том 22/3, 2010, http://www.oecd­ilibrary.org/ education/multidimensional­ranking_hemp­22­5km32wkjhf24.

© 2010 OECD.

Все права защищены.

© 2012 Национальный исследовательский университет «Высшая школа экономики» для российского издания. Публикуется с разрешения ОЭСР, Париж. Национальный исследовательский университет «Высшая школа экономики» несет ответственность за качество перевода на русский язык и его соот­ ветствие оригиналу.

Originally published by the OECD in English under the title: Frans van Vught and Don F. Westerheijden (2010), “Multidimensional ranking: a new transparency tool for higher education and research”, Higher Education Management and Policy, Vol. 22/3, http://www.oecd­ilibrary.org/education/multidimensional­ ranking_hemp­22­5km32wkjhf24.

© 2010 OECD.

© 2012 Higher School of Economics (HSE), Russia for this Russian edition.

Published by arrangement with the OECD, Paris.

The quality of the Russian translation and its coherence with the original text is the responsibility of Higher School of Economics (HSE), Russia.

введение.

становление инструментов прозрачности в сфере высшего образования Понятие транспарентности, или прозрачности, является результатом международных дискуссий по проблемам развития систем высшего образования. Появление термина в данном контексте – ответ на потребность в информации о деятельности учрежде­ ний высшего образования в различных сферах. Также понятие транспарентности тесно связано с понятием обеспечения качества. Последнее интерпретируется как процесс получения доказательств качества работы вузов в интересах внешних стейкхолдеров, тогда как понятие «транспарентность» подразумевает предоставление информации заинтересованным лицам, на основе которой они могут впоследствии формировать оценку и принимать решения. Например, студент на основе получаемой информации может принять решение о выборе определенной программы обучения, частное или государственное агентство – о заключении контракта с высшим учебным заведением на проведение исследований, а отдельное ведомство, тот или иной государственный орган – о финансировании проектов. Таким образом, инструменты транспарентности выступают механизмами коммуникации, передачи информации о деятельности учреж­ дений высшего образования всем заинтересованным внешним по отношению к систе­ ме высшего образования стейкхолдерам.

Инструменты транспарентности крайне необходимы как в сфере высшего обра­ зования, так и в других секторах общественного развития. Если прибегнуть к эконо­ мическим терминам, то можно сказать, что услуги высшего образования являются как «экспериментальным благом», так и «доверительным благом». «Экспериментальное благо» – это продукт, качество которого можно ощутить только после потребления международный опыт ранжирования в высшем образовании (и, соответственно, после того, как продукт был оплачен), в отличие от «поисковых благ», качество которых можно оценить путем осмотра перед покупкой и потребле­ нием. Доверительные же товары являются благами, качество которых трудно оценить даже после потребления. Такими благами являются, например, медицинская консуль­ тация или ремонт компьютера [3, 10]. Отсюда возникает вопрос о том, могут ли сту­ денты в действительности оценить, в какой степени учеба в университете повлияла на их знания, навыки и компетенции? А также в какой степени улучшение, если таковое имеет место быть, обусловлено институтом, в котором проходило обучение? Вслед за Вестерхайденом [39] мы проводим различие в уровне знаний, навыков и компетенций студентов на этапе начала обучения в университете (initial higher education) и после обучения (post­higher education). Рассматривая услуги высшего образования как дове­ рительные либо как экспериментальные блага, мы можем с высокой степенью уверен­ ности утверждать, что студенты не могут знать о качестве образования перед прохож­ дением курса обучения. Можно также предположить, что и другие заинтересованные группы и внешние партнеры учреждений высшего образования, например, предста­ вители бизнеса, профессиональных сообществ или государственных учреждений, не обладают необходимой информацией в полной мере. Это служит подтверждением су­ ществования информационной асимметрии между институтами высшего образования и внешним сообществом. Инструменты транспарентности могут скорректировать воз­ никшую асимметрию, усилив тем самым общественную пользу или отдачу от высшего образования.

В последнее десятилетие количество инструментов транспарентности значительно возросло. Классификации, ранжирования, таблицы лиг (три самых известных на дан­ ный момент инструмента транспарентности) стали неотъемлемой частью глобальной системы высшего образования. В настоящий момент общепризнано, что эти инстру­ менты, зачастую предоставляющие неоднозначные результаты, тем не менее пользу­ ются популярностью и увеличивают свое влияние как на учреждения высшего обра­ зования, так и на органы управления высшим образованием на национальном уровне.

Появление таких инструментов отражает нарастающую международную конкуренцию среди университетов за талант и ресурсы. В то же время оценка и сравнение учебных за­ ведений ведет к дальнейшему усилению конкуренции. Положительной стороной этого процесса является то, что он стимулирует руководство учреждений высшего образо­ вания ставить перед собой задачи постоянного улучшения показателей деятельности вузов. Особенно это проявляется в отношении научно­исследовательских институтов, которые доминируют в глобальных таблицах лиг. Тем не менее главную озабоченность международного сообщества вызывают методологические основы построения таблиц лиг [4, 7, 9, 11, 15, 16, 22, 23, 33, 38] и их политическое влияние в конечном счете на стратификацию, а не на диверсификацию миссий образовательных учреждений [19, 23, 34]. Харви [16] обобщил критические замечания по данной проблеме, указав на то, что таблицы лиг не соблюдают установленных методологических правил дидактиче­ ского анализа (идущего от определения общей концепции к разработке отдельных ин­ дикаторов) и синтеза (идущего от индикаторов к композитному ранжированию). Вме­ сто этого при ранжировании используются индикаторы, измеряющие ту информацию, которая наиболее доступна разработчикам рейтинга.

Соглашаясь с необходимостью соблюдения принципов концептуальной целост­ ности и дедуктивного подхода к разработке индикаторов, возразим утверждению Хар­ ви замечанием относительно отсутствия теории, объясняющей связь между высшим вестниК международныХ орГанизаЦий. 2012. № 1 (36) образованием и информационными потребностями различных стейкхолдеров. Инсти­ туты высшего образования функционируют в многообразной среде внешних стейкхол­ деров, определяя для себя различные целевые группы. Все они обладают различными характеристиками и потребностями и часто не могут самостоятельно сформулировать свои информационные потребности. Более того, «не все страны и национальные обра­ зовательные системы вкладывают одинаковый смысл в понятие качества деятельности институтов высшего образования, в связи с чем ранжирования не должны стремиться обеспечивать сравнение институтов по данному основанию» (пятый принцип IREG).

Учитывая различия в потребностях разных групп пользователей, стоит обратить вни­ мание на различия в их потребностях относительно информации по тому или иному вопросу. Таким образом, многомерные инструменты транспарентности, отвечающие конкретным потребностям различных групп пользователей, являются очевидным от­ ветом на сложную и четко не определенную потребность в информации о высшем об­ разовании.

Мы различаем несколько целевых групп, заинтересованных в информации о дея­ тельности учреждений высшего образования:

– студенты на микроуровне образовательного процесса;

– студенты на мезоуровне (выпускники образовательных программ);

– работодатели (бизнес­организации и другие структуры), выступающие «поль­ зователями» знаний выпускников;

– компании, применяющие результаты научно­исследовательской и инноваци­ онной деятельности, полученные на базе учреждений высшего образования;

– местные, региональные и национальные органы власти, являющиеся потре­ бителями третьей роли высших учебных заведений (распространение знаний и инноваций в обществе). В дополнение органы власти выступают гарантами более широких общественных интересов в контексте социального и экономического развития и часто являются ключевыми стейкхолдерами, финансирующими дея­ тельность высших учебных заведений.

Одновременно преподаватели и исследователи, работающие в университетах – это, прежде всего, те, кто обладает новейшими знаниями в различных областях и благо­ даря образовательным методикам и технологиям находится в уникальном положении, позволяющем удовлетворять потребности различных общественных групп [21].

В данном контексте множественность интересов определяет особенность опре­ деления понятия качества. Качество как многомерное понятие может изменяться от одной группы стейкхолдеров к другой, таким образом, следует говорить о «множе­ ственности качеств» [6, 18, 39]. Следовательно, инструменты транспарентности, для того чтобы наиболее эффективно информировать о качестве высшего образования различные группы пользователей, должны отражать существующую концептуальную множественность.

оценка существующих классификаций и ранжирований Вышеизложенный анализ требует некоторого разъяснения в отношении используемых терминов. Мы рассматриваем понятие «инструмент транспарентности» как осново­ полагающий термин, включающий все способы предоставления информации о дея­ тельности учреждений высшего образования. Внутри общего термина «инструмент международный опыт ранжирования в высшем образовании транспарентности» мы делаем важное различие между классификациями и ранжиро­ ваниями. Ранжирования также, в свою очередь, разделены на таблицы лиг и много­ мерные ранжирования.

Классификация – это система, которая распределяет объекты по группам на осно­ ве их характеристик. Классификация отражает «горизонтальное» разнообразие, где различия между категориями не основаны на принципах порядковой шкалы, которые можно описать словами «больше», «крупнее» или «лучше».

Инструменты транспарентности Ранжирования Классификации Таблицы лиг Групповые Многомерные рейтинги ранжирования Ранжирования показывают «вертикальное» разнообразие учреждений высшего образования с помощью индикаторов оценки. Большинство существующих в насто­ ящее время ранжирований являются таблицами лиг (т.е. рейтингами). Таблица лиг – это одномерный список ранжируемых объектов (вузов), расположенных от учебного учреждения, получившего наивысшую оценку, к учебному заведению, получившему самую низкую оценку. Каждому объекту ранжирования в таблице лиг присваивается порядковый номер на основании позиции в ряду.

Другие подходы к ранжированию включают:

– многомерное ранжирование, не стремящееся соединить оценку образователь­ ной и исследовательской деятельности высшего учебного заведения в одном агре­ гированном показателе;

оно также ориентировано на потребности пользователя, так как данные предоставляются в интерактивном виде;

– рейтинги по группам.

Исходя из существования других подходов к ранжированию, предоставляющих больше информации для широкого круга стейкхолдеров, мы утверждаем, что они яв­ ляются лучшими, более точными инструментами транспарентности, чем таблицы лиг.

Но это утверждение не означает, что мы считаем ранжирования изначально плохими или хорошими. Мы считаем необходимым определить набор критериев, с помощью которых можно охарактеризовать подход, лежащий в основе ранжирования, как более или менее качественный1. Существует множество ранжирований и классификаций, основные представлены в табл. 1.

Определенная сложность связана с использованием терминов: термин «ранжирование» ис­ пользуется как существительное и как глагол, описывающий построение ранжирования, тогда как термин «таблица лиг» используется только как существительное, и нет глагола, описывающего по­ строение именно таблиц лиг. Дополнительная сложность в использовании терминов возникает в ре­ зультате того, что таблицы лиг часто называются «ранжированиями».

вестниК международныХ орГанизаЦий. 2012. № 1 (36) Таблица 1. Основные классификации и ранжирования Тип Название Классификации Carnegie Classification (США) U­Map (Европа) Глобальные таблицы лиг и ранжирования Shanghai Ranking (глобальный) Times Higher Education (THES) Leiden Ranking (глобальный) Webometrics (глобальный) CHE Excellence (Европа) QS World University Ranking (глобальный) Национальные таблицы лиг US News and World Report (США) и ранжирования 2006 Times Good Education Guide (Великобритания) Guardian Ranking (Великобритания) Forbes (США) CHE Das Ranking /University Ranking (Германия) Studychoice 123 (Нидерланды) Специализированные таблицы лиг Financial Times (глобальный) BusinessWeek (США+ глобальный) The Economist (глобальный) Классификации Потребность в систематизации разнообразия существующих учреждений высшего об­ разования и научно­исследовательских институтов растет вместе с увеличением их чис­ ленности, а также признанием того, что охватить всю имеющуюся информацию о вузах самостоятельно потребителям уже не под силу. В этом отношении категоризация вузов в Европе в целях управления системой высшего образования играет очень важную роль. В некоторых странах вузы разделяются, например, на такие группы, как ака­ демии, университеты, политехники, национальные исследовательские центры и кол­ леджи высшего образования. Возникла потребность в более комплексной системе инструментов классификации, для того чтобы выявить качественные различия в дея­ тельности учреждений высшего образования внутри данных категорий, а также для возможности сравнения элементов системы высшего образования разных стран с от­ личной системой категоризации вузов. Кроме того, необходимо учитывать, что расту­ щая в последние годы автономия учебных заведений также способствует увеличению разнообразия целей, миссий и приоритетов учебных заведений, которые могут на­ ходиться, согласно вышеприведенной классификации, в одной категории. Наиболее заметными на сегодняшний день глобальными классификациями являются Carnegie, разработанная в США, и европейская классификация U­map.

Первая классификация фонда Carnegie, опубликованная в 1973 г., была адресова­ на, прежде всего, исследователям. Классификация Carnegie зарекомендовала себя как авторитетный источник информации об американских институтах высшего образова­ ния, как в США, так и в других странах [24]. Получив широкое признание, классифи­ кация Carnegie вскоре превратилась в некоторое подобие таблицы лиг;

быть класси­ международный опыт ранжирования в высшем образовании фицированным как научно­исследовательский институт первой степени для высших учебных заведений было очень престижно, хотя разработчики и не ставили перед собой этой цели. Для того чтобы нарушить тенденцию и предотвратить дальнейшее развитие системы классификации в направлении составления таблиц лиг на основании клас­ сификации, методология составления классификации была кардинально пересмотре­ на фондом в 2005 г.;

в результате внесенных изменений система приобрела характер многомерной классификации. Исходя из новых методологических принципов, новая классификация позволила взглянуть на систему высшего образования через различные аспекты образовательного ландшафта и ответить на три фундаментальных вопроса:

– что преподается в высшем учебном заведении (классификация преддипломных и постдипломных программ);

– кто является студентами высшего учебного заведения (профиль зачисления и профиль студентов преддипломников);

– что представляет собой «физическая учебная среда» высшего учебного заведе­ ния (инфраструктура).

Также была произведена корректировка первоначальной (базовой) методологии классификации Carnegie2.

Европейская классификация U­map в настоящее время также занимается популя­ ризацией данных о деятельности высших учебных заведений3. Классификация U­map изначально разрабатывалась как общеевропейский многомерный инструмент класси­ фикации высших учебных заведений, ориентированный на удовлетворение потребно­ стей пользователей и позволяющий классифицировать вузы и научно­исследователь­ ские институты по шести отдельным измерениям (направлениям):

– исследовательская деятельность;

– инновационная деятельность;

– профиль образовательной деятельности;

– профиль студентов;

– интернационализация;

– взаимодействие с регионом.

Оценка каждого из шести направлений деятельности университета опирается на группу специальных индикаторов, способствующих выявлению и оценке усилий учеб­ ного заведения в различных сферах деятельности. При этом индикаторы результатов (output indicators) деятельности заменены на индикаторы, оценивающие усилия для достижения целей (effort­based indicators) как наиболее доступные для сбора. Основной задачей классификации U­map является построение и анализ «институциональных профилей» высших учебных заведений. Планируется, что пользователи классифика­ ции U­map смогут создать институциональную «картину» высшего учебного заведения на основании индикаторов одного или нескольких уровней (рис. 1). Классификация позволяет представить информацию о высших учебных заведениях в двух форматах (поисковик профиля и визуализатор профиля), при помощи которых пользователи мо­ гут самостоятельно проанализировать профиль вуза, а также провести сравнительный анализ профилей нескольких учебных заведений. Классификация U­map создается совместно с разработчиками последней версии классификации Carnegie с учетом усло­ вий Европейской системы образования.

Carnegie Foundation for the Advancement of Teaching. URL: http://classifications.carnegiefoundation.

org (date of access: 17.01.2012).

U­Map. The European Classification of Higher Education Institutions. URL: http://www.u­map.eu (date of access: 17.01.2012).

вестниК международныХ орГанизаЦий. 2012. № 1 (36) Доход из региона Докторские программы Количество времени, Магистерские программы затраченное на деятельность по сотрудничеству с регионом Бакалаврские программы Профессиональные степени, % Данные по персоналу Финансирование научных исследований Предметные области Иностранные студенты Студенты зрелого возраста Контракты на исследования с частными организациями Студенты очно-заочной Выставки формы обучения Стартапы Иностранные студенты Патенты Публикации Опыт исследовательской работы Общее количество поступивших Количество времени, затраченное на исследования Образовательный профиль Профиль студента Научно-исследовательская учебного заведения деятельность Третья миссия Международная Взаимодействие с регионом деятельность Источник: U­Map. The European Classification of Higher Education Institutions. URL: http:// www.u­map.eu (date of access: 17.01.2012).

Рис. 1. Вариант институционального профиля Мы утверждаем, что классификации помогают отразить горизонтальное разно­ образие систем высшего образования, выявить различную степень усилий, приклады­ ваемых учебными заведениями для достижения поставленных целей в той или иной сфере деятельности. С этой точки зрения классификации представляют собой опи сательный инструмент: основным его результатом являются профили, описывающие деятельность вузов. При этом классификации не предоставляют информации о том, насколько хорошо вузы осуществляют свою деятельность, так как данная методоло­ гия, прежде всего, ставит перед собой задачу отразить усилия, прилагаемые вузом для достижения целей институционального развития, а не оценить результаты их деятель­ ности.

Ранжирования Первая попытка ранжирования вузов была предпринята в США в начале XX сто­ летия, однако экспоненциальный рост ранжирований произошел позднее, в нача­ ле XXI в. [8] Недавние обзоры существующих ранжирований, выполненные уни­ верситетом Цзяотун4 в Шанхае и вашингтонским Институтом политики высшего Academic Ranking of World Universities. URL: http://www.arwu.org/RankingResources.jsp (date of access: 18.01.2012).

международный опыт ранжирования в высшем образовании образования5, приводят списки ранжирований, проводимых в более чем 30 странах на всех континентах мира. При этом в некоторых странах (США и Великобритании) существует несколько конкурирующих между собой систем ранжирования. В данном контексте полезно провести анализ и классификацию существующих систем ранжи­ рования по следующим направлениям:

– основные группы пользователей;

– разработчики ранжирований: государственные, частные некоммерческие и частные коммерческие организации;

– уровень: ранжирование учебных заведений в целом и ранжирование предмет­ ных областей и отдельных программ;

– охват: национальный или международный;

– фокус: образование или исследования.

Мы рассмотрим эти направления в следующих подразделах, чтобы затем обсудить методологические проблемы, касающиеся источников данных, составления рейтингов и использования композитных индикаторов.

Основные группы пользователей Большинство национальных ранжирований разрабатывается для предоставления информации будущим студентам и их родителям о качестве учебных заведений и обра­ зовательных программ, предлагаемых на территории страны. Такому виду ранжирова­ ний приходится находить равновесие между стремлением предоставить информацию в наиболее доступном для выделенной целевой группы и в то же время наиболее полном виде, что позволяет сформировать комплексную картину деятельности университета.

Одним из принципов, обеспечивающих качество ранжирования, согласно Берлинским принципам ранжирования высших учебных заведений, является его четкая ориентация на определенную группу пользователей. В этом случае возникает проблема противоре­ чащих информационных потребностей. Будущие студенты представляют собой одну из наименее осведомленных групп пользователей о качестве услуг высшего образова­ ния, поэтому для них информация в таблицах лиг должна быть изложена максимально ясно. В то же время для повышения легитимности в академических кругах ранжиро­ вания должны предоставлять наиболее полную информацию о деятельности учебного заведения, чтобы избежать обвинений в чрезмерном упрощении сложной реальности [13]. Так как вузы заинтересованы в продвижении не только преподаваемых программ, но и проводимых исследований, многие таблицы лиг с целью повысить свой авторитет также предоставляют информацию об исследованиях, ведущихся на базе вузов. Однако до недавнего времени системы ранжирований скорее использовали все имеющиеся в их распоряжении индикаторы как релевантные для всех целевых групп [22].

Схожая проблема возникает при составлении международных предметно­ориен­ тированных видов ранжирований, таких как ранжирования школ бизнес­образования, проводимых печатными изданиями6, например Financial Times7. Первые предметно­ ориентированные ранжирования появились именно в сфере бизнес­образования.

Однако с недавнего времени ранжирования по различным предметным областям соз­ Institute for Higher Education Policy. URL: http://www.ihep.org/Research/nationalrankingsystems.

cfm (date of access: 18.01.2012).

MBA Programs Worldwide. URL: http://www.find­mba.com/mba­rankings (date of access: 18.01.2012).

Financial Times Business School Ranking. URL: http://rankings.ft.com/businessschoolrankings (date of access: 18.01.2012).

вестниК международныХ орГанизаЦий. 2012. № 1 (36) даются и в сфере высшего образования: например, ранжирования Центра высшего об­ разования в Германии, предметное ранжирование университета Цзяотун, рейтинг выс­ шего образования Times Higher Education.

Очевидно, что все студенты неодинаковы и отличаются по своим потребностям.

Такие ранжирования, как US News and World Report, Studychoice123.nl или немецкие рей­ тинги CHE, в основном адресованы тем, кто хочет получить высшее образование сра­ зу после окончания школы. Рейтинг Financial Times ориентирован на взрослых людей, имеющих как минимум несколько лет опыта работы, стремящихся приобрести опреде­ ленные дополнительные знания. Эти две группы студентов отличаются в определении соотношения выгоды и затрат, различными потребностями в методике преподава­ ния, форме предоставления информации, различными социальными предпочтения­ ми и возможностями. Принимая во внимание важность удовлетворения потребностей различных целевых групп, наиболее качественными являются те ранжирования, ко­ торые предоставляют надежную информацию о результатах вложений в образование (возможность трудоустройства, получение требуемых специфических навыков, на­ личие известных в академической среде преподавателей и научных сотрудников или дополнительные возможности дохода) [4]. Качественные ранжирования также долж­ ны предоставлять информацию об условиях потребления услуг (наличие спортивного комплекса, студенческого общежития, возможность получения широкого академиче­ ского образования). Информация об условиях потребления услуг может быть особен­ но важной для студентов, только что закончивших школу, тогда как информация об эффективности инвестиций в образование скорее заинтересует студентов, проходящих обучение на программах постдипломного образования.

Необходимо отметить, что даже внутри определенных групп пользователей суще­ ствуют различные информационные потребности. Более того, социально незащищен­ ные слои населения находятся в наименее выгодном положении с точки зрения досту­ па к информации о возможностях обучения в вузах. Таблицы лиг вносят свой вклад в процесс расслоения студентов на группы: основными пользователями таблиц лиг явля­ ются студенты, имеющие наибольший доступ к информации о высшем образовании.

Интернациональные или глобальные ранжирования вузов не конкретизируют целевые группы пользователей, а обращаются к широкой аудитории, в той или иной степени заинтересованной в деятельности институтов высшего образования. Наиболее известной в глобальном масштабе таблицей лиг является Академический рейтинг уни верситетов мира, составляемый Институтом развития высшего образования Шанхай­ ского университета. Первоначально рейтинг предназначался для сравнения научно­ исследовательских университетов Китая на внутринациональном уровне, а также для сравнения результатов деятельности университетов Китая с другими ведущими универ­ ситетами мира, прежде всего с университетами США. Академический рейтинг ведущих университетов мира создавался, в первую очередь, для корректировки национальной политики в научно­исследовательской сфере, вследствие чего основными пользовате­ лями рейтинга были члены аппарата государственного управления (министры образо­ вания, науки и технологии).

Ранжирования высших учебных заведений относительно результатов исследова­ тельской деятельности, например, ранжирование Лейденского университета, анализи­ руют деятельность вузов на основании подсчета цитирований научных публикаций и адресованы главным образом руководству университетов (ректорату и административ­ ному персоналу). Ранжирование Leiden информирует руководителей высших учебных заведений о деятельности схожих университетов, которые могут быть прямыми кон­ международный опыт ранжирования в высшем образовании курентами или же эталонами для сравнения и использования опыта. Подобным обра­ зом рейтинг Webometrics дает возможность руководителям университетов ознакомить­ ся с результатами сравнения представленности высших учебных заведений и исследо­ вательских институтов в сети Интернет, что может служить основанием для принятия решений об электронной публикации материалов исследований. Результаты подобных фокусных ранжирований предназначены для информирования руководства универси­ тетов при стратегическом планировании.

Ранжирования также могут быть интересны пользователям, не входящим в це­ левые группы, определяемые разработчиками систем ранжирования. Так, например, политики могут использовать ранжирования, составленные по индикаторам исследо­ вательской деятельности университетов или предназначенные для информирования будущих студентов. Руководство вузов может выражать заинтересованность во всех ви­ дах ранжирований, так как все они в той или иной мере оказывают влияние на престиж учебного заведения, в особенности если вуз занимает невысокое место в какой­либо системе. Отсюда возникает вопрос о беспристрастности университетов как источни­ ков данных для построения оценок и опасениях по поводу возможных фальсификаций данных самими университетами с целью повышения своей оценки или подрыва авто­ ритета конкурирующих университетов [5, 9, 17, 29].

Составители ранжирований Большинство основных национальных ранжирований, начиная с первого подоб­ ного ранжирования US News and World Report, разрабатываются компаниями средств массовой информации. Ранее несколько ранжирований разрабатывалось и самими вузами (например, в сфере экономики). Однако в отличие от ранжирований, созда­ ваемых компаниями СМИ, подобные системы не пользовались широким спросом со стороны общественности. К другим примерам ранжирований СМИ относятся ранжи­ рования The Times Good University Guide, таблицы лиг, составленные печатными изда­ ниями Великобритании (Guardian, Independent), национальные ранжирования Фран­ ции (Nouvel Observateur) и Италии (Sole 24 Ore). Так как коммерческие издательства заинтересованы, прежде всего, в продажах и получении прибыли, вызывает опасение их ориентированность на создание броских заголовков, нежели на разработку научно обоснованной и стабильной методологии ранжирования [15, 30].

Меньшее количество ранжирований публикуется независимыми национальными некоммерческими организациями. В них входят ранжирования Центра высшего об­ разования в Германии (хотя они также работают совместно с журналом Die Ziet), ран­ жирование Studychoice123 в Нидерландах и польское ранжирование, осуществляемое фондом образования «Перспективы»8. Более того, есть несколько национальных ран­ жирований, созданных государственными институтами, такими как Совет аккредита­ ции и оценки высшего образования Тайваня и Конференция ректоров Нигерии.

Существует шесть глобальных систем ранжирований, различающихся географи­ ческим и предметным охватом. Три из них составлены академическими институтами (Университет Лейдена, Высшая горная школа во Франции, Верховный совет по на­ учным исследованиям в Испании). Академический рейтинг университетов мира был создан Шанхайским университетом, при этом отдел, непосредственно отвечающий за разработку рейтинга, получил в 2009 г. статус независимой организации и называется Perspektywy Education Foundation. URL: http:// www.perspektywy.org (date of access: 18.01.2012).

вестниК международныХ орГанизаЦий. 2012. № 1 (36) «Шанхайская консультация ранжирований»9. В 2009 г. ранжирование Times Higher Education получило прямой доступ к данным о цитировании, была разработана соб­ ственная методология репутационного опроса. Предыдущий партнер ранжирования QS создал свой собственный рейтинг World University Rankings. Таким образом, по со­ стоянию на 2010 г. в секторе глобальных ранжирований были учреждены два коммер­ ческих производителя.

Тайваньский совет оценки и аккредитации образовательных учреждений HEEACT и голландский консорциум SK123 (объединяющий несколько различных групп инте­ ресов и выступающий реципиентом государственных субсидий) представляют собой ранжирования, в наибольшей степени связанные с государственными органами. Со­ ставители этих систем не оказывают влияния на разработку политики в области выс­ шего образования, хотя некоторые отделения HEEACT проводят работу по оценке и аккредитации учебных заведений. Большинство академических институтов, состав­ ляющих глобальные ранжирования, – государственные организации, но и немецкий Центр высшего образования, и польский фонд «Перспективы» являются партнерства­ ми смешанного типа с участием как государственных, так и частных сторон, это неза­ висимые некоммерческие организации, тесно связанные с национальными конферен­ циями ректоров.

Все чаще составители ранжирований предоставляют на веб­страницах своих про­ ектов информацию о методологии составления рейтингов. Тем не менее, по данным Экспертной группы по оценке научно­исследовательских работ, например, на базе Шанхайского университета, «не существует системы, позволяющей повторить расчет результатов составляемого им рейтинга, что ставит под сомнение последовательность используемой методологии» [2].

Институциональные и предметно-ориентированные ранжирования В целом следует различать пользователей, которые заинтересованы в институцио­ нальных ранжированиях (университетов в целом), и тех, кто заинтересован в результа­ тах ранжирований, организованных по отдельным областям. Под областью (field) мы понимаем учебную единицу университета, например, факультет, отделение или школу, специализирующуюся на определенной области знаний. Данная область может вклю­ чать академические дисциплины (например, экономика и физика), междисциплинар­ ные области знаний (такие, например, как бизнес­преподавание или нанотехнологии), учебные программы, сконцентрированные на изучении одной области знаний, или специализированные исследовательские программы.

Предметно­ориентированные ранжирования представляют наибольшую поль­ зу для студентов и исследователей, ищущих определенную программу обучения или базу для проведения исследований, так как отдельные программы внутри университе­ тов могут значительно различаться по уровню качества. Индикаторы, показывающие усредненную оценку по всему университету, тем самым не позволяют выявить слабые или сильные стороны отдельных программ обучения и, следовательно, малополезны или даже демонстрируют иррелевантность институциональных ранжирований для по­ добных целевых групп пользователей.

С другой стороны, институциональные ранжирования широко используются управленческими структурами и руководителями, которым, прежде всего, интересны общие характеристики учебных заведений. В сущности, некоторые характеристики, Academic World University Ranking. URL: http:// www.arwu.org (date of access: 18.01.2012).

международный опыт ранжирования в высшем образовании такие как институциональная миссия университета или участие университета в соци­ альной жизни, важны только для данной группы пользователей ранжирований. Инсти­ туциональные ранжирования являются полезными для определения положения вуза на институциональной карте высшего образования и нахождения схожих институтов для развития сотрудничества или заимствования опыта. Кроме того, управляющие ор­ ганы часто ограничиваются институциональным уровнем анализа, так как именно на этом уровне они принимают решения и осуществляют финансирование проектов.

Большинство глобальных рейтингов (Академический рейтинг университетов мира, Рейтинг высшего образования Тimes (THE), Международный рейтинг универ­ ситетов QS, ранжирование университета Leiden, Тайваньский совет оценки и аккре­ дитации образовательных учреждений (HEEACT)) предпринимают институциональ­ ное ранжирование университетов и исследовательских институтов, что ассоциируется с неким «состязанием репутаций» между университетами [34]10. Академический рей­ тинг университетов мира, рейтинг Тайваньского совета оценки и аккредитации об­ разовательных учреждений (HEEACT) и Рейтинг высшего образования Тimes (THE) составляют также ранжирования университетов на основании оценки их деятельно­ сти по достаточно широким предметным областям, но не составляют списка лучших университетов по отдельной предметной области. Вместо этого они составляют ран­ жирования университетов по отдельным предметным областям на основании занимае­ мого ими места в общем глобальном ранжировании. Это означает, что в предметные ранжирования могут не быть включены университеты, достигшие высоких результатов в отдельных научных областях, но не включенные в общий список университетов на основании общей оценки университета. Таким образом, небольшие специализирован­ ные университеты находятся в этом отношении в невыгодном положении. Некоторые глобальные рейтинги проводят ранжирование учебных заведений только по опреде­ ленным предметным областям: рейтинг Financial Times проводит ранжирование только программ бизнес­образования, вне зависимости от того, осуществляется ли учебный процесс на базе университета или в специализированной бизнес­школе.

Несколько национальных ранжирований, в частности USN&WR, SK123 и «Пер­ спективы», проводят ранжирование университетов на институциональном уровне. Но чаще всего национальные ранжирования (ранжирования Центра высшего образования и SK123) нацелены на предоставление информации будущим студентам, желающим выбрать программу обучения в соответствии с имеющимися предпочтениями.

Национальные и международные ранжирования Первые ранжирования были опубликованы в США и предлагали показатели, срав­ нивающие колледжи 50 американских штатов. Подобное сравнение на национальном уровне было вполне технически выполнимой задачей. Но, с другой стороны, 50 штатов с почти 4 тыс. высших учебных заведений составляли почти такую же сложную систе­ му высшего образования, как и Общеевропейское пространство высшего образования, охватывающее 47 стран и несколько тысяч вузов. С этой точки зрения такие системы ранжирования, как US News & World Report, больше похожи на национальные рейтинги других стран, информирующие студентов о лучших возможностях для обучения в раз­ Репутация – эффективный и привлекательный показатель качества высшего учебного заведе­ ния для пользователей, не располагающих временем и ресурсами для поиска подробной информации о деятельности вуза [31]. Благодаря простоте восприятия и учету интересов потребителей ранжирова­ ния получают признание среди стейкхолдеров и широкой общественности [2].

вестниК международныХ орГанизаЦий. 2012. № 1 (36) резе всей страны. Подобным образом ранжирование Центра высшего образования в Германии призвано обеспечить студентов полной информацией о программах высшего образования в университетах 16 федеральных областей Германии. Эти примеры пока­ зывают, что в отличие от глобальных систем национальные ранжирования более четко формулируют цель и определяют целевую группу более конкретно.

Международные системы ранжирования, такие как Академический рейтинг университетов мира Шанхайского университета или рейтинг Times Higher Education (THE), в основном ранжируют университеты в целом. Данные методологии являются на сегодняшний день наиболее спорными и дискуссионными, так как их результаты значительным образом влияют на репутацию высших учебных заведений, как в поло­ жительном, так и отрицательном плане. Другие международные системы ранжирова­ ний – Leiden и Webometrics – более четко определяют цели и ограничения. Рейтинг Leiden ограничивается анализом исследовательской деятельности и оценкой ее влия­ ния на развитие академической среды. Рейтинг Webometrics, в свою очередь, оценивает представленность вузов в сети Интернет. Таким образом, системы ранжирований сни­ жают возможную волну критики в свой адрес.

Развитие международной мобильности студентов увеличивает спрос на более от­ крытую информацию о системах высшего образования на глобальном уровне. Этот процесс, на наш взгляд, отражает две важные тенденции. Первая заключается в рас­ ширении географического охвата национальных ранжирований, во включении сосед­ ствующих территорий. Так, немецкое национальное ранжирование Центра высшего образования в настоящий момент включает университеты Австрии, Швейцарии и Ни­ дерландов, хотя общеевропейской системы ранжирования CHE пока не существует.

Вторая тенденция выражается в увеличении более сфокусированных международных ранжирований, таких, например, как CHE Excellence, ориентированный на европей­ ский рынок программ магистратуры и аспирантуры и удовлетворение потребностей соответствующих студентов. Система впервые была апробирована в 2007 г. и включала ограниченное число предметных областей и только исследовательские университеты Европы.

Обучение или исследования Ранжирования могут иметь два разных угла зрения. Во­первых, их построение может осуществляться с целью информирования потребителей либо о качестве обуче­ ния в вузах, либо о качестве проводимых там исследований. Например, ранжирования Центра высшего образования и SK123 определяют своей целью информирование сту­ дентов о лучших образовательных программах, предоставляя информацию о качестве образования в том или ином вузе. Подобным образом рейтинг университета Leiden ин­ формирует потребителей о качестве исследовательской деятельности университетов, а Академический рейтинг университетов мира Шанхайского университета изначально был ориентирован на информирование национального госаппарата о положении ки­ тайских университетов по отношению к университетам мира в области науки и техно­ логии.

Во­вторых, фокус ранжирований может быть изменен в зависимости от исполь­ зуемого набора индикаторов. Качественная система ранжирования основывается на индикаторах, которые должны отвечать поставленным целям. Так, например, инди­ каторы, оценивающие эффективность и влияние исследовательской деятельности университета на развитие академической среды, соответствуют цели информирования международный опыт ранжирования в высшем образовании руководства университетов об исследовательском потенциале и возможностях своих институтов. Большинство национальных ранжирований, ориентированных на инфор­ мирование студентов, в том числе и будущих, конечно, в большей степени использу­ ют индикаторы, с помощью которых оценивается качество обучения и преподавания, либо используют комплекс индикаторов, оценивающих качество как обучения, так и научных исследований. Кроме того, иногда вводятся отдельные контекстные пере­ менные, отражающие специфику объекта ранжирования. Большая часть индикаторов, используемых в шести глобальных системах ранжирования, оценивают в основном исследовательскую деятельность. Следуя своей цели, глобальный рейтинг университе­ та Leiden является достаточно качественным. Однако такая практика может быть про­ блематичной в случае, если результаты ранжирования, ориентированного на оценку качества научных исследований в вузах, используются как эквивалент меры престиж­ ности или качества вузов в целом.

Аспекты методологии Значительное место в сегодняшних дискуссиях о плюсах и минусах ранжирований и классификаций занимают методологические вопросы. В этой части наших рассужде­ ний мы рассмотрим три вопроса, которые, с нашей точки зрения, составляют ядро дис­ куссий о методологии ранжирований. Речь идет о проблеме надежности используемых источников данных, построения таблицы лиг и использования агрегированных, ком­ позитных, индикаторов.

Источники данных Анализ ключевых методологий ранжирований показывает, что используемые для их построения источники данных можно разделить на три категории: готовые стати­ стические базы данных (национальные и международные), данные, полученные от университетов (отчеты о самооценке), и опросы различных групп респондентов.

Статистические базы данных Оптимальным источником данных с точки зрения валидности, достоверности и эффективности сбора, который не требует участия университетов, являются готовые базы статистической информации. Полезным примером в этом смысле является клас­ сификация Carnegie11, которая рассматривает вузы через призму множества критери­ ев и индикаторов. Информация, на основании которой рассчитываются индикаторы, практически полностью берется из доступных широкой общественности баз данных США (Интегрированная база данных высшего образования IPEDS)12. База данных IPEDS ведется на основании общенациональных опросов, ежегодно проводимых На­ циональным центром статистики образования Департамента образования США. Все высшие учебные заведения страны, получающие федеральное финансирование, обя­ заны предоставлять в интегрированную базу информацию о приеме и выпуске студен­ тов, завершении программ обучения, штате ППС, стоимости обучения и получаемой Carnegie Foundation Classification. URL: www.carnegiefoundation.org/classifications (date of access:

23.01.2012).

Integrated Postsecondary Education Data System. URL: http://nces.ed.gov/ipeds (date of access:

23.01.2012) вестниК международныХ орГанизаЦий. 2012. № 1 (36) студентами финансовой помощи. IPEDS самостоятельно проводит проверку качества информации, предоставляемой университетами. Тем самым фонд Carnegie не только избавлен от необходимости самому собирать данные, но также и от процедуры вери­ фикации используемых данных для построения классификации вузов. Однако упро­ щенный подход удобен также и для вузов, поскольку им достаточно предоставить ин­ формацию в национальное статистическое агентство только один раз и не повторять процедуру для фона. Практически все данные, используемые для построения класси­ фикации Carnegie, находятся в открытом доступе и имеют статус федеральных.

Система сбора данных, приведенная выше, идеально подходит для составления классификации или ранжирования, но в действительности применяется достаточно редко. Статистические базы данных высшего образования существуют во многих стра­ нах, но только некоторые из них включают данные международной статистики. В этом отношении европейская классификация U-map находится в менее выгодном положе­ нии, чем классификация Carnegie, поскольку на сегодняшний день на общеевропей­ ском уровне пока не сложилось единой базы данных о деятельности отдельных вузов и исследовательских институтов13. Классификация U­map опирается на национальные базы данных, что приводит к сложностям двух типов. Во­первых, сбор данных в другой стране достаточно трудно организовать, так как существует несколько национальных баз данных, находящихся в ограниченном доступе для внешних пользователей. Кроме того, сравнить данные, полученные из нескольких источников, не всегда возможно.

Сбор статистических данных и статистическая терминология от страны к стране разли­ чаются. В связи с этим международные статистические сборники, такие как ежегодный отчет ОЭСР «Взгляд на образование», вынуждены вводить множество примечаний к опубликованным статистическим данным, поясняющих имеющиеся ограничения для международного сопоставления статистических показателей. Еще одной существен­ ной проблемой для международных проектов ранжирования является то, что междуна­ родные базы данных используют данные национальной статистики, которая в большей степени отражает показатели состояния национальной системы образования в целом и не отражает институциональный уровень по отдельным вузам.

Одним из самых надежных способов сравнения деятельности университетов явля­ ется использование библиометрических индикаторов. Web of Science (WoS) и Scopus – две основные библиометрические базы данных, содержащие статистику публикаций научных статей в престижных научных журналах. Тем не менее использование данных этих баз для ранжирования университетов также связано с некоторыми трудностями, поскольку принятые нормы и стандарты публикации научных статей существенно раз­ личаются в зависимости от научной области [25]. Рецензируемые научные журналы являются основными инструментами распространения знаний в таких областях, как естественные науки, медицина, биологические науки. Однако в сфере прикладных наук и инженерии больший вес могут иметь доклады, подготовленные к конференции, нежели публикации в журналах. В таких областях, как социальные и гуманитарные науки, наиболее важную роль играют книжные публикации. Построение библиоме­ трических индикаторов исключительно на данных о журнальных статьях, сбор инфор­ мации по которым является наименее затруднительным, приводит к тому, что сферы естественных наук и медицины оказываются в неоправданно выгодном положении по На уровне Европейского союза реализуется проект оценки способов получения данных от высших учебных заведений (проект EUMIDA, http://www.eumida.org). Также Экспертная группа по оценке исследований на базе высших учебных заведений (AUBR Expert group) рекомендует организа­ цию постоянного наблюдения исследований, проводимых на базе высших учебных заведений [2].

международный опыт ранжирования в высшем образовании отношению к другим сферам научных знаний. Следствием этого является недостаточ­ но высокая представленность университетов­лидеров в определенных областях науки, не прибегающих к распространению результатов своих исследований через научные журналы. Web of Science (WoS) и Scopus в настоящий момент пытаются скорректиро­ вать методы расчета библиометрических индикаторов путем включения статистики о публикациях в областях знаний, недостаточно представленных в журналах. Также про­ водится корректировка библиометрических индикаторов, для того чтобы они отража­ ли статистику о публикациях в международных журналах и материалах конференций.

Но, несмотря на прилагаемые усилия, эти базы библиометрических данных еще долгое время не смогут в полной мере отразить научную деятельность университетов в обла­ стях искусства и гуманитарных наук.

Другая проблема заключается в том, что журнальные публикации, включенные в международные базы Web of Science (WoS) и Scopus, главным образом изданы на ан­ глийском языке. Это определяет смещение баз в сторону англоязычных источников и ставит в менее выгодное положение результаты научных исследований, опубликован­ ных на каком­либо другом языке, и исследовательские коллективы и организации в странах с богатой традицией научных исследований (Франция, Германия, Китай, Япо­ ния). Такой перекос в пользу англоязычных публикаций также заключает в себе необъ­ ективное отражение деятельности университетов на предметно­дисциплинарном уров­ не. Результаты научных исследований публикуются в основном на английском языке, тогда как гуманитарные и социальные области знаний развиваются преимущественно в контексте национальных академических систем и публикуются главным образом на языке страны, где работа была проведена. Таким образом, подсчет цитирований пу­ бликаций на английском языке создает перекос в сторону естественных наук. Web of Science (WoS) и Scopus пытаются разрешить сложившуюся проблему путем создания отдельных баз данных по публикациям в гуманитарных журналах на различных евро­ пейских языках.

Библиометрические индикаторы также могут быть необъективными инструмен­ тами оценки научной деятельности университетов. Так, например, публикации круп­ ных университетов цитируются более часто, чем публикации небольших университе­ тов. Кроме того, четко не определена процедура отнесения авторства публикаций для отдельных ученых и институтов, что снижает уровень надежности библиометрических индикаторов и требует более внимательного их использования при построении ранжи­ рования [25, 26].

Самоотчеты вузов и исследовательских институтов В случае, когда информация, полученная из статистических баз данных, недоста­ точна для построения ранжирования, разработчики прибегают к сбору данных с по­ мощью самоотчетов [32]. Многие данные, например, о преподавательском составе, материальной базе / инфраструктуре, перераспределении бюджета или доходе от ли­ цензирования, эффективнее собирать с помощью самих вузов. Практически полная монополия университетов на предоставление доступа к подобного рода информации создает проблему отношений принципала – агента и может вести к фальсификации данных, используемых для построения ранжирований, самими университетами. Тер­ мины, используемые различными университетами, в особенности в разных странах, могут значительно различаться. Существуют определенные трудности нахождения единой терминологии для данных, собираемых в различных странах. Необходимо так­ вестниК международныХ орГанизаЦий. 2012. № 1 (36) же проводить анализ данных, резко отличающихся от среднего значения исследуемых переменных, при помощи методов временных рядов, триангуляции и обсуждения с консультационным советом.

Опросы Некоторые ранжирования опираются на данные, получаемые с помощью экс­ пертных опросов (THE, QS, USN&WR, CHE). В частности, таким способом ведется сбор данных для оценки репутации университетов. Источниками информации об удо­ влетворенности являются студенты и выпускники университетов (CHE, SK123).

Степень удовлетворенности, с помощью которой студенты и выпускники оцени­ вают свой опыт обучения в университете, является важным источником информации для будущих студентов, находящихся в поиске учебного заведения. В этом отношении качество является категорией крайне субъективной. Опросы студентов, проведенные Центром высшего образования, ранжированием SK123, национальные опросы студен­ тов Великобритании и Австралии показали, что данный источник информации очень важен для сравнения различных программ образования. Тем не менее до настоящего момента было выполнено очень мало исследований относительно возможности срав­ нения данных об уровне удовлетворенности студентов, собранных в разных странах.

Очевидно, что уровень удовлетворенности университетом напрямую зависит от ряда страновых факторов, таких, например, как культура (приемлемость критики по отно­ шению к преподавателям) и особенности применения измерительных шкал [42].

Также опросы используются для построения репутационной оценки университе­ тов. Анализ данных Центра высшего образования о репутации немецких, швейцарских и австрийских университетов показал, что оценка репутации должна использоваться с особой осторожностью при составлении международных ранжирований. Эксперты, принимающие участие в репутационном опросе, могут дать необъективную оценку университетам другой страны, поскольку могут иметь представление только о наибо­ лее известных вузах страны. Качество получаемых таким образом данных зависит во многом от качества и размера выборочной совокупности. В 2009 г. в США разгорел­ ся спор о надежности результатов опроса академического сообщества, используемых для построения рейтинга USN&WR: респонденты были обвинены в занижении оценок других университетов для более выгодного представления своих университетов.

Таблицы лиг Использование только одной категории данных для построения ранжирований ограничивает само понятие качества получаемого на выходе результата, и это имеет свои последствия. Тем не менее более узкое понимание качества сегодня характерно для многих систем ранжирования, концентрирующихся в основном на «исследова­ тельских университетах мирового уровня». Правительства прикладывают серьезные усилия для создания «университетов мирового уровня» через специальные системы финансирования. Они также способствуют объединению университетов и оказывают всестороннюю поддержку университетам такого типа [28]. Проведение подобной по­ литики критикуется за чрезмерную концентрацию ресурсов только на исследователь­ ских университетах мирового уровня в ущерб остальным элементам национальной системы высшего образования. Подобным образом с критикой ранжирований бизнес­ программ выступила Ассоциация развития университетских бизнес­школ (AAGSB) за международный опыт ранжирования в высшем образовании недопустимое и рискованное сужение разнообразия бизнес­обучения до одного узко­ специализированного типа программ MBA [1].

Большинство национальных и международных ранжирований публикуется в виде таблиц лиг, в которых положение университета вверху таблицы означает его более вы­ сокое качество. Все университеты в таблице лиг оценены на основании порядковой шкалы, что само по себе создает проблему. Изменение места университета в таблице не всегда означает изменение качества его работы, если показатели деятельности дру­ гих университетов также изменились. Кроме того, проблемы могут возникнуть, если оценки, присвоенные университетам, отличаются на размер допустимого предела по­ грешности. Кроме того, существует риск случайных флуктуаций рангов университетов в результате ошибок в измерении. Так, например, в ранжировании THE 2008 г. разница между 27­м местом (Университет Брауна) и 43­м местом (Университет Квинсленда) со­ ставляла только 4,5 балла, тогда как между 50­м и 100­м местом в рейтинге она состав­ ляла 10 баллов. В ранжировании QS 2009 г. и 2010 г. положение десяти учебных заведе­ ний изменилось в течение одного года более чем на 20 позиций. Очевидно, что такая форма ранжирования необоснованно увеличивает разницу между учебными заведени­ ями и подчеркивает вертикальную стратификацию системы высшего образования.

Агрегированные (композитные) индикаторы Агрегированные индикаторы, используемые для построения ранжирований, пред­ ставляют собой баллы, получаемые из комбинации нескольких базовых показателей.

Очевидно, что выбор базовых показателей и приписанных им весов оказывает влияние на значение агрегированной оценки и, соответственно, на итоговую таблицу лиг. В свя­ зи с этим возникает три вопроса, требующих дальнейшего обсуждения.

Во­первых, приписывание весов отдельным базовым показателям требует нали­ чия концептуальной модели, которая обосновывает используемые веса показателей, оценивающих разные стороны качества деятельности высшего учебного заведения.

Анализ результатов рейтинга USN&WR, проведенный Национальным центром ис­ следований общественного мнения, подтвердил, что «веса, используемые при рас­ чете агрегированного индикатора, не имеют под собой эмпирической или теорети­ ческой основы»14. Проблема отсутствия общепринятой теоретической основы или результатов эмпирических исследований, на основе которых мог бы производиться расчет весов, сохраняется по сей день [9]. Более того, выбор веса может повлиять на необъективность оценки отдельных типов вузов. Так, например, индикатор репута­ ции университета, используемый в международных ранжированиях, наиболее высо­ ко оценивает университеты, расположенные в крупных городах, ввиду их большей известности [23].

Во­вторых, ранжирования предназначены для разных групп пользователей с раз­ личными приоритетами и предпочтениями в отношении услуг высшего образования.

Более того, индивидуальный потребитель также обладает различными приоритетами и предпочтениями, т.е. разные студенты используют разные критерии при выборе выс­ шего учебного заведения. Таким образом, наиболее полезным с точки зрения информа­ тивности для пользователя будет то ранжирование, которое учитывает неоднородность A Review of the Methodology for the U.S. News & World Report’s Rankings of Undergraduate Col­ leges and Universities. URL: http:// www.washingtonmonthly.com/features/2000/norc.html (date of access:

23.01.2012).

вестниК международныХ орГанизаЦий. 2012. № 1 (36) предпочтений потребителей и, по возможности, создает условия для выбора индика­ торов и их весов самим пользователем ранжирования. Ранжирование, построенное на основе композитных индикаторов с присвоенными им весами, в определенном смысле принимает решение за пользователя ранжирования о том, какие показатели деятель­ ности университета имеют большую ценность. Дж. Экклс [12] также указывает на то, что заданные веса индикаторов не отражают «нетрадиционные» интересы студентов.

Для того чтобы удовлетворить разнообразные потребности пользователей услуг об­ разования, многие разработчики ранжирований публикуют результаты в интерактив­ ном интерфейсе, размещенном на странице проекта в Интернете, который позволяет пользователю самостоятельно выбрать индикаторы и значения весов, по которым бу­ дет выполняться ранжирование. Некоторые ранжирования, например Guardian, предо­ ставляют пользователю возможность самостоятельно определить вес субиндикаторов, лежащих в основе композитного индикатора оценки. Такие ранжирования, как SK123, CHE, рейтинг Тайваньского совета оценки и аккредитации образовательных учрежде­ ний (HEEACT ), позволяют пользователю выбрать индикаторы, на основании которых строится ранжирование.

В­третьих, проведенный Сэйсана и Д’Омбрес [27] статистический анализ методо­ логий, используемых рейтингами THE и Академическим рейтингом университетов мира Шанхайского университета для построения агрегированных показателей, подтвердил их недостаточную обоснованность. Статистический анализ чувствительности и экспе­ рименты независимого построения этих ранжирований показали, что положение в та­ блице лиг 67% университетов, включенных в ранжирование THE, и 60% университетов, включенных в ранжирование Шанхайского университета, существенно изменяется при изменении элементов композитного индикатора. Наиболее заметно при изменении ин­ дикаторов в таблице лиг меняются позиции университетов в основном с низкими бал­ лами. Но есть и исключения. Например, Технологический университет Массачусетса в таблице лиг THE в результате перешкалирования переместился с 10­го на 25­е место.

На основании проведенного анализа Сэйсана и Д’Омбрес пришли к заключению, что «результаты ранжирований, представленные в таблицах лиг, не могут служить оконча­ тельным выводом для сравнения деятельности различных университетов».

современные дискуссии о ранжировании вузов Усложнение систем научных исследований и высшего образования происходит сегод­ ня по всему миру. Различные группы стейкхолдеров ощущают потребность в полной и достоверной информации не только о системе высшего образования в своих странах, но, что примечательно, о состоянии систем за рубежом. В ответ на растущую потреб­ ность в транспарентности систем высшего образования появляются многочисленные национальные и международные классификации и ранжирования.

В известной работе «Закон необходимого разнообразия» Эшби отмечает, что чем более сложной становится система высшего образования, тем более комплексные эле­ менты должны быть использованы для ее анализа. Другими словами, для анализа про­ стой системы единообразных университетов вполне достаточен такой инструмент, как таблица лиг. Однако для достижения необходимого уровня транспарентности суще­ ствующей на данный момент более сложной системы высшего образования требуются комплексные инструменты, в том числе и потому, что повышается роль системы выс­ шего образования в обществе. Так как в деятельности университетов начинает прояв­ лять заинтересованность все больше различных групп стейкхолдеров, их потребности также должны быть учтены при разработке инструментов транспарентности.

международный опыт ранжирования в высшем образовании Инструменты транспарентности разрабатываются для того, чтобы помочь различ­ ным стейкхолдерам при анализе информации и принятии решений. Информационные потребности различных групп пользователей в услугах высшего образования очень раз­ нообразны. Более того, сами группы стейкхолдеров также неоднородны: потребности отдельных категорий пользователей, заинтересованных в специальных программах обучения, могут существенно отличаться от потребностей выпускников школ. Инстру­ менты транспарентности должны быть разработаны таким образом, чтобы удовлетво­ рить информационные потребности различных групп потребителей.

Данный анализ основан на недавних публикациях, содержащих критику существую­ щих инструментов транспарентности, количество которых с каждым годом заметно растет. Однако мы, тем не менее, не призываем полностью отказаться от публикации рейтингов, ведь многие стейкхолдеры выражают естественную заинтересованность в информации о вузах и исследовательских институтах, отдельных программах обучения.

Инструменты транспарентности, такие как классификации и ранжирования, таким об­ разом, играют большую роль в дальнейшем развитии инструментов контроля качества системы высшего образования. Мы обращаем внимание на необходимость принятия мер для повышения качества инструментов транспарентности. Нам представляется, что здесь возможны два пути.

Во­первых, составители ранжирований могут провести корректирующую работу самостоятельно, разработав принципы, на основании которых должно выполняться ранжирование и определяться, какие именно методологии ранжирования являются «качественными». Эта идея была воплощена через учреждение специальной организа­ ции – Международной группы экспертов по ранжированию (IREG), членами которой стали экспертные организации и отдельные эксперты, занимающиеся построением различных видов ранжирований. Группа проводит регулярные встречи. Так, на встрече в Берлине в 2006 г. члены группы пришли к соглашению о выработке списка основных принципов (Берлинские принципы ранжирования высших учебных заведений), ко­ торые должны учитываться при разработке ранжирований. Постановка целей и задач ранжирований, определение методологии, весов индикаторов, сбор и обработка дан­ ных, а также форма представления результатов ранжирования должны производиться с учетом Берлинских принципов.

Берлинские принципы ранжирования призывают разработчиков:

– к четкой постановке целей и определению целевой группы пользователей;

– отражению разнообразия высших учебных заведений;

– прозрачности методологии ранжирования;

– измерению результатов деятельности вузов, а не их исходных параметров;

– предоставлению потребителям ранжирования полной информации о его со­ ставлении и выбора в представлении результатов ранжирования;

– применению принципов контроля качества при разработке ранжирования (на­ чиная с 2011 г. Международная группа экспертов по ранжированию намерена про­ водить аудит и сертификацию ранжирований).

Берлинские принципы ранжирования высших учебных заведений представляют собой свод рекомендаций для построения хорошего ранжирования. Применение Бер­ линских принципов отражает многомерность понятия «качество» в сфере высшего об­ разования.

Другой способ повышения качества инструментов транспарентности ранжиро­ ваний заключается в признании разнообразия потребностей различных групп стейк­ холдеров в услугах высшего образования и, следовательно, в признании важности вестниК международныХ орГанизаЦий. 2012. № 1 (36) разработки многомерных инструментов ранжирования. В Центре политики высшего образования университета Твенте разрабатывается проект глобального ранжирования, который может удовлетворить потребности различных групп пользователей услуг выс­ шего образования и научно­исследовательских институтов. Данный проект под назва­ нием U-multirank осуществляется международным исследовательским консорциумом.

Вместе с Центром политики высшего образования университета Твенте в разработке U­multirank принимают участие известные разработчики специализированных ранжи­ рований: Центр высшего образования CHE, имеющий опыт ранжирования, ориенти­ рованный, прежде всего, на удовлетворение информационных потребностей студентов;

Центр научных и технологических исследований университета Leiden, проводящий ранжирование университетов относительно результатов их научной деятельности. Ис­ следования и инновации как области, представленные в существующих системах ран­ жирования в недостаточной степени, включены в проект U­multirank, осуществляемый в университете Левен в Бельгии. Парижская Обсерватория науки и техники также яв­ ляется частью группы разработчиков. Привлечение к выполнению проекта специали­ стов различных областей отражает главную цель проекта – разработку дедуктивного подхода к построению ранжирования, которое должно отражать различные аспекты миссии высшего образования и научно­исследовательских институтов, признавая при этом, что не все высшие учебные заведения должны достигать высоких результатов по всем направлениям деятельности.

Дидактический подход к составлению ранжирования, в отличие от конъюнктурно­ го, призывает к использованию как существующих, доказавших свою эффективность индикаторов, так и к разработке новых индикаторов, таких как «оценка взаимодей­ ствия университета с регионом». Проект U­multirank подразумевает пилотную стадию, в рамках которой будет получена информация о том, какие показатели должны быть разработаны для максимально точной оценки различных сторон деятельности вузов и научно­исследовательских институтов. Ранжирование U­multirank стремится удовлет­ ворить потребности различных групп пользователей посредством создания как ранжи­ рований высших учебных заведений и научно­исследовательских институтов (отвечая тем самым потребностям руководителей организаций и управленцев в системе образо­ вания), так и предметно­ориентированных ранжирований (для информирования сту­ дентов и абитуриентов).

Несомненно, U­multirank является крупным, непростым и потенциально риско­ ванным проектом. Измерение и оценка большинством ранжирований только тех на­ правлений деятельности высших учебных заведений, которые им наиболее доступны, еще раз подтверждает тот факт, что измерение именно тех данных, которые наиболее точно отражают университетскую активность, является крайне сложным. Для того чтобы обеспечить легитимность и обоснованность методологии нового ранжирования U­multirank, к его созданию были привлечены различные международные эксперты и группы стейкхолодеров. Окончательный доклад по проведенным исследованиям опу­ бликован в 2011 г., в него вошли эмпирически подкрепленные ответы на вопрос о том, может ли деятельность учреждений высшего образования и исследовательских инсти­ тутов быть транспарентной для пользователей на глобальном уровне.

Только будущие исследования в области составления ранжирований покажут, возможна ли разработка глобального многомерного инструмента транспарентности.

Такой инструмент сможет сделать деятельность учреждений высшего образования и научно­исследовательских институтов более прозрачной для внешних пользователей только в том случае, если с его помощью будут решены методологические пробле­ международный опыт ранжирования в высшем образовании мы, обозначенные в данной статье. Во­первых, учреждениям высшего образования должна быть предоставлена возможность показать свой индивидуальный «профиль».

Во­вторых, ранжирование должно удовлетворять информационным потребностям различных групп пользователей. И в­третьих, учреждения высшего образования и научно­исследовательские институты должны иметь возможность продемонстрировать свои сильные стороны. Если все эти требования будут учтены, многомерное ранжиро­ вание поистине сможет стать инструментом транспарентности нового поколения.

Авторы выражают благодарность профессору Паулю Бенневорту, сотруднику Центра изучения политики высшего образования за его вклад в написание статьи. Авторы также хотели бы отме­ тить, что статья опирается на данные нескольких проектных отчетов, к работе над которыми были привлечены авторы. Эти отчеты доступны в сети Интернет: Разработка и предварительное тести­ рование многомерного глобального ранжирования (CHE) и U­multirank: промежуточный отчет.

Литература 1. AACSB, The Business School Rankings Dilemma: A Report from a Task Force of AACSB International’s Committee on Issues in Management Education // AACSB. Tampa, 2005.

2. AUBR Expert Group, Assessing Europe’s University­Based Research // European Commis­ sion. Directorate General for Research. Brussels, 2010.

3. Bonroy O., Constantatos C. On the Use of Labels in Credence Goods Markets // Journal of Regulatory Economics. 2008. Vol. 33. No. 3. P. 237–252.

4. Bowden R. Fantasy Higher Education: University and College League Tables // Quality in Higher Education. 2000. Vol. 6. No. 1. P. 41–60.

5. Bowman N.A., Bastedo M.N. Anchoring Effects in World University Rankings: Exploring Biases in Reputation Scores // Higher Education. Springer Science, 2010.

6. Brennan J. et al. Towards a Methodology for Comparative Quality Assessment in European Higher Education: a Pilot Study on Economics in Germany, the Netherlands and the United Kingdom // CNAA/CHEPS/HIS. London;

Enschede;

Hannover, 1992.

7. Clarke M. Quantifying Quality: What Can the US News and World Report Rankings Tell us About the Quality of Higher Education // Education Policy Analysis Archives. 2002. Vol. 10. No. 16.

8. Dill D.D. Convergence and Diversity: The Role and Influence of University Rankings // Pa­ per presented at the CHER 19th Annual Research Conference, Kassel, 7–9 September, 2006.

9. Dill D.D., Soo M. Academic Quality, League Tables, and Public Policy: A Cross­National Analysis of University Ranking Systems // Higher Education. 2005. Vol. 49. P. 495–533.

10. Dulleck U., Kerschbamer R. On Doctors, Mechanics, and Computer Specialists: The Eco­ nomics of Credence Goods // Journal of Economic Literature. 2006. Vol. 44. No. 1. P. 5–42.

11. Dyke N. (van). Twenty Years of University Report Cards // Higher Education in Europe.

2005. Vol. 30. No. 2. P. 103–125.

12. Eccles J.S., Gootman J.A. (eds.). Community Programs to Promote Youth Development.

National Academy Press. Washington, 2002.

13. Federkeil G. Rankings and Quality Assurance in Higher Education // Higher Education in Europe. 2006. Vol. 33. P. 209–218.

14. Federkeil G. Reputation Indicators in Rankings of Higher Education Institutions // Univer­ sity Rankings, Diversity and the New Landscape of Higher Education / B.M. Kehm, B. Sten­ saker (eds.). Sense Publishers, Rotterdam;

Taipeh, 2009. P. 19–34.

вестниК международныХ орГанизаЦий. 2012. № 1 (36) 15. Gottlieb B. Cooking the School Books: How US News Cheats in Picking its ‘Best American Colleges // Slate. 1999. 1 September.

16. Harvey L. Rankings of Higher Education Institutions: A Critical Review // Editorial, Quality in Higher Education. 2008. Vol. 14. No. 3. P. 187–207.

17. Hazelkorn E. The Impact of League Tables and Kanking Systems on Higher Education Deci­ sion­making // Higher Education Management and Policy. 2007. Vol. 19. No. 2. P. 87–110.

18. Houston D. Rethinking Quality and Improvement in Higher Education // Quality Assurance in Education. 2008. Vol. 16. No.1. P. 61–79.

19. IHEP. Impact of College Rankings on Institutional Decision Making: Four Country Case Studies // Institute for Higher Education Policy, Washington DC, 2009.

20. International Ranking Expert Group. Berlin Principles on Ranking of Higher Education In­ stitutions. 2006. URL: http://www.che.de/downloads/Berlin_Principles_IREG_534.pdf (date of access: 24.06.2006).

21. Juran J.M., Gryna F.M. (ed.). Juran’s Quality Control Handbook (4th ed.). McGraw­Hill:

N. Y., 1988.

22. King R. et al. Counting What is Keasured or Measuring What Counts? League Tables and their Impact on Kigher Education Institutions in England, 2008. Higher Education Funding Council for England, April 2008/14, s.l.

23. Marginson S. Global, multiple and engaged: Has the ‘Idea of a University’ changed in the era of the global knowledge economy? // Paper Presented at the Fifth International Workshop on Higher Education Reforms “The Internationalization of Higher Education and Higher Educa­ tion Reforms”. 2008.

24. McCormick A.C., Zhao C.M. Rethinking and Reframing the Carnegie Classification // Change. 2005. September/October. P. 51–57.

25. Moed H.F. Citation Analysis in Research Evaluation. Dordrecht. Springer, 2005.

26. Raan A.F.J. (van). Fatal Attraction: Conceptual and Methodological Problems in the Rank­ ing of Universities by Bibliometric Methods // Scientometrics. 2005. Vol. 62. No. 1. Akadmiai Kiad: Budapest and Springer, Dordrecht. P. 133–143.

27. Saisana M., D’Hombres B. Higher Education Rankings: Robustness Issues and Critical As­ sessment. How much confidence can we have in Higher Education Rankings? // Office for Of­ ficial Publications of the European Communities, Luxembourg. 2008.

28. Salmi J. The Challenge of Establishing World­Class Universities. World Bank. Washington DC, 2009.

29. Sharp W. Building reputations: How the game is played // 21st Century Research at Colum­ bia. 1995. Vol. 1. No. 1.

30. Stella A. Woodhouse D. Ranking of Higher Education Institutions. AUQA. Melbourne, 2006.

31. Stigler G. J. The Economics of Information // Journal of Political Economy. LXIX. 1961.

P. 213–225.

32. Thibaud A. Vers quel classement europen des universits? tude comparative du classement de Shanghai et des autres classements internationaux (Note de Benchmarking 4) // Institut Tho­ mas More. Paris/Brussels, 2009.

33. Usher A., Savino M. A World of Difference: A Global Survey of University League Tables // Educational Policy Institute. Toronto, 2006.

34. Vught F.A. (van) Mission Diversity and Reputation in Higher Education // Higher Education Policy. 2008. Vol. 21. No. 2. P. 151–174.

международный опыт ранжирования в высшем образовании 35. Vught F.A. (van). Governmental Strategies and Innovation in Higher Education (2nd ed.). L., 1993.

36. Vught F.A. (van) (ed.). Mapping the Higher Education Landscape: Towards a European Classification of Higher Education. Springer. Dordrecht, 2009.

37. Vught F.A. (van) et al. U­Map: The European Classification of Higher Education Institu­ tions. CHEPS. Enschede, 2010.

38. Wende M. (van der). Rankings and Classifications in Higher Education. A European per­ spective // Higher Education: Handbook of Theory and Research / J.C. Smart (ed.). 2008. Vol.

23. P. 49–71. Springer.

39. Westerheijden D.F. Movements towards a European Dimension in Quality Assurance and Accreditation // Working on the European Dimension of Quality: Report of the Conference on Quality Assurance in Higher Education as Part of the Bologna Process / D.F. Westerheijden, M. Leegwater (eds.). 2002. 12–13 March. Amsterdam, 2002. Ministerie van Onderwijs, Cultuur en Wetenschappen, Zoetermeer. P. 16–41.

40. Westerheijden D.F. The Changing Concepts of Quality in the Assessment of Study Pro­ grammes Teaching and Learning // Quality Assessment for Higher Education in Europe / A. Cavalli (ed.). L.: Portland Press, 2007. P. 5–16.

41. Westerheijden D.F. Information of Quality and Quality of Information to Match Students and Programme // The Future of Quality Accurance / J. Newton, R. Brown (eds.). EAIR. Am­ sterdam, 2009.

42. Westerheijden D.F. et al. Excellence Goes International: Piloting the CHE Ranking of Study Programmes in Flanders and the Netherlands // Paper Presented at the 21st Annual CHER Con­ ference. Pavia. 2008. 11–13 September.

43. Yorke M. The Times’ League Table of Universities, 1997: a Statistical Appraisal // Quality Assurance in Education 1998. Vol. 6. No. 1. P. 58.

Текст «Многомерное ранжирование: новый инструмент прозрачности в области высшего образова­ ния» авторов Франса ван Вухта и Дона Вестерхайдена был впервые опубликован на английском языке под названием “Multidimensional Ranking: a New Transparency Tool for Higher Education and Research” в журнале «Управление и политика в высшем образовании», том 22/3, 2010, http://www.oecd­ilibrary.org/ education/multidimensional­ranking_hemp­22­5km32wkjhf © 2010 OECD.

Все права защищены.

© 2012 Национальный исследовательский университет «Высшая школа экономики» для российского издания. Публикуется с разрешения ОЭСР, Париж. Национальный исследовательский университет «Высшая школа экономики» несет ответственность за качество перевода на русский язык и его соот­ ветствие оригиналу.

Originally published by the OECD in English under the title: Frans van Vught and Don F. Westerheijden (2010), “Multidimensional Ranking: a New Transparency Tool for Higher Education and Research”, Higher Education Management and Policy, Vol. 22/3, http://www.oecd­ilibrary.org/education/multidimensional­ ranking_hemp­22­5km32wkjhf24.

© 2010 OECD.

© 2012 Higher School of Economics (HSE), Russia for this Russian edition.

Published by arrangement with the OECD, Paris.

The quality of the Russian translation and its coherence with the original text is the responsibility of Higher School of Economics (HSE), Russia.




© 2011 www.dissers.ru - «Бесплатная электронная библиотека»

Материалы этого сайта размещены для ознакомления, все права принадлежат их авторам.
Если Вы не согласны с тем, что Ваш материал размещён на этом сайте, пожалуйста, напишите нам, мы в течении 1-2 рабочих дней удалим его.