Определение шкалы оценки профессиональной эффективности
Начнем с упражнения. Выберите трех знакомых вам людей – коллег или приятелей. Оцените каждого из них по шкале от 1 до 5. Примем балл 1 за самый низкий, балл 5 – за наивысший. Рассматривать будем три характеристики: доброту, интеллект и трудолюбие. Теперь попросите человека, который также хорошо знает ваших кандидатов, – супругу, коллегу, лучшего друга – проделать ту же процедуру с теми же людьми.
Высока вероятность, что ваш помощник в некоторых случаях выставит иной балл. Если есть желание – обсудите причины подобных расхождений. Скорее всего, выяснится, что вы использовали шкалу по-разному. Это и есть межэкспертный (в данном случае межличностный) шум. Возможно, вы считаете, что наивысшую оценку получит лишь человек, обладающий действительно выдающимися качествами. С другой стороны, ваш напарник уверен, что для выставления отличной оценки качества просто должны быть развиты выше среднего. Не исключено, что у вас с помощником разное мировоззрение: например, каждый из вас по-своему представляет себе доброту.
Теперь вообразите, что результатом вашего теста станет продвижение человека по службе или иные бонусы. Допустим, вы с напарником участвуете в оценке эффективности профессиональной деятельности работников какой-либо компании, где в шкалу ценностей включены доброта, интеллект и трудолюбие. Изменится ли выставленный вами балл? Будет ли он так же высок? А может, станет еще выше? Как бы вы ни ответили на наш вопрос, разница в целях исследования и особенностях использования измерительного инструмента наверняка создаст шумовой эффект. И в самом деле, обсуждаемые нами расхождения регулярно наблюдаются при оценке деловых качеств в зависимости от установок, принятых в той или иной компании.
Требуется суждение…
Оценка эффективности работника регулярно производится почти в каждой крупной компании, и сотрудники совсем не в восторге от подобного испытания. Вспоминается заголовок в одной из газет349: «Исследование показало, что практически каждый человек ненавидит аттестации». Добавим, что любой работник знает (во всяком случае, так нам представляется), что процесс аттестации подвержен как шуму, так и смещению. Кстати, почти никто из нас не подозревает, сколько шума производит сам.
В идеальном мире оценка эффективности не потребовала бы вынесения суждения; достаточной основой для оценки деловых качеств стали бы объективные факты. Однако большинство современных организаций разительно отличается от булавочной фабрики Адама Смита, где вклад каждого работника можно было точно измерить. Как сегодня оценить вклад в общее дело финансового директора или главы исследовательского отдела? Современные работники умственного труда работают в условиях многозадачности, и порой цели, на которые направлена их деятельность, противоречивы. Сосредоточиться лишь на одной из них – значит исказить оценку и нанести ущерб системе стимулирования. Например, количество пациентов, которых доктор принимает за день, безусловно, является важным фактором эффективности работы лечебного заведения. Тем не менее вы не захотите, чтобы врач сосредоточился исключительно на объеме, не станете оценивать его труд и поощрять лишь по количественному признаку. Каждый количественный индикатор работы – объем продаж или число строк программного кода – следует рассматривать в контексте. Клиент бывает простым, а бывает и сложным; не все проекты по разработке программного обеспечения идентичны по значимости. Подобные дилеммы говорят о том, что многих работников нельзя оценить комплексно лишь на основании объективных показателей производительности труда. Именно поэтому сегодня широко распространены аттестации с применением методов суждения350.
Одна доля реальных сигналов на три доли шума
По результатам опыта служебных аттестаций опубликованы тысячи аналитических статей, и большинство авторов приходит к выводу351 об огромной доле шума в оценках. В основном тревожные сигналы касаются метода «360 градусов», когда одного и того же работника по самым разным параметрам оценивают многочисленные эксперты. Не станем утверждать, что итоги подобных аттестаций обнадеживают. Исследования нередко говорят о том, что истинная дисперсия (то есть диапазон реальных оценок деловых качеств конкретного человека) составляет лишь от 20 до 30 % разброса оценок. Остальные 70–80 %352 являются системным шумом.
Откуда берется шум? Благодаря различным исследованиям353, посвященным дисперсии в оценках эффективности работы персонала, мы знаем, что в данном случае представлены все компоненты системного шума.
В контексте оценки деловых качеств каждый из них выделить несложно. Допустим, у нас два представителя аттестационной комиссии: Линн и Мэри. Линн снисходительная, а Мэри строгая (то есть Линн в среднем присваивает каждому аттестуемому более высокий балл); соответственно, здесь мы сталкиваемся с межэкспертным шумом. Как уже отмечалось при обсуждении судей, подобного рода шум может означать, что у Линн и Мэри действительно разное восприятие либо восприятие идентично, однако каждый из участников аттестационной комиссии по-своему использует шкалу оценки.
Итак, допустим, вас аттестует Линн. Она изначально невысокого мнения о вас, равно как и о вашем вкладе в работу компании. В таком случае ее обычная снисходительность компенсируется невольной негативной реакцией. Назовем подобную реакцию эксперта на конкретного работника стабильной моделью восприятия. Данная модель четко ассоциируется у Линн с вашей личностью и влияет на ее суждение, в чем мы и видим источник внутриэкспертного шума.
Допустим, что в течение рабочего дня Мэри сообщают: кто-то задел ее машину на служебной парковке. Заметим, что к этому моменту она еще не успела заполнить итоговый протокол оценки. Или предположим, Линн только что начислили весьма щедрую премию и она приступила к вашей аттестации в отличном расположении духа. Безусловно, каждое из этих событий генерирует ситуативный шум.
Сколько исследований – столько и мнений о разбивке системного шума на три указанных нами компонента (межэкспертный, внутриэкспертный и ситуативный). Пропорции варьируют в зависимости от того, за какой компанией мы наблюдаем, и мы вполне способны определить причины подобных вариаций. Так или иначе, каждая из разновидностей шума – явление нежелательное. Основная идея представляется довольно простой: оценка деловых качеств куда меньше отражает реальную эффективность работника, чем нам хотелось бы. В одном из аналитических обзоров мы прочтем следующее заключение: «Связь между реальной эффективностью профессиональной деятельности354 и ее оценкой чаще всего слаба или, по крайней мере, отличается неопределенностью».
Добавим, что существует множество причин, по которым итоговая оценка в конкретной организации не соответствует фактической эффективности аттестуемого работника355. Например, организация изначально не ставит перед собой задачи определения точных рейтингов, поскольку аттестация проводится исключительно для поддержания рабочего тонуса сотрудников356. Могут присутствовать и другие мотивы: эксперт намеренно завышает оценку, чтобы избежать последующего неприятного разговора с аттестуемым, либо стремится добавить баллов человеку, давно рассчитывающему на повышение по службе. Парадоксально, что высокая оценка может даже объясняться желанием оценивающего избавиться от неэффективного члена команды, способствуя его переводу в иное подразделение.
Приведенные в пример расчеты, безусловно, искажают итоговый рейтинг, однако не являются единственной причиной возникновения шумового фона. Об этом говорит и эксперимент, проведенный в естественных условиях: некоторые системы обратной связи, относящиеся к модели «360 градусов», используются исключительно в качестве стимулов развития. Респондентам сообщают, что оценка не будет использована для их аттестации. Если оценивающий верит подобному утверждению, то не станет ни завышать, ни занижать оценку. Выясняется, что в результате подобного подхода значительно меняется качество отзыва, и все же уровень системного шума остается высоким, обеспечивая больший разброс оценок, нежели предполагается реальной эффективностью оцениваемого работника. Даже в случаях отзывов сугубо в целях саморазвития357 в оценках по-прежнему присутствует много шума.
Старая проблема: в поисках решения
Если системы оценки эффективности работника настолько серьезно искажены, то люди, несущие ответственность за подобные тесты, должны заметить нарушения и принять меры к их исправлению. За последние несколько десятилетий действительно предпринимались попытки реформирования: организации внедряли стратегии снижения шума, о которых говорилось выше. Однако мы считаем, что работы еще непочатый край.
Методы обобщения используются практически в каждой компании и чаще всего ассоциируются с моделью «360 градусов», которая в 1990-х годах стала стандартной для крупных корпораций. (Журнал Human Resources Management опубликовал специальный выпуск, посвященный данной модели, еще в 1993 году.)
Следует отметить, что методы усреднения рейтингов, определенных разными экспертами, должны способствовать снижению шумового фона, однако модель «360 градусов» придумали для других целей. Ее основная задача – оценить больше факторов, чем видит невооруженным глазом босс корпорации. Когда коллеги и подчиненные добавляют свое видение к оценке вашей эффективности, меняется сама природа качеств, которые они оценивают. Теоретически подобный сдвиг является шагом вперед, поскольку суть современных подходов к работе заключается не только в удовлетворении требованиям босса. Рост популярности модели «360 градусов» совпал с развитием концепции гибкой, ориентированной на реализацию проектов организации.
Имеется ряд свидетельств, что модель «360 градусов» стала полезным инструментом, прогнозирующим объективно измеряемую358 эффективность работы. К сожалению, использование данной модели привело к некоторым проблемам. Всеобщая компьютеризация существенно облегчила добавление новых вопросов в подобные системы оценки. К тому же по мере усложнения корпоративных целей и правил разрастались и описания должностных функций, из-за чего многие формуляры для отзывов непомерно разбухли. Сегодня предостаточно анкет, перегруженных многочисленными вопросами359 (мы видели анкету, содержащую одиннадцать оценочных характеристик каждого работника: каждый подраздел состоял из сорока шести вопросов). Похоже, эксперту следует обладать сверхчеловеческими способностями, чтобы запомнить и учесть каждый значимый факт в отношении многих работников, оцениваемых по огромному количеству параметров. Описанный нами сложнейший подход не только бесполезен во многих отношениях; по сути, его влияние пагубно. Мы уже поняли, к чему приводит завышение оценки работника вследствие какой-либо преобладающей характеристики («эффект ореола»): некоторые независимые параметры измерения в итоге теряют свою независимость. Акцентированная положительная либо отрицательная оценка по первому же пункту вопросника задает тон при ответах на прочие вопросы анкеты.
Еще более важное соображение: развитие модели «360 градусов» в разы увеличило затраты времени на составление отзыва. Менеджера среднего звена могут попросить ответить на десятки анкет, посвященных характеристикам его коллег (начальников и подчиненных), а порой и работников из других компаний. Дело в том, что сегодня многие организации просят обратной связи от клиентов, поставщиков и иных партнеров по бизнесу. Намерение благое, однако подобный шквал требований, предъявляемых к экспертам, которые и так находятся в цейтноте, вряд ли даст основания ожидать качественной информации. В таком случае достигнутое снижение шумового фона не стоит затраченных усилий, что мы и обсудим в шестой части нашей книги.
И наконец, модель «360 градусов» не располагает защитой от общей болезни всех систем оценки: постепенной инфляции рейтингов. Одна из крупных промышленных компаний указала, что 98 %360 ее менеджеров получили оценку «полностью удовлетворяет ожиданиям». Если почти каждому присваивается наивысший балл, напрашивается вопрос: какова ценность подобных рейтингов?
Аргументы в пользу суждений относительного характера
Теоретически эффективным решением проблемы инфляции рейтингов может стать их стандартизация. Одна из популярных практик в этом плане – принудительное ранжирование361. В рамках данной системы оценивающего не только ограничивают в возможности поставить аттестуемому завышенный балл, но и заставляют действовать в пределах заданного распределения оценок. Систему принудительного ранжирования горячо поддерживал Джек Уэлч в бытность руководителем General Electric, считая ее способом устранения инфляции рейтингов и гарантией «честной» аттестации. Многие компании взяли методику ранжирования на вооружение, однако впоследствии были вынуждены от нее отказаться, указав на ее нежелательное воздействие на моральное состояние коллектива и командную работу.
Каковы бы ни были недостатки методики, отметим, что ранжирование содержит меньше изъянов, нежели индивидуальные рейтинги. В примере с компенсацией морального ущерба мы наблюдали, что суждения относительные содержат меньше шума, чем абсолютные, и данная закономерность также прослеживается в оценке деловых качеств работников362.
Рис. 17363. Примеры абсолютной и относительной шкалы оценки
Причины подобной разницы мы поймем, посмотрев на рисунок 17, представляющий нашему вниманию два примера шкалы оценки работников. В секции А служащий оценивается по шкале оценок в абсолютном выражении. Здесь от оценивающего требуется выполнить процедуру, которую мы называем «совмещением»: необходимо найти то значение, которое наиболее полно соответствует вашим впечатлениям от качества работы подчиненного. В секции Б, напротив, требуется сравнить вашего сотрудника с группой его коллег по одному параметру (в данном случае по надежности). Руководителя просят определить ранг сотрудника (или дать оценку в процентном выражении) в коллективе, используя процентильную шкалу. Мы видим, что начальник оценил по данной шкале трех подчиненных.
Подход, представленный в секции Б, имеет два преимущества. Во-первых, одновременное ранжирование всех сотрудников по одному критерию служит примером стратегии снижения шума, которую мы более подробно обсудим в следующей главе. Мы говорим о делении комплексного суждения на несколько элементов. Подобное структурирование представляет собой попытку ограничить влияние эффекта ореола, за счет которого баллы, присвоенные работнику по разным параметрам, колеблются в пределах узкой зоны значений. Разумеется, подобное структурирование работает лишь в случаях выполнения ранжирования отдельно по каждому критерию, как и указано в нашем примере. В случаях, когда ранжирование производят на основе неверно определенного общего суждения «о качестве работы», снизить влияние эффекта ореола не получится.
Во-вторых, как мы уже говорили в главе 15, ранжирование снижает воздействие и внутриэкспертного, и межэкспертного шума. Вероятность ошибки сильно уменьшится, если вы сравните эффективность двух членов вашей команды, и возрастет, если вы попытаетесь оценить каждого по отдельности. В данном случае важно отметить, что ранжирование механически устраняет межэкспертный шум. Если Линн и Мэри оценивают одну и ту же группу из двадцати работников (учитывая, что Линн снисходительнее своей коллеги), то средний индивидуальный рейтинг, определенный нашими дамами, будет отличаться, а вот средний результат ранжирования – нет. Что снисходительный, что строгий эксперт – в данном случае оба используют один и тот же подход.
Снижение шума является главной заявленной целью принудительного ранжирования, которое гарантирует, что каждый оценивающий эксперт в итоге приходит к одному и тому же среднему значению и идентичному распределению оценок. Ранжирование носит принудительный характер в случаях, когда распределение оценок строится на обязательном условии. Например, стандарты компании предусматривают, что не более 20 % работников может попасть в высшую категорию и не менее 15 % – в низшую.
Ранжируем без принуждения
В принципе принудительное ранжирование должно привнести долгожданные улучшения в систему оценки, и все же нередко подобная стратегия терпит крах. Мы не ставим перед собой задачу провести анализ всех возможных нежелательных эффектов (которые частенько больше связаны со слабым качеством исполнения, чем с самой концепцией). И все же выделим два нюанса, которые послужат нам уроком.
Первый из них – смешение оценки эффективности в абсолютном и относительном выражении. Разумеется, 98 % всех менеджеров компании не могут попасть в группу лучших работников, если она по условиям задачи составляет не более 20 % от общей численности (или 50 %, или даже 80 %). С другой стороны, каждый из них вполне может «соответствовать ожиданиям», если подобные ожидания определены предварительно, причем в абсолютном выражении.
Многие руководители не согласятся с утверждением, что практически все сотрудники соответствуют ожиданиям. Если подобное происходит, говорят они, значит, ожидания занижены – вероятно, по причине царящей в компании самоуспокоенности. Призна́ем, что подобная трактовка имеет право на жизнь, однако возможно и другое: большинство работников действительно удовлетворяют высоким требованиям. В самом деле, именно такого результата мы и ожидаем от действительно эффективной компании. Вряд ли вы с усмешкой заметите, что руководство NASA снисходительно подходит к процедурам оценки эффективности, если вам скажут, что все космонавты, вернувшиеся из успешного полета в космос, полностью соответствовали ожиданиям.
Каков же наш вывод? Система, полагающаяся на относительные оценки, адекватна лишь при условии, что компания действительно заинтересована в относительной оценке эффективности труда. Например, относительная оценка имеет смысл в том случае, когда, независимо от абсолютных показателей эффективности персонала, лишь определенный процент работников может получить повышение по службе. Однако принудительное внедрение относительного ранжирования в ситуациях, подразумевающих измерение абсолютного уровня эффективности, является совершенно нелогичным. Введение обязательного требования о доле работников, не соответствующих ожиданиям абсолютного характера, не просто жестоко; подобное требование абсурдно. Разве не глупо прозвучит заявление, что 10 % состава элитного армейского подразделения следует определить в категорию «неудовлетворительно»?
Еще одна проблема заключается в том, что принудительное распределение оценок подразумевает отражение истинной эффективности, и, в общем случае, подобный подход близок к нормальному распределению. В то же время, если даже распределение оценок эффективности в пределах группы примерно известно, аналогичное распределение не сработает, если состав группы сузить. Допустим, вы произвольно выбрали десять человек из нескольких тысяч. Нет никаких гарантий, что двое из них окажутся в элите, составляющей по условиям задачи 20 % от общего количества. «Нет гарантий» – это еще мягко сказано: вероятность, что вы попадете в точку, составляет всего лишь 30 %. На практике все еще хуже, ибо в одних подразделениях служат исключительно эффективные работники, в других же могут оказаться сплошь нерадивые.
В подобных условиях принудительное ранжирование неизбежно является источником ошибки и несправедливого подхода. Представим, что команда, которую оценивает один эксперт, составлена из пяти человек, степень эффективности которых практически неотличима. Принудительное распределение по шкале в условиях отсутствия различий не понизит вероятность ошибки. Наоборот, тем скорее ошибка произойдет.
Критики системы принудительного ранжирования часто нападают на сам принцип, который осуждают как жестокий, бесчеловечный и приводящий к обратному результату. Вы можете не согласиться с их аргументами, однако фатальный недостаток принудительного ранжирования – не сам факт распределения, а именно его принудительный характер. Ваши суждения насильственным образом распределяются по несоответствующей реальности шкале: либо шкалу относительных ценностей ошибочно используют для измерения абсолютной эффективности, либо судей заставляют различать неразличимое – в каждом из подобных случаев выбор неверной шкалы оценки автоматически создает дополнительный шум.
Что же дальше?
Попытки компаний оптимизировать системы измерения эффективности, прямо скажем, разочаровывают. Более того, в результате всех этих усилий затраты на оценку эффективности взлетели до небес. Еще в 2015 году в Deloitte364 подсчитали, что на оценку эффективности шестидесяти пяти тысяч человек ежегодно уходит два миллиона часов. Аттестации остаются одним из самых устрашающих ритуалов; их ненавидят и сами оценивающие, и аттестуемый персонал. В ходе одного исследования365 выяснилось, что 90 % боссов, сотрудников и глав кадровых служб считают, что процесс управления эффективностью не приносит тех результатов, на которые рассчитывают компании. Ошеломляющая цифра! Между тем исследование всего лишь подтвердило ощущения большинства руководителей. Хотя обратная связь в отношении результатов работы (если считать оценку планом развития работника) способна дать положительный эффект, сам рейтинг эффективности (или, во всяком случае, методы его присвоения) лишает работника мотивации столь же часто, сколь и стимулирует. В одном из обзоров подведен следующий итог: «Какие бы меры366 ни принимались за последние десятилетия для оптимизации процесса [управления эффективностью], любые попытки порождают потоки неточной информации и практически не способствуют повышению эффективности».
Некоторые доведенные до отчаяния компании (а их становится все больше) сегодня рассматривают радикальные методы полного отказа от систем оценки. Среди сторонников революции в процессе управления эффективностью367 немало компаний из сферы высоких технологий и профессиональных услуг, а также ряд компаний из традиционных секторов экономики. В лагере революционеров больше сосредоточились на развивающих и работающих на будущее методах обратной связи, нежели на технологиях ретроспективной оценки. Кое-кто даже применяет системы анализа, не содержащие количественных значений, – то есть происходит отказ от традиционного формирования рейтинга эффективности.
Как оптимизировать систему рейтингов тому, кто не намерен сдаваться? Ведь таких компаний подавляющее большинство. Повторим, что одна из стратегий снижения шума заключается в выборе правильной шкалы с целью обеспечить общую систему отсчета. Результаты исследований заставляют предположить, что сочетание усовершенствованных форматов оценки и обучение составляющих отзывы экспертов помогут добиться большей слаженности действий в применении шкалы.
Как минимум шкала оценки эффективности должна быть привязана к достаточно точным характеристикам, которые дадут возможность их единообразной интерпретации. Многие компании пользуются шкалой, привязанной к поведенческим показателям. Каждое деление на подобной шкале соответствует определенной поведенческой характеристике. Подобный пример приведен в левой секции рисунка 18.
Руководствуясь имеющимся опытом368, скажем, что поведенческая шкала не устраняет шум в достаточной степени. Следующий шаг на этом пути – обучение экспертов принципам общей системы отсчета, позволяющей достигнуть межэкспертного согласия. На данной стадии они учатся распознавать различные измерительные характеристики эффективности369, набивая руку на присвоении оценок с помощью коротких обучающих видеороликов. В процессе подготовки каждый из них видит, насколько составленный ими рейтинг совпадает с «истинной» оценкой. Обучающие ролики служат рекомендуемой моделью, и каждый из них определяет какое-либо опорное значение на шкале оценки. Данная шкала содержит конкретные примеры, как указано в правой секции рисунка 18.
В случае применения шкалы опорных значений рейтинг каждого работника является сравнением с эталонным случаем, а суждение приобретает относительный характер. Учитывая, что сравнительные суждения меньше подвержены воздействию шума, чем абсолютные рейтинги, шкала опорных значений надежнее системы, использующей количественные, описательные или поведенческие характеристики.
Специалист по работе с клиентами:
Предупредителен и вежлив с каждым клиентом; надлежащим образом применяет знания о каждом товаре, помогая клиенту сделать выбор; прислушивается к каждому слову, старается выглядеть жизнерадостным, позитивным, полезным.
Рис. 18370. Пример поведенческой шкалы оценки (слева) и шкалы опорных значений (справа)
Обучение общей системе отсчета уже несколько десятков лет дает результат в виде снижения шума и способствует более точным оценкам. И все же данный метод не получил широкого распространения – о причинах подобного отношения догадаться несложно. Обучение общей системе отсчета, разработка шкалы опорных значений и иные инструменты, преследующие аналогичные цели, сложны и требуют времени. Повысить их ценность можно, адаптировав методы к специфике каждой компании и даже конкретного подразделения, осуществляющего оценку. Каждую методику следует регулярно обновлять по мере эволюции требований к работе персонала. Таким образом, любой из указанных нами методов предполагает регулярные дополнительные инвестиции в системы управления эффективностью. Современные тенденции, к сожалению, имеют иной знак. В части VI мы подробнее остановимся на затратах, связанных со снижением шума.
Следует добавить, что любая компания, идущая по пути нейтрализации шума, в процессе оценивания снижает способность «судей» влиять на итоговый рейтинг в личных целях. Заставляя менеджеров пройти дополнительное обучение, затратить больше усилий на процесс вынесения суждений и отказаться от контроля над результатами тестирования, вы, разумеется, встретите с их стороны серьезное сопротивление. Характерно, что большинство исследований371 метода обучения общей системе отсчета пока проводилось на студентах, не затрагивая реальных руководителей.
Оценка эффективности – масштабная тема, вызывающая множество практических и философских вопросов. Порой спрашивают: насколько само понятие индивидуальной эффективности актуально для современных компаний, когда итоговый результат нередко зависит от умения сотрудников взаимодействовать друг с другом? Если мы полагаем, что оно все же значимо, – следует задуматься: как эффективность распределяется между сотрудниками организации? Распределение может быть равномерным, хотя порой в компании работает «звезда»372, вносящая непропорционально большой вклад в общую эффективность по сравнению с коллегами. Если ваша цель заключается в том, чтобы выявить лучшие качества каждого работника, имеются основания для следующего вопроса: нет ли у вас ощущения, что методы измерения эффективности пробуждают в сотрудниках страх и корысть? Если да – точно ли подобный подход является лучшим (или хотя бы эффективным)?
Если вы задались целью построить систему управления эффективностью или проводите ее ревизию, вам придется ответить на подобные вопросы – и не только на них. Мы не стремимся подробно изучить каждую из указанных проблем в контексте книги, а всего лишь подсказываем: при измерении эффективности следует помнить, что ваша методика оценки может изобиловать системным шумом, в результате чего окажется фактически бесполезной, а то и контрпродуктивной. Снижение уровня шума – та еще задача, и простыми техническими методами с ней не справиться. Данная проблема требует четкого представления о тех суждениях, что вы ждете от специалистов по оценке. Вероятно, вы придете к выводу, что сумеете оптимизировать качество суждений, создав недвусмысленную шкалу оценки и обучив персонал пользоваться ею согласованно. Подобная стратегия снижения шума применима во многих областях.
К разговору об определении шкалы оценки профессиональной эффективности
«Мы тратим огромное количество времени на оценку эффективности, а в результате получаем одну долю реальных сигналов на три доли шума».
«Попробовали решить проблему оценки эффективности за счет модели обратной связи «360 градусов» и принудительного ранжирования, только боимся, что лишь ухудшили ситуацию…».
«У каждого оценивающего специалиста свое представление о понятиях «хорошо» и «отлично» – вот откуда в итоговой оценке столько межэкспертного шума. Эксперты придут к согласию лишь в том случае, если мы дадим им конкретные примеры в качестве опорных значений шкалы оценки».