: Aboraya et al., “Reliability of Psychiatric Diagnosis Revisited”, 43.
332 В попытках…: C. H. Ward et al., “The Psychiatric Nomenclature: Reasons for Diagnostic Disagreement”, Archives of General Psychiatry 7 (1962): 198.
333 Клинический специалист – сторонник концепции влияния психологических травм…: Aboraya et al., “Reliability of Psychiatric Diagnosis Revisited”.
334 Третья редакция DSM – III привела к существенному…: Samuel M. Lieblich, David J. Castle, Christos Pantelis, Malcolm Hopwood, Allan Hunter Young, and Ian P. Everall, “High Heterogeneity and Low Reliability in the Diagnosis of Major Depression Will Impair the Development of New Drugs”, British Journal of Psychiatry Open 1 (2015): e5–e7, www.ncbi.nlm.nih.gov/pmc/articles/PMC5000492/pdf/bjporcpsych 1_2_e5.pdf.
335 И все же успех «Руководства…» высоко оценивать…: Lieblich et al., “High Heterogeneity”.
336 Даже в 2000 году, после серьезного пересмотра документа…: См. Elie Cheniaux et al., “The Diagnoses of Schizophrenia, Schizoaffective Disorder, Bipolar Disorder and Unipolar Depression: Interrater Reliability and Congruence Between DSM – IV and ICD‑10”, Psychopathology 42 (2009): 296–298, особенно 293; и Michael Chmielewski et al., “Method Matters: Understanding Diagnostic Reliability in DSM – IV and DSM‑5”, Journal of Abnormal Psychology 124 (2015): 764, 768–769.
337 «повысило надежность диагностики»…: Aboraya et al., “Reliability of Psychiatric Diagnosis Revisited”, 47.
338 серьезные риски…: Aboraya et al., 47.
339 Новая версия «Руководства…»: См. Chmielewski et al., “Method Matters”.
340 Ассоциация американских психиатров…: См., например, Helena Chmura Kraemer et al., “DSM‑5: How Reliable Is Reliable Enough?”, American Journal of Psychiatry 169 (2012): 13–15.
341 в сообществе психиатров по-прежнему отмечается…: Lieblich et al., “High Heterogeneity”.
342 психиатры ожесточенно спорят…: Lieblich et al., “High Heterogeneity”, e‑5.
343 Полевые испытания DSM – V показали…: Lieblich et al., e‑5.
344 Упомянутые нами полевые эксперименты…: Lieblich et al., e‑6.
345 Основной причиной скромного…: Aboraya et al., “Reliability of Psychiatric Diagnosis Revisited”, 47.
346 Их рекомендации включают, во‑первых, прояснение…: Aboraya et al.
347 Один из аналитиков заметил…: Aboraya et al.
348 и медики решительно в них нуждаются…: Некоторые поучительные примеры можно найти у Christopher Worsham and Anupam B. Jena, “The Art of Evidence-Based Medicine”, Harvard Business Review, January 30, 2019, https://hbr.org/2019/01/the-art-of-evidence-based-medicine.
Глава 23
349 заголовок в одной из газет…: Jena McGregor, “Study Finds That Basically Every Single Person Hates Performance Reviews”, Washington Post, January 27, 2014.
350 широко распространены аттестации с применением методов суждения…: Переход на цифровые технологии, который сегодня практикуют многие компании, создаст в этой области новые возможности. Теоретически компании способны собрать множество мельчайших подробностей о деятельности каждого сотрудника в процессе работы. Подобные данные позволят использовать исключительно алгоритмический подход при оценке эффективности работы на некоторых должностях. Мы же сосредоточимся на тех позициях, где из оценки эффективности невозможно полностью устранить фактор суждения. См. E. D. Pulakos, R. Mueller-Hanson, and S. Arad, “The Evolution of Performance Management: Searching for Value”, Annual Review of Organizational Psychology and Organizational Behavior 6 (2018): 249–271.
351 большинство авторов приходит к выводу…: S. E. Scullen, M. K. Mount, and M. Goff, “Understanding the Latent Structure of Job Performance Ratings”, Journal of Applied Psychology 85 (2000): 956–970.
352 Остальные 70–80 %…: По результатам некоторых исследований лишь небольшая часть (10 % общей дисперсии) является так называемой точкой зрения оценивающего эксперта, или эффектом уровней организации. Точка зрения оценивающего эксперта означает, что в отношении одного и того же лица босс будет систематически расходиться во мнениях со своим заместителем, а тот – с подчиненным. Истолковывая результаты модели оценки “360 градусов” в благоприятном свете, кто-то наверняка заявит, что данный феномен не является шумом. Если люди на разных уровнях организации систематически отмечают разные аспекты, их суждение в отношении одного и того же лица будет системно отличаться, о чем и скажут присваиваемые ими рейтинги.
353 различным исследованиям…: Scullen, Mount, and Goff, “Latent Structure”; C. Viswesvaran, D. S. Ones, and F. L. Schmidt, “Comparative Analysis of the Reliability of Job Performance Ratings”, Journal of Applied Psychology 81 (1996): 557–574. G. J. Greguras and C. Robie, “A New Look at Within-Source Interrater Reliability of 360-Degree Feedback Ratings”, Journal of Applied Psychology 83 (1998): 960–968; G. J. Greguras, C. Robie, D. J. Schleicher, and M. A. Goff, “A Field Study of the Effects of Rating Purpose on the Quality of Multisource Ratings”, Personnel Psychology 56 (2003): 1–21; C. Viswesvaran, F. L. Schmidt, and D. S. Ones, “Is There a General Factor in Ratings of Job Performance? A Meta-Analytic Framework for Disentangling Substantive and Error Influences”, Journal of Applied Psychology 90 (2005): 108–131; and B. Hoffman, C. E. Lance, B. Bynum, and W. A. Gentry, “Rater Source Effects Are Alive and Well After All”, Personnel Psychology 63 (2010): 119–151.
354 Связь между реальной эффективностью профессиональной деятельности…: K. R. Murphy, “Explaining the Weak Relationship Between Job Performance and Ratings of Job Performance”, Industrial and Organizational Psychology 1 (2008): 148–160, especially 151.
355 фактической эффективности аттестуемого работника…: Рассказывая об источниках шума, мы не уделили внимания возможности шумового эффекта «конкретного случая», которому дает начало систематическое искажение оценки определенного работника или категории работников. Ни одно из прочитанных нами исследований в отношении вариативности оценки эффективности не задавалось целью сопоставить оценку с «истинным» показателем, полученным от стороннего оценщика.
356 для поддержания рабочего тонуса сотрудников…: E. D. Pulakos and R. S. O’Leary, “Why Is Performance Management Broken?”, Industrial and Organizational Psychology 4 (2011): 146–164; M. M. Harris, “Rater Motivation in the Performance Appraisal Context: A Theoretical Framework”, Journal of Management 20 (1994): 737–756; and K. R. Murphy and J. N. Cleveland, Understanding Performance Appraisal: Social, Organizational, and Goal-Based Perspectives (Thousand Oaks, CA: Sage, 1995).
357 отзывов сугубо в целях саморазвития…: Greguras et al., “Field Study”.
358 прогнозирующим объективно измеряемую…: P. W. Atkins and R. E. Wood, “Self Versus Others’ Ratings as Predictors of Assessment Center Ratings: Validation Evidence for 360-Degree Feedback Programs”, Personnel Psychology (2002).
359 анкет, перегруженных многочисленными вопросами…: Atkins and Wood, “Self Versus Others’ Ratings”.
360 98 %…: Olson and Davis, цитата приведена у Peter G. Dominick, “Forced Ranking: Pros, Cons and Practices”, а также в Performance Management: Putting Research into Action, ed. James W. Smither and Manuel London (San Francisco: Jossey-Bass, 2009), 411–443.
361 принудительное ранжирование…: Dominick, “Forced Ranking”.
362 прослеживается в оценке деловых качеств работников…: Barry R. Nathan and Ralph A. Alexander, “A Comparison of Criteria for Test Validation: A Meta-Analytic Investigation”, Personnel Psychology 41, no. 3 (1988): 517–535.
363 Рис. 17…: Адаптировано из Richard D. Goffin and James M. Olson, “Is It All Relative? Comparative Judgments and the Possible Improvement of Self-Ratings and Ratings of Others”, Perspectives on Psychological Science 6, no. 1 (2011): 48–60.
364 Deliotte…: M. Buckingham and A. Goodall, “Reinventing Performance Management”, Harvard Business Review, April 1, 2015, 1–16, doi: ISSN: 0017–8012.
365 В ходе одного исследования…: Corporate Leadership Council, процитировано у S. Adler et al., “Getting Rid of Performance Ratings: Genius or Folly? A Debate”, Industrial and Organizational Psychology 9 (2016): 219–252.
366 «Какие бы меры…»: Pulakos, Mueller-Hanson, and Arad, “Evolution of Performance Management”, 250.
367 революции в процессе управления эффективностью…: A. Tavis and P. Cappelli, “The Performance Management Revolution”, Harvard Business Review, October 2016, 1–17.
368 Руководствуясь имеющимся опытом…: Frank J. Landy and James L. Farr, “Performance Rating”, Psychological Bulletin 87, no. 1 (1980): 72–107.
369 набивая руку на присвоении оценок…: D. J. Woehr and A. I. Huffcutt, “Rater Training for Performance Appraisal: A Quantitative Review”, Journal of Occupational and Organizational Psychology 67 (1994): 189–205; S. G. Roch, D. J. Woehr, V. Mishra, and U. Kieszczynska, “Rater Training Revisited: An Updated Meta-Analytic Review of Frame-of-Reference Training”, Journal of Occupational and Organizational Psychology 85 (2012): 370–395; и M. H. Tsai, S. Wee, and B. Koh, “Restructured Frame-of-Reference Training Improves Rating Accuracy”, Journal of Organizational Behavior (2019): 1–18, doi:10.1002/job.2368.
370 Рис. 18…: Левая секция адаптирована из Richard Goffin and James M. Olson, “Is It All Relative? Comparative Judgments and the Possible Improvement of Self-Ratings and Ratings of Others”,