13.10.2013

О специфике прогностической валидности методов отбора и оценки персонала

Недавно в Journal of Applied Psychology вышла интересная статья [1], в которой исследуется валидность опросника, измеряющего самоэффективность в рамках конкретной профессиональной деятельности, и полезность его использования в процессе отбора персонала. Авторы разработали шкалу Sales Self-Efficacy, которая измеряет представления человека о своих навыках и способностях об области продаж (7 суждений), а также о том, насколько интересна и привлекательна для них данная профессиональная деятельность (7 суждений). Есть ли польза в такой информации при отборе кандидатов на вакансии продавцов? Можно ли прогнозировать их эффективность на её основе?

Для ответа на эти вопросы были проведены два исследования. В первом проверялась конкурентная валидность шкалы самоэффективности в продажах, т.е. её сравнительная корреляция с критерием относительно другого теста, в данном случае – относительно теста личностных черт Большой пятёрки. Во втором проверялась прогностическая валидность шкалы самоэффективности в продажах, т.е. её корреляция с будущей эффективностью работника.

Конкурентная валидность 
366 продавцов крупной торговой сети заполняли опросники на самоэффективность в продажах и тест личностных черт Большой пятёрки. Также определялась их эффективность, которая измерялась двумя способами: уровень продаж за последние 4 месяца, а также оценка со стороны руководителя. Результаты показали, что самоэффективность является лучшим предиктором обоих измерений по сравнению с личностными чертами Большой пятёрки. Коэффициент β для количества продаж – .28, а для оценки руководителя – .16. Самый высокий коэффициент β среди черт Большой пятёрки был у Открытости опыту – .21 (только по отношению к уровню продаж). У модели с самоэффективностью R2 – .12, у модели с Открытостью опыту – .03.

Прогностическая валидность
На основе данных о самоэффективности в продажах и личностных чертах Большой пятёрки 2,686 кандидатов, собранных в процессе их отбора на работу, делался прогноз их эффективности в будущем, который затем сравнивался с их показателями продаж через 1, 2, 3, 4 и 5 месяцев. Результаты показали, что значимых различий между Большой пятёркой и самоэффективностью в предсказании будущей эффективности нет. Значимым оказался вообще только один коэффициент (продажи после 4 месяцев). Т.е. ни самоэффективность, ни личностные черты Большой пятёрки не предсказывали уровень продаж в течение ближайших 5 месяцев.

Таким образом, профессиональная самоэффективность связана с эффективностью, но пытаться предсказать эффективность на её основе лучше не стоит. Статья привлекла моё внимание, потому что хорошо демонстрирует важность доказательства для методов отбора персонала именно прогностической валидности. Недостаточно посчитать корреляцию результатов какого-либо метода оценки с показателями эффективности на выборке уже работающего персонала, даже если эта эффективность будет измерена через какое-то время после оценки. Прогностическую валидность метода можно определить только в процессе реального отбора на реальных кандидатах. Кандидаты на работу и уже работающие сотрудники отличаются друг от друга. У них разная мотивация участия в оценке, разные последствия это оценки, разный опыт работы (в случае с профессиональной самоэффективностью это особенно критично).

Также стоит обратить внимание, что в данном исследовании пятифакторная модель личности оказалась даже более бесполезной, чем самоэффективность. С одной стороны, очевидно стремление исследователей найти наиболее общие, универсальные, культурно-неспецифически (хотя и с этим не всё гладко) характеристики личности. С другой, – эти характеристики становятся настолько обобщёнными, что теряют пользу в решении конкретных прикладных задач. Найти баланс здесь пока трудно.

_______________________________________________
[1] Gupta, N., Ganster, D. C., & Kepes, S. (2013). Assessing the Validity of Sales Self-Efficacy: A Cautionary Tale. Journal of Applied Psychology, 98(4), 690–700. doi: 10.1037/a0032232

12.10.2013

Розыгрыш 4 книг "Тайны мозга взрослого человека"

РОЗЫГРЫШ ЗАВЕРШЁН
Разыгрываю 4 книги Барбары Страук "Тайны мозга взрослого человека. Удивительные таланты и способности человека, который достиг середины жизни".

Издательство описывает книгу так:
Новые факты о том, что происходит с нашим мозгом после сорока лет и до глубокой старости. Чем заниматься, о чем думать, – как поддержать свой ум в отличной форме? Что говорят специалисты, изучающие мозг? Действительно ли нервные клетки не восстанавливаются и спасение в чернике и в кроссвордах? Оказывается, не так все однозначно. Да, мы теряем скорость и цепкость. Но мы действительно становимся мудрее – ученые раскрыли составляющие этого качества. Возрастные изменения в мозге делают нас спокойнее и счастливее. Барбара Страук рассматривает за и против в отношении всех факторов влияния: питания, пищевых добавок, физических упражнений, окружающей среды и генетики. Книга является отчасти научным исследованием, отчасти руководством как себя вести и что делать.

Автор:
Барбара Страук – заместитель научного редактора New York Times, а также редактор статей по медицинской тематике и охране здоровья New York Times.

От себя:
Всё, что написано в книге, основано исключительно на научных исследованиях, проведённых нейробиологами, психологами, медиками. В книге приводится множество фактов о взрослом мозге, а также ряд основанных на них советов, которые могут помочь уберечь мозг от негативных факторов. Всячески рекомендую.

Большое спасибо издательству Карьера Пресс за предоставленные книги.

Как выиграть?
Для того, чтобы принять участие в розыгрыше, необходимо до 3.11.2013 (включительно) выполнить два действия:
1) разместить ссылку на этот пост (http://psyresearchdigest.blogspot.com/2013/10/secret-life-of-the-grown-up-brain.html) у себя в любой социальной сети или блоге
2) записаться с помощью формы, размещённой ниже (записаться можно только один раз, в строке "Your URL:" необходимо указать адрес вашей страницы, на которой вы разместили ссылку на розыгрыш).

Победители будут выбраны случайным образом из числа всех участников 4.11.2013.

UPD:
Книги получают:
1 – Lena
17 – Варвара
38 – Мария
5 – Александр Т

Скриншот результатов случайного отбора:

07.10.2013

Российские психологи в международных научных журналах. Часть 1

Об уровне развития и качестве науки в стране или отдельном университете или исследовательском институте свидетельствуют, прежде всего, публикации высокого научного уровня, опубликованные в ведущих международных научных журналах. По сравнению с исследованиями в математике, физике и других естественных науках, которые в России всё-таки проводятся на уровне, хотя бы в какой-то мере сопоставимом с мировым, психологические исследования в основном довольно низкого качества. Во всяком случае, это качество ниже, чем уровень большинства международных научных журналов с ненулевым импакт-фактором.  Тем не менее, некоторые российские психологи всё-таки публикуют свои исследования в таких журналах. Например, в Web of Science c 1990 по 2012 года в психологических журналах проиндексировано 735 статей, у которых хотя бы один автор является российским исследователем. В данном случае российским считается исследователь, который в качестве хотя бы одной своей аффилиации указал российскую организацию. В Web of Science индексируются два российских психологических журнала: Психологический журнал и Вопросы психологии. Поскольку их уровень и влиятельность на международном уровне сильно ниже других журналов, публикации в них не учитывались.

На распределении этих публикаций по годам видно, что их количество с каждым годом растёт, но очень медленно. Хотя с 2011 рост ускорился. Данные по 2013 году я здесь не привожу, потому что он ещё не закончился, и не все публикации за этот год проиндексировались, но на основе публикаций, которые уже попали в  Web of Science, предполагаю, что рост продолжит ускоряться. 


В каких журналах публикуются российские психологи? 
В таблице приводятся названия журналов, в которых опубликовано 3 и более статей.


Source Titles
records
INTERNATIONAL JOURNAL OF PSYCHOPHYSIOLOGY
59
PHYSIOLOGY & BEHAVIOR
36
SPANISH JOURNAL OF PSYCHOLOGY
30
BEHAVIOR GENETICS
26
PERSONALITY AND INDIVIDUAL DIFFERENCES
22
AGGRESSIVE BEHAVIOR
17
BEHAVIOURAL PROCESSES
12
JOURNAL OF CROSS CULTURAL PSYCHOLOGY
12
INTERNATIONAL JOURNAL OF MENTAL HEALTH
11
ETHOLOGY
10
BEHAVIORAL AND BRAIN SCIENCES
9
AIDS CARE PSYCHOLOGICAL AND SOCIO MEDICAL
ASPECTS OF AIDS HIV
8
INTEGRATIVE PHYSIOLOGICAL AND BEHAVIORAL SCIENCE
8
JOURNAL OF ANALYTICAL PSYCHOLOGY
8
PERCEPTION
8
SUBSTANCE USE MISUSE
8
EUROPEAN CHILD ADOLESCENT PSYCHIATRY
7
BIOLOGICAL PSYCHOLOGY
6
DEVELOPMENT AND PSYCHOPATHOLOGY
6
EUROPEAN JOURNAL OF PERSONALITY
6
HUMAN PSYCHOPHARMACOLOGY CLINICAL AND
EXPERIMENTAL
6
INTELLIGENCE
6
INTERNATIONAL JOURNAL OF BEHAVIORAL
DEVELOPMENT
6
JOURNAL OF CLASSIFICATION
6
LEARNING AND INDIVIDUAL DIFFERENCES
6
NEUROBIOLOGY OF LEARNING AND MEMORY
6
NEUROPSYCHOBIOLOGY
6
PERSONALITY AND SOCIAL PSYCHOLOGY BULLETIN
6
PSYCHOPHYSIOLOGY
6
BEHAVIOR RESEARCH METHODS INSTRUMENTS &
COMPUTERS
5
CHILD ABUSE NEGLECT
5
CULTURE & PSYCHOLOGY
5
EUROPEAN PSYCHOLOGIST
5
INTEGRATIVE PSYCHOLOGICAL AND BEHAVIORAL
SCIENCE
5
INTERNATIONAL JOURNAL OF PSYCHOLOGY
5
JOURNAL OF MATHEMATICAL PSYCHOLOGY
5
JOURNAL OF PSYCHOPHYSIOLOGY
5
LEARNING & MEMORY
5
BRAIN AND COGNITION
4
INFANT MENTAL HEALTH JOURNAL
4
INTERNATIONAL JOURNAL OF BEHAVIORAL MEDICINE
4
JOURNAL OF CLINICAL PSYCHIATRY
4
JOURNAL OF SUBSTANCE ABUSE TREATMENT
4
LATERALITY
4
NEUROPSYCHOLOGIA
4
NEUROPSYCHOLOGY REVIEW
4
SCHOOL PSYCHOLOGY INTERNATIONAL
4
SPATIAL VISION
4
STUDIA PSYCHOLOGICA
4
ADDICTIVE BEHAVIORS
3
AMERICAN BEHAVIORAL SCIENTIST
3
BEHAVIOR RESEARCH METHODS
3
CAHIERS DE PSYCHOLOGIE COGNITIVE CURRENT PSYCHOLOGY
 OF COGNITION
3
EUROPEAN JOURNAL OF SOCIAL PSYCHOLOGY
3
HUMOR INTERNATIONAL JOURNAL OF HUMOR RESEARCH
3
INTERNATIONAL JOURNAL OF INTERCULTURAL RELATIONS
3
INTERNATIONAL JOURNAL OF SPORT PSYCHOLOGY
3
JOURNAL FOR THE THEORY OF SOCIAL BEHAVIOUR
3
JOURNAL OF COGNITIVE NEUROSCIENCE
3
JOURNAL OF PSYCHOACTIVE DRUGS
3
PERCEPTUAL AND MOTOR SKILLS
3
PSYCHOLOGICAL SCIENCE
3
SCANDINAVIAN JOURNAL OF PSYCHOLOGY
3
STRESS MEDICINE
3


Где работают авторы этих статей?
В следующей таблице приводятся названия организаций, в которых работают (работали на момент выхода статьи) российские авторы рассматриваемых статей.


Organizations
records
% of 735
Российская академия наук (все институты)
292
40.727
Московский государственный университет им. М.В.
Ломоносова
142
19.320
Санкт-Петербургский государственный университет
38
5.170
Российская академия медицинских наук (все институты)
23
3.128
Национальный исследовательский университет
«Высшая школа экономики»
18
2.449
NO STATE MED UNIV
9
1.224
Российская академия образования
9
1.224
Санкт-Петербургский научно-исследовательский
психоневрологический институт им. В.М. Бехтерева
9
1.224
Московский городской психолого-педагогический
университет
8
1.088
Санкт-Петербургский государственный медицинский
университет им. И.П. Павлова
8
1.088
Ярославский государственный университет им. П.Г.
Демидова
7
0.952
Северный государственный медицинский университет
(Архангельск)
5
0.680
Московский зоопарк
5
0.680
Новосибирский государственный университет
5
0.680
Российский государственный гуманитарный университет
5
0.680
Московский научно-практический центр наркологии
4
0.544
Тверской государственный университет
4
0.544
Государственный научный центр социальной и судебной
психиатрии им. В.П. Сербского
4
0.544
Дальневосточный федеральный университет
3
0.408
Московский педагогический государственный университет
3
0.408
Нижегородский государственный педагогический
университет
3
0.408
Орловский государственный университет
3
0.408
Башкирский государственный педагогический университет
им. М.Акмуллы
2
0.272
Башкирский государственный университет
2
0.272
Казанский федеральный университет
2
0.272
Кемеровская государственная медицинская академия
2
0.272
Кемеровский государственный университет
2
0.272
Московский НИИ психиатрии
2
0.272
Московский государственный лингвистический университет
2
0.272
Российская академия естествознания
2
0.272
Первый Московский государственный медицинский
университет им. И.М. Сеченова
2
0.272
Сибирский государственный медицинский университет
2
0.272
Федеральный центр сердца, крови и эндокринологии
им. В.А. Алмазова
2
0.272
Петрозаводский государственный университет
2
0.272
Владивостокский государственный университет экономики
и сервиса
2
0.272
Наркологический диспансер Алтайского Края
2
0.272
Международный университет природы, общества и
человека "Дубна"
2
0.272
Фонд содействия защите здоровья и социальной
справедливости им. Андрея Рылькова
1
0.136
Архангельская региональная психиатрическая больница
1
0.136
Арзамасский государственный педагогический институт
им. А.П. Гайдара
1
0.136
Астраханский государственный университет
1
0.136
ЗАО "Биосвязь"
1
0.136
Городская клиническая больница им. С.П. Боткина
1
0.136
Бурятский государственный университет
1
0.136
Челябинский государственный университет
1
0.136
Дальневосточного института психологии и психоанализа
1
0.136
Дальневосточный государственный университет путей
сообщения
1
0.136
 
Отрадно, что моя родная Вышка в этом списке на пятом месте. Хотя конечно абсолютное количество публикаций пока очень маленькое. Но я уже знаю, что в 2013 году статей заметно прибавится.

Здесь надо сделать оговорку. Использование слова «психолог» ко всем авторам этих статей не совсем корректно, т.к. среди них есть часть медиков (неврологов, психиатров), биологов, физиологов, лингвистов. По перечню организаций, в которых они работают, это как раз хорошо заметно. Это объясняется тем, что тематические категории в Web of Science присваиваются не каждой отдельной статье, а журналу целиком, который может быть отнесён одновременно сразу к нескольким категориям. Например, Journal of Child Language отнесён к сразу к трём категориям: PSYCHOLOGY, DEVELOPMENTAL; PSYCHOLOGY, EXPERIMENTAL; LINGUISTICS. Однако чисто лингвистические исследования там вряд ли публикуются. Все исследования, так или иначе, связаны с развитием языка и поэтому имеют отношение к психологии. При этом в группу авторов конкретной статьи могут входить не только психологи.

Во второй части я приведу поимённый список авторов этих статей, из которого станет ясно, кто самый активный из российских авторов.