Как не сделать опросник INвалидным?
21.05.2019
Начнем с того, что же мы подразумеваем под понятием «INвалидный»? В данном случае «INвалидный» - это «не сильный». Иначе говоря, в этой статье мы расскажем, как не сделать универсальную методику «слабой».
Зоны ответственности за валидность инструментов, которые использует Компания, распределены и между разработчиками (провайдерами инструментов), и между пользователями.
Идеально валидизировать инструмент – трудно. Но есть простые приемы, которые не обязательно требуют большой статистики и позволят вам настроить универсальный инструмент под задачи вашей Компании.
Среди различных инструментов оценки психометрические тесты и опросники для большинства пользователей остаются «черным ящиком». Разработчики сделали тест, который соответствует определенным параметрам, продали его в Компанию, и пользователь предполагает, что тест сразу будет хорошо работать. Но это не так.
Виды валидности
Существуют различные виды валидности, которые важно измерить при разработке психометрического инструмента.
Содержательная валидность – что вообще измеряет тест, действительно ли соответствуют тестовые задания тому конструкту, который мы хотим измерить. Это зона ответственности разработчика.
Очевидная валидность – будет ли у сотрудника соответствующая мотивация при заполнении опросника, действительно ли он будет понимать, что по результатам этого опросника его деятельность можно прогнозировать. Это также зона ответственности разработчика. Самые простые примеры очевидной валидности – это тесты профессиональных знаний.
Кроме того к зоне ответственности разработчика относятся вопросы теоретической валидности. Разработчик как бы дает «прописку» тесту среди других научно признанных инструментов и конструкту, который измеряет данный тест, среди других конструктов. Не измеряем ли мы умение планировать работу вместо влиятельности? Действительно ли мы оцениваем аспекты креативности?
Далее инструмент передается пользователю, который снова задается вопросом о содержательной валидности, но уже под другим углом: «Действительно ли мне нужно, чтобы моих работников оценивали тестом креативности? Действительно ли этому работнику нужна креативность?». С этого момента пользователь уже может начинать работать с инструментом.
После этого мы переходим к эмпирической валидности, т.е. «предсказательной силе» инструмента. Этот этап необходимо обсудить с пользователем теста и доказать, что именно этот тест предсказывает успешность в работе. Только в тесной связке с пользователем теста можно обеспечить эмпирическую валидность.
Возможные ошибки
На этапе передачи теста от разработчика пользователю важно не допустить следующие ошибки.
1. «Тестирование ради тестирования»
В свое время в моде были тесты интеллекта, поэтому все должны были их пройти. Или «ориентация на достижения» - довольно важный фактор, пусть все сотрудники заполняют мотивационный опросник, которым мы этот фактор измерим.
2. «Всех под одну гребенку»
Использование одного инструмента для оценки сотрудников всех уровней и должностей не даст результата. Важно произвести настройку этого универсального инструмента под специфику функций и должностей.
3. «Большие ожидания»
Даже если вы хорошо выделили специфичные критерии, возможно, они окажутся несколько завышенными, и на рынке просто не найдутся подходящие кандидаты, которые данным критериям соответствовали бы. В этом случае использование тестирования бессмысленно, т.к. в итоге снова приходится искать другие методы.
Настройка универсального опросника под цели Компании
Метод 1. Анализ работы.
Включает в себя анализ документов, опрос экспертов фокус-группы и статистический анализ. Все это позволяет создать «профиль успеха», который будет для вас ориентиром при принятии решений.
Кейс страховой компании
Запрос: разработка профиля успеха Сотрудника отдела продаж
Решение: взяли группу успешных сотрудников, разделили их на два блока (розничные и корпоративные продажи), выборки составили 16 и 22 человека (выборка небольшая, но возможность собрать большую выборку есть не всегда).
На основе результатов заполнения личностного опросника Dimensions был оценен параметр «Нормативность» у группы сотрудников отдела розничных продаж. Оказалось, что только у 1 сотрудника это значение оказалось «ниже среднего». Уже благодаря подобному поиску тенденций и закономерностей можно сделать выводы и построить профиль.
После анализа всех личностных черт в двух группах было выявлено, что профили успешных сотрудников в розничных и корпоративных продажах отличаются. Например, сотруднику отдела корпоративных продаж важно иметь креативный и нестандартный подход к решению задач, а для розничных продаж это не важно. Зато для них важна «Нормативность», т.е. соблюдение норм и правил. Что оказалось приятно – в обеих группах для сотрудников страховой Компании «Жизнерадостность» оказалась важным фактором успеха.
Метод 2. Корреляционные исследования
Несомненно, чем большим количеством данных вы располагаете, тем лучше. Если у вас есть количественно измеренные показатели эффективности деятельности и успешности, вы можете провести корреляционный анализ.
Кейс промышленной компании
Задача: разработка профиля успеха на должность Руководителя направления «Промышленность»
Решение: были сопоставлены итоги тестирования с результатами работы сотрудников (проведение корреляционных исследований как по отдельным характеристикам, так и в целом всего профиля) с целью поиска взаимосвязей между результатами личностного опросника Dimensions/тестов способностей Elements и оценками эффективности деятельности. Выборка составила 36 человек. В итоге был сформирован профиль успеха для должности Руководителя направления Промышленность.
Есть ли предел совершенству?
Когда вы работаете с универсальной методикой, ситуаций может быть множество. Иногда у вас есть возможность провести серьезную валидизацию. Иногда такой возможности нет, но это и не нужно. Например, если вы подбираете Креативного директора, роль теста будет не столь значима.
Точность настройки и серьезность валидизации опросника зависит и от цены ошибки, и от того, насколько регулярен проект, и от его масштабности.
К примеру, если крупная телекоммуникационная Компания ежегодно нанимает студентов-выпускников, имеет смысл валидизировать результаты и посмотреть, сколько студентов удерживаются на этих позициях, как они дальше строят свою карьеру в рамках Компании.
Юлия Синицына, Директор по консалтингу Talent Q
Разработка инструментов оценки
