Путеводитель на рынке рекрутинговых услуг
Сервисы
Справочники
Сотрудничество
Подписка на рассылку


Правила составления вопросов для оценки 360 градусов
29.09.2008 11:53
Компетенция включает в себя умения, навыки, знания, психологические особенности сотрудника, выраженные в поведении. Сотрудник может иметь глубинные знания в своей профессиональной области, но если он не применяет их ежедневно для решения стоящих перед ним задач и не демонстрирует эти знания в действиях (например, при решении проблем, написании внутренних документов и др.), то компетенция считается не развитой. Суть оценки 360 градусов заключается в анализе ключевых для компании функций, которые сотрудник выполняет в данной должности.

Вопрос, в оценке 360 градусов — это конкретный поведенческий индикатор эффективности выполнения ключевых функций оцениваемого сотрудника на рабочем месте. Респондент оценивает конкретное поведение в четко обозначенной ситуации.
Например: Компетенция — решение проблем.

Вопросы к компетенции:

Всегда деликатно решает проблемы любого уровня сложности
Всегда решает корень проблемы, не зацикливается на симптомах
Создает наиболее низкозатратные (по ресурсам) пути решения проблем
Общее количество вопросов, разбитых по компетенциям, должно быть приблизительно на 25% больше чем количество вопросов, которые пойдут в окончательный вариант опросника.

Число вопросов в разных компетенциях должны отличаться друг от друга незначительно

Результаты исследований подтверждают, что чем больше в компетенции вопросов, тем выше будет оценка респондентами ее важности. Увеличение важности компетенции вызывает увеличение числа одинаковых ответов на все вопросы-индикаторы.

Число вопросов в опроснике должно быть в пределах 25–70 вопросов

Заполнение бланка оценки у участников не должно занимать много времени. Весь бланк оценки должен быть заполнен в течении 15–20 минут.

При увеличении общего числа вопросов в бланке, оценки непроизвольно завышаются. Например, при наличии в опросном листе ста и более вопросов, средняя оценка относительно уровня запрашиваемых факторов увеличивается на 5%.

Полезно ограничить длину вопроса от пяти до десяти слов
Интересный факт, что чем более многословны будут задаваемые вопросы, тем больше требуется времени на реакцию, что также ведет к неоправданному завышению оценки при ответе.

Начинайте каждое предложение с глагола
Лучшие вопросы описывают поведение человека. Они не спрашивают о том, что чувствуют, те кого оценивают, какие у них взгляды и что они представляют собой, как личность; это не вопросы о том — кем они являются, а вопросы — что они делают.

Старайтесь избегать следующие глаголы: «воспринимается другими», «является», «обладает», «может».

Многие оценочные проекты, в особенности те, которые разработаны для оценки эффективности управленческих функций, просят респондентов делать предположения о чертах характера или мыслях других людей.

Например: для оценки управленческих функций некоторые компании просят респондентов оценить степень понимания их руководителем состояния рынка. Примерная формулировка вопроса: «Понимает бизнес и рынок».

Хотя интерес к ответам, на подобного рода вопросы, понятен, маловероятно, что компания получит ответы, задавая вопросы напрямую. Прежде всего, результаты таких вопросов, основанных на мнениях, слишком легко оспорить. Руководители, чье понимание рынка критиковалось, могли вполне корректно возразить, что они понимают клиентов компании и рынок лучше, чем думали респонденты.

Более важно, что ответы на такие вопросы часто подвержены влиянию ассоциаций относительно человека, которого оценивают. Например, существенная часть исследований показывает, что люди с симметричными лицами, детскими чертами лица и большими глазами часто воспринимаются как относительно искренние.

Лучший способ обойти эти проблемы — это задавать вопросы о характерном, видимом поведении и позволить респондентам использовать свой собственный опыт. Это сводит к минимуму возможность искажения.

Таким образом, вопрос о понимании рынка можно перефразировать — «решает проблемы по поводу жалоб, исходящих от клиентов, быстро и основательно». Хотя это изменение не полностью устранило субъективность оценки — эксперты и сам руководитель могли быть разных мнений по поводу того, что является быстрым и основательным решением, — по крайней мере, ответы связаны с отдельными событиями и конкретным поведением, которые могут подкрепиться фактами и примерами из практики.

Сократите число оценочных суждений

Использование слов «хорошо», «прекрасно», «эффективно» иногда необходимо в вопросах, но часто вносит путаницу. Например: «Проводит эффективные официальные презентации», что означает слово эффективные? Понятные? Убедительные? Интересные? Помните, участнику нужно будет действовать на основании этой обратной связи. Прилагательные должны добавлять смысл, а не скрывать его.

Включите в бланк ответов открытые вопросы

Крайне необходимо включить в бланк оценки Открытые вопросы. Это помогает подтвердить полученные количественные оценки по уровню развития компетенций. Респонденты не только получают возможность выбрать пункт из шкалы оценки, который они считают верным, но и прокомментировать свой ответ. Открытые вопросы также позволяют повысить доверие к процедуре оценки у участников.

Адресуйтесь к читающему

При создании вопросов необходимо помнить о целевой аудитории, для которой разрабатываете бланк оценки. Если целевая аудитория однородная, то наилучшие вопросы, те, которые адресованы к ней.
Например: «Позволяет Вам договорить, не перебивая» дает возможность респонденту сосредоточиться на своих личных отношениях с участником.

Описывайте одно действие за раз

Во многих опросных листах в одном вопросе смешиваются два разных по существу понятия. В некоторых случаях это оправданно, однако следует всегда помнить, что получаемая при этом информация будет неоднозначной.

Избегайте использования в вопросе союзов «и», «или» часто именно они показывают наличие двух мыслей в предложении.
Например, в ответ на предложение: «Оцените навыки вашего руководителя при подборе персонала и разработке компенсационных пакетов», будут получены обобщенные данные, не представляющие особого интереса для детальной оценки.

Например: «Дает обратную связь по эффективности работы подчиненным своевременно и в деликатной манере» охватывает две идеи — своевременность и деликатность. Необходимо их разбить на два вопроса: «Дает обратную связь по эффективности работы подчиненным в нужное время» и «Высказывает оценку Вашей эффективности в деликатной манере».

Используйте повседневный язык

Убедитесь, что Ваш язык доступен для всех участников оценки.

Сложные профессиональные термины необходимо заменить синонимом, который всем понятен. Например, слова типа толерантность и сензитивность лучше вообще не включать в вопросы.

Избегайте терминов, способствующих возникновению ассоциаций, которые могут повлиять на реакцию респондентов. На практике при составлении вопросника эта рекомендация чаще всего игнорируется.
Например, при формулировании вопроса «Принимает ли ваш руководитель смелые решения?» респонденты-женщины чаще всего ответят положительно, если руководитель-мужчина, и наоборот. Чтобы избежать влияния ассоциаций, тот же вопрос можно сформулировать следующим образом: «Принимает ли ваш руководитель продуманные и четкие решения по сложным проблемам?» и т. п.

Оценивайте только действия, имеющие определенную связь с результатами деятельности компании
Это положение может показаться очевидным, однако 75% встречающихся на практике вопросов на самом деле не имеют непосредственного отношения к результатам бизнеса или содержанию деятельности компании. Такой недостаток — следствие того, что предварительно не проводился систематизированный отбор вопросов — это является источником грубых ошибок.

Во избежание ошибок проводите многоступенчатый отбор компетенций. Первый уровень отбора компетенций — собеседования с руководством о проблемах компании и предполагаемых или известных причинах их появления. Второй уровень — проверить полученные компетенции в фокус-группах ключевых сотрудников и т. д.

Измените, формулировки примерно у одной трети вопросов так, чтобы желаемый ответ стал отрицательным

Хорошо изученный феномен при проведении опросов состоит в том, что по мере «продвижения» по опросному листу, где необходимо выбрать ответ «да» или «нет», у респондентов наблюдается отчетливая тенденция выбирать вариант «да». Чтобы избежать ее достаточно переформулировать вопрос, предложив его в «негативном» виде. Например, вместо «В вашем отделе конфликты разрешаются хорошо?» можно спросить: «В вашем отделе конфликты разрешаются плохо?». При этом следует внимательно формулировать «негативную» форму вопроса, чтобы избежать неоднозначного восприятия вопроса респондентами.

Детально анализируйте общую информацию по результатам оценки

Суммируйте общие данные по результатам оценки. Проверяйте и перепроверяйте валидность результатов.

Пример: В одном из проектов по оценке 360 градусов разработали анонимный бланк оценки компетенций. Результаты самооценки показали, что 76% сотрудников ИТР считали, что развитие у них ключевых компетенций были выше среднего показателя по компании. Разумеется, только 50% любой группы может быть выше среднего уровня, поэтому исследование обозначило, насколько восприятие сотрудниками данного аспекта их работы было далеко от реальности. Эти результаты были бесценны для составления программы обучения в компании, т. к. немногие могли оспорить заключение о том, что 26% респондентов — почти 8000 сотрудников — имели завышенное мнение об уровне развития своих компетенций.

Включите вопросы, которые могут быть проверены независимо

Становится ясно, что в случае, когда нет связи между результатами оценки и проверяемыми фактами, где-то существует ошибка. И наоборот, подтверждаемые ответы позволяют вам сделать заключение о достоверности исследования, что особенно важно, если исследование измеряет что-то новое или необычное.

Например, мы разработали инструмент для оценки качества руководства в компании. Для того, чтобы убедиться в том, что результаты оценки достоверны, с одной стороны мы спросили «устанавливает ли руководитель верные и прочные взаимоотношения» с коллегами и сотрудниками; затем мы сравнили эти показатели с данными по удержанию персонала, из подразделения руководителя. Высокая взаимозависимость этих измерений, вместе с другими показателями, позволила нам доказать валидность процедуры оценки. В отчете по результатам проекта мы доказали, что исследование действительно измерило то, что оно должно было измерять.



Источник: 360hr.ru