Современные проблемы науки и образования. Модель оценки эффективности обучения Д. Киркпатрика Модель дональда киркпатрика для оценки результатов обучения

Оценка обучения проводится для того, чтобы понять, как повысить его эффективность, какими способами можно его улучшить.

В связи с этим предлагается ответить на следующие восемь вопросов:

· В какой мере содержание тренинга соответствует потребностям участников?

· Является ли выбор преподавателя оптимальным?

· Использует ли преподаватель наиболее эффективные методы для поддержания интереса участников, передачи им знаний, формирования у них навыков и установок?

· Являются ли условия для проведения обучения удовлетворительными?

· Устраивает ли участников расписание занятий?

· Способствуют ли аудиовизуальные средства улучшению коммуникации и поддержанию интереса участников?

· Была ли координация программы удовлетворительной?

· Что еще может быть сделано для улучшения программы?

Оценка обучения имеет четыре уровня:

1. Реакция (Reaction)

2. Научение (Learning)

3. Поведение (Behavior)

4. Результаты (Results)

Оценка на первом уровне - реакция определяет, как участники программы реагируют на нее. В случае, когда обучение проводится внутри фирмы, реакция участников не всегда интерпретируется как удовлетворенность потребителей. Дел в том, что участие в таких тренингах бывает обязательным. У людей просто нет выбора. Руководство компании определяет необходимость данного тренинга и обязывает сотрудников принимать в нем участие. Казалось бы, в этом случае, нужно говорить о реакции руководства. Киркпатрик подчеркивает, что и в этом случае реакция участников является очень важным критерием успешности тренинга, как минимум, по двум причинам. Во-первых, люди делятся своими впечатлениями от тренинга со своим руководством, и эта информация уходит выше. Следовательно, она влияет на принятие решений о продолжении тренинга. Во-вторых, если участники не будут реагировать позитивно, то у них не будет мотивации к научению. По мнению Киркпатрика, позитивная реакция не гарантирует успешного освоения новых знаний, умений и навыков. Отрицательная же реакция на тренинг почти наверняка означает уменьшение вероятности научения.

Научение определяется как изменение установок, улучшение знаний и совершенствование навыков участников в результате прохождения ими программы обучения. Киркпатрик утверждает, что изменение поведения участников в результате тренинга возможно только тогда, когда произойдет научение (изменятся установки, улучшатся знания или усовершенствуются навыки). Поведение - н а этом уровне происходит оценка того, в какой степени изменилось поведение участников в результате обучения. Киркпартик указывает на то, что отсутствие изменений в поведении участников не означает, что тренинг был неэффективен. Возможны ситуации, когда реакция на тренинг была позитивной, научение произошло, но поведение участников в дальнейшем не изменилось, поскольку для этого не были соблюдены необходимые условия. Поэтому отсутствие изменения поведения участников после тренинга не может быть поводом для принятия решения о прекращении программы. Киркпартик рекомендует в этих случаях кроме оценки реакции и научения проверить наличие следующих условий:

· Желание участников изменить поведение.

· Наличие у участников знаний о том, что и как делать.

· Наличие соответствующего социально-психологического климата.

· Поощрение участников за изменение поведения.

К результатам относятся изменения, которые произошли в связи с тем, что участники прошли обучение. В качестве примеров результатов Киркпатрик приводит увеличение производительности, улучшение качества, уменьшение количества несчастных случаев, увеличение продаж, снижение текучести кадров. Киркпатрик настаивает на том, что результаты не следует измерять в деньгах. Он считает, что перечисленные выше изменения могут, в свою очередь, приводить к увеличению прибыли. Оценка на этом уровне – самая сложная и дорогостоящая. Вот несколько практических рекомендаций, которые могут помочь в оценке результатов:

· если возможно, использовать контрольную группу (не проходившую обучение),

· проводить оценку через некоторое время, чтобы результаты стали заметны,

· по возможности, проводить оценку до и после программы,

· провести оценку несколько раз в ходе программы,

· сопоставить ценность информации, которую удастся получить с помощью оценки и стоимость получения этой информации.

Игра стоит свеч. Как оценить эффективность бизнес-тренинга? Макота Елена Михайловна

Глава 1 Классическая модель Дональда Киркпатрика

Классическая модель Дональда Киркпатрика

Четыре уровня оценки эффективности тренинга

Самый верный способ успеть как можно больше – рвануть с места в карьер. Время – деньги! Если вы еще не поняли, моя задача – сэкономить для вас как можно большее их количество. Поэтому приступаем к работе немедленно!

Совершенно очевидно, что вы всегда можете измерить тот или иной показатель несколькими способами. Но есть ли среди них тот самый, эталонный? Тот, который гарантирует вам наибольшую точность?

Вовсе нет – такой гарантии вам не может дать никто. Особенно это становится явным, когда речь заходит о неточных величинах: вы сможете вычислить их лишь приблизительно. Попробуйте убедить себя, что в стограммовом куске сыра из магазина именно 28 граммов белка и ни граммом меньше. Вы действительно в это верите?

Но – даже с поправкой на неточности и погрешности – в основе каждой системы оценки все равно лежит некая классическая методология или теория, признанная большинством специалистов в той или иной области.

Теория системообразующая. Фундаментальная. Выверенная. Та самая, которая позволяет с большой долей уверенности говорить об истинности полученных с ее помощью показателей. И, представьте себе – такая модель существует и для оценки эффективности тренингов! Более того, в этой книге мы разберем ее наиподробнейшим образом. Но ответит ли она на все наши вопросы?

Для начала зайдем в гости к классикам. Как Филипп Котлер стал иконой для маркетинга, так и Дональд Киркпатрик удостоился аналогичного статуса в американском кадровом менеджменте. Его четырехуровневая модель оценки эффективности тренинга увидела свет в 1959 году – уже в те времена американцы подходили к лозунгу «кадры решают все» более щепетильно, чем плановики Советского Союза. Чертовски дальновидно!

Оглянитесь – и поймете, что истинные знания не поддаются времени. Прошло больше 50 лет, бал правят транснациональные корпорации, фрилансеры все чаще и эффективнее заменяют наемных работников, а модель Киркпатрика до сих пор остается одной из базовых при оценке эффективности тренингов для персонала. В чем соль?

Никакого секрета здесь нет, зато есть грамотная группировка информации. По сути, в своей модели Кирк-патрик упорядочил и разделил всю сумму эффектов проведенного тренинга на четыре отдельных уровня. Оценки каждого из них, сложенные воедино, и дают нам информацию о необходимости и эффективности проведенного обучения.

Как я уже упоминала ранее, эта модель имеет четыре уровня. Вот они:

Уровень 1: «Реакция». Главный вопрос: «Какова реакция сотрудника на обучение»?

Уровень 2: «Обучение». Главный вопрос: «Что именно сотрудник усвоил в процессе проведения тренинга»?

Уровень 3: «Поведение». Анализируется то, как полученные на тренинге навыки и знания применяются в работе. После этого вы сможете дать ответ на главный вопрос этого уровня: «Как изменилось профессиональное поведение обучавшихся»?

Уровень 4: «Результаты». Оцениваются непосредственно показатели эффективности компании – насколько они изменились после обучения персонала? Главный вопрос: «Что получила компания от проведенного тренинга»?

Однако упомянутыми четырьмя уровнями исследование вопроса не ограничилось. В 1991 году модель Кирк-патрика была дополнена Джеком Филипсом, который включил в нее пятый, заключительный уровень – «отдачу на инвестиции» (ROI).

Это была осознанная попытка перевести измерение эффективности тренинга в материальную плоскость. Удалось ли это Филипсу или нет, мы выясним чуть позже. А пока вновь обратимся к классике, которая, оказывается, далеко не безгрешна.

Да-да! Оказывается, у модели Киркпатрика есть свой серьезный недостаток – она оценивает эффективность тренинга уже после его проведения. Причем не сразу: сбор данных на всех четырех уровнях может растянуться на несколько месяцев. Есть ли у вас и вашего бизнеса время ждать?

Многие руководители отвечают на этот вопрос отрицательно, предпочитая ограничиваться оценкой лишь на первом уровне – это позволяет сэкономить временные и финансовые затраты. Но будет ли такая оценка объективной, покажет ли она конкретные результаты обучения, даст ли необходимую информацию для управленцев? Разумеется, нет – и доказательства тому вы будете получать на всем протяжении этой книги.

Из книги Уши машут ослом [Современное социальное программирование. 1-е издание] автора Матвейчев Олег Анатольевич

Из книги Менеджмент автора Дорофеева Л И

5. Классическая школа в управлении Управленческие знания появились задолго до нашей эры и задолго до того, как управление оформилось в самостоятельную научную дисциплину и профессию. Самостоятельной областью деятельности управление было признано только в XX веке.

Из книги Менеджмент: конспект лекций автора Дорофеева Л И

1. Классическая школа в управлении Управленческие знания появились задолго до нашей эры и задолго до того, как управление оформилось в самостоятельную научную дисциплину и профессию. Самостоятельной областью деятельности управление было признано только в ХХ веке.

Из книги Компетентность в современном обществе автора Равен Джон

Модель компетентности и психологическая модель способностей Прежде чем перейти к дальнейшему обсуждению данной модели компетентности, рассмотрим ее фундаментальные отличия от многофакторной модели способностей, столь популярной в психологической литературе.

Из книги Маркетинг 3.0: от продуктов к потребителям и далее – к человеческой душе автора Котлер Филип

Глава 2 Модель маркетинга 3.0 Краткий исторический обзор последних 60 лет маркетинга На протяжении последних шести десятков лет маркетинг был одной из самых волнующих тем в бизнесе. Коротко говоря, маркетинг охватывает три основные дисциплины: управление товаром,

Из книги Активные продажи 3.1: Начало автора Рысев Николай Юрьевич

Классическая техника – «Предположим» Техника заключается в том, что вы предлагаете клиенту представить, будто проблема, о которой он заявляет, уже решена, будто ее нет.П: А если бы место на прилавке все-таки было, тогда бы вы какую колбасу заказали?И вот тут наступает

Из книги Психология как бизнес. Как психологу раскрутить себя автора Черников Юрий Николаевич

Модель 1.0 и модель 2.0 – найдите тысячу отличий Модель 1.0 – это модель старшего поколения, схема вчерашнего дня. В этом случае мы заканчиваем вуз, затем повышаем свою квалификацию до уровня тренера-психотерапевта, психолога-консультанта, потом становимся

Из книги 100% брэнд. Как продавать счастье автора Ляпоров Владимир Николаевич

Из книги Стили менеджмента – эффективные и неэффективные автора Адизес Ицхак Калдерон

Из книги Функциональный менеджмент. Как из хаоса создать порядок, преодолеть неопределенность и добиться успеха автора Рятов Кадирбай

Глава 1 Функциональная модель человека 1.1. Человек и мир вокруг. Действия как источник познания На протяжении тысячелетий человек накапливает знания об окружающем мире, оттачивая самые важные и необходимые для жизни навыки и умения. Приобретаемые знания и опыт

Из книги Как стать богатым автора Макивер Мередит

Часть 1 Школа бизнеса и управления Дональда Дж. Трампа В книге «Искусство заключать сделки» я упоминал мою Немезиду – наставника из Нью-Йоркской военной академии Теодора Добиаса (слева от меня). Справа от меня – генерал-майор Джон

Из книги Как сэкономить на маркетинге и не потерять его автора Монин Антон Алексеевич

Часть 2 Время вашего ученичества (советы Дональда по продвижению по службе) Сами управляйте ходом собеседования За многие годы у меня накопилось немало любопытного опыта в том, что касается собеседований о приеме на работу. Хороший пример – Норма Фёрдерер. После первого

Из книги Великолепная команда. Что нужно знать, делать и говорить для создания великолепной команды автора Миллер Дуглас

Из книги Практика управления человеческими ресурсами автора Армстронг Майкл

Из книги Универсум. Общая теория управления автора Масликов Владислав Иванович

Из книги автора

5.1. Классическая и универсумная схемы Мысль о единстве алгоритмики, свойственной самым различным объектам, явлениям и процессам, относящимся к психологии, социологии, философии, информационным системам и многим другим областям знаний, давно высказывалась различными

1

Данная статья посвящена сравнительному анализу различных моделей эффективности обучения персонала, включая наиболее распространённые модели: Киркпатрика, Берна, Стаффлбима и Филлипса. Рассматриваемые модели изучены на основе вторичной информации, включая исследование, выполненное британской компанией Embrion, а также исследование американской компании ASTD с качественной точки зрения: проанализирован состав, особенности, ограничения и преимущества с недостатками каждой из них. Результаты сравнения верифицированы с помощью выполненного авторами экспертного опроса, касающегося точности и распространённости каждого из подхода к оценке эффективности обучения.. На базе полученных результатов сделаны выводы относительно применимости каждой из моделей в практике российских компаний. Кроме того авторами предложены некоторые рекомендации относительно использования этих подходов для получения большего экономического эффекта.

модель Филиппса

модель Берна

модель Стаффлбима

модель Киркпатрика

развитие персонала

оценка эффективности обучения

1. Киркпатрик Д.Л., Киркпатрик Д.Д. «Четыре ступеньки к успешному тренингу: практическое руководство по оценке эффективности обучения» Москва 2008г. С. 50-51.

2. Миронов В. Оценка обучения по Киркпатрику: проверка временем [Электронный ресурс]. – Режим доступа: http://www.top-personal.ru/issue.html?2185 (дата обращения: -01.12.14).

3. Опарина Н.Н. Оценка эффективности обучения и развития топ-менеджеров [Электронный ресурс]. – Режим доступа: http://istina.msu.ru/media/publications/articles/e4f/7fc/422942/Otsenka_effektivnosti.pdf (дата обращения: 10.11.14).

4. Скиба Е. Тема марта 06: оценка эффективности обучения. Дайджест по девяти основным моделям оценки [Электронный ресурс]. – Режим доступа: http://www.trainings.ru/library/articles/?id=6328 (дата обращения: 5.12.14).

5. Casebourne I., Downes A. Evaluation of learning –a family affair? [Электронный ресурс]. – Режим доступа: http://epiclearninggroup.com/uk/files/2013/10/WP_Evaluation_of_-learning.pdf (дата обращения: 22.11.14).

6. Passmore J., Velez M.J. SOAP- M: A training evaluation model for HR // Industrial & Commercial Training, 2012. Vol.6, № 44. P. 315-326.

7. Topno Н. Evaluation of Training and Development: An Analysis of Various Models // Journal of Business and Management, 2012. Vol. 5, № 2. P. 16-22.

В современных условиях глобализации, ожесточения конкуренции на национальных и международных рынках, одним из факторов повышения конкурентоспособности является повышение качества персонала организации. Однако, общая сумма вложений в переподготовку персонала, или различные тренинги, направленные на развитие необходимых фирме качеств отдельного сотрудника, не может служить точной оценкой полученного эффекта. Таким образом, существенную часть проблемы составляет вопрос, как оценить эффективность вложений в развитие персонала. С этой целью были разработаны отдельные модели оценки эффективности обучения, которые в основном использовали подход Киркпатрика (Kirkpatrick).

Модель Киркпатрика

Без оценки эффективности обучения невозможно выстроить систему обучения и развития, которая обеспечивает необходимые бизнес-результаты. В 1954 году Дональд Киркпатрик (Donald Kirkpatrick) защитил кандидатскую диссертацию в Университете штата Висконсин (США) по теме «Оценка эффективности управления программами» . Он предложил краткую формулу для описания цикла обучения: реакция — обучение — поведение — результаты (см. Рис.1). Эта схема необходима для эффективного обучения персонала компании, а также для получения необходимого бизнес-результата.

Рис.1 Модель Киркпатрика

Первый уровень обучения - реакция. Реакция позволяет узнать, что клиенты думают о программе, на основании ответов, тренеру необходимо внести некоторые изменения в программу, чтобы ее улучшить. Оценка первого уровня, «Реакция» очень важна, тренеру необходимо знать мнение участников о своей программе, а также слушатели должны быть уверенны, что их мнение для тренера небезразлично.

Второй уровень: полученные знания. Хорошо, если участник довольны тренингом, но это вовсе не значит, что они чему-то научились. Для оценки полученных знаний используются тесты на знание изученного материала, а также используются листы проверки умений. Тестирование заключается в следующем: через некоторое время после завершения курса участников приглашают на беседу с опытным коллегой или с супервайзером, чтобы выяснить, какие знания из тренинга они усвоили.

Третий уровень: поведение. Киркпатрик определяет этот уровень как самый важный и сложный. Именно на этом уровне происходит оценка того, как изменилось поведение участников в результате обучения, насколько полученные знания и навыки применяются на рабочем месте.

Четвертый уровень: результаты.

Главное в оценке четвертого уровня представлять себе конечный результат. Задача тренера - реализовать ожидание заинтересованных лиц, т.е. окупаемость.

Метод Дональда Киркпатрика показывает нам, как сделать из процесса обучения эффективный бизнес - инструмент, и встроить отдельно взятый тренинг в организацию, сделать обучение именно корпоративным. Подробно рассказывается, как планировать, как

ставить цели, как аргументировать руководителям необходимость обучения, и, что очень важно, как исключить ненужное обучение, если с его помощью заявленные проблемы не решаются.

На практике, однако, используются не все четыре уровня, а чаще всего только два, в порядке убывания важности (по материалам исследования проведённого ASTD - American Society for Training and Development) (см. Рис. 2).

Рис.2 Использование организациями уровней модели Киркпатрика

Таким образом, к оценке эффективности процесса обучения необходимо подходить с позиций финансового менеджмента и количественно оценивать результаты от такого инвестирования. Решение данной задачи было предложено в 1997 году Джеком Филипсом.

Модель Джека Филлипса (Jack Phillips)

В начале 90-х годов известный эксперт в области управления персоналом Джек Филлипс разработал методику оценки эффективности инвестиций в обучение сотрудников. В своей работе, изданной в 1975 г., Киркпатрик высказал неожиданную мысль: «Ни в коем случае не вздумайте переводить четвертый уровень (бизнес-результат) в деньги. Это не нужно, вы не сможете». А в 1991 г. уже другой человек, Джек Филипс, не только заявил, что это возможно, но и предложил алгоритм расчета . К уже названым четырем уровням добавился еще один - возврат на инвестиции, или расчет соотношения прибыли от проекта и затрат на него.

Этот показатель позволяет оценить эффективность обучения. Методики Филлипса хорошо работают в компаниях с регулярным менеджментом.

ROI помогает получить целый ряд выгод, в частности, руководителям компаний: оценить финансовую эффективность инвестиций в сотрудников; получить понятный и надежный инструмент определения результативности мероприятий по работе с персоналом; сделать измеримым "человеческий фактор" и его влияние на бизнес-результат компании. В первую очередь модель ROI необходима для расчета возврата инвестиций в человеческие ресурсы и в кадровые программы, когда руководство инвестирует в людей им необходимо понимать какова отдача от этих инвестиций.

Модель Стаффлбима (Stufflebeam) (CIPP)

Аббревиатура Стаффлбима (см Рис. 3) расшифровывается следующим образом:

Рис. 3 Модель Стаффлбима (Stufflebeam) (CIPP)

Модель позволяет оценить как результаты, так и сам процесс обучения и развития. Поэтому для длительных модульных программ обучения топ - менеджеров данная модель может быть успешно применена.

Модель Берна (Bern) (CIRO)

Сходна с моделью Стаффлбима схема CIPO (см. Рис. 4), разработанная Берном. Модель включает следующие этапы оценки :

Рис. 4 Модель Берна (Bern) (CIRO)

Данная модель также может применяться для оценки эффективности обучения топ-менеджеров, в особенности в условиях запуска модульных долгосрочных программ.

Преимущества и недостатки эффективных моделей обучения

Преимущества

Недостатки

Киркпатрик

Наличие четырех уровней оценки: по реакции участников, по результатам выходного контроля, по изменению в производственном поведении и по изменениям в бизнес показателях компании.

Возможность выбора для оценки эффективности обучения топ менеджера.

Сложность измерения третьего уровня, неготовность топ-менеджеров проходить процедуру оценки или работать с коучами.

Отказ от оценки по финансовым показателям.

Развитие модели Киркпатрика.

Введение пятого уровня оценки эффективности обучения и развития.

Возможность использовать финансовый показатель возврата на инвестиции в обучение и развитие.

Расчёт возврата на инвестиции возможен только при условии ведения полноценного управленческого финансового учёта в организации.

В основном применяется для расчёта эффективности тех программ, которые являются длительными, дорогостоящими и комплексными.

Стаффлбим

Возможность оценивать, как процесс так, и результаты обучения и развития в тесной связи с целями компании.

Нечеткость методик и процедуры оценки результатов обучения и развития топ-менеджеров.

Развитие модели Стаффлбима и частично Киркпатрика.

Постановка целей, определение возможностей, выявление мнения участников об обучении и развитии, оценка результатов.

Сложность поддержания постоянной процедуры оценки эффективности обучения и развития топ-менеджеров, применение для долгосрочных программ.

В таблице представлено сравнение наиболее популярных моделей и методик оценки эффективности развития и обучения персонала с точки зрения достоинств и недостатков, включая финансовые, сложность вычисления, и так далее.

Стоит отметить, что на сегодня не существует идеальной модели эффективного обучения, которая включала бы в себя все необходимые параметры оценки. Каждая из представленных моделей имеет свои плюсы и свои минусу, которые наглядно представлены выше.

Авторами был проведен опрос 7 экспертов в области HR по наиболее точным моделям оценки эффективности обучения (каждый эксперт должен был выбрать наиболее точные модели, по его мнению, из предлагаемого списка). Данные опроса представлены ниже (см. Рис. 5):

Рис 5. Результаты опроса о точности моделей обучения

Данный опрос показал, что наиболее точными моделями обучения являются модель Киркпатрика и модель Филлипса, а наименее точными - являются модель Стаффлбима и модель Берна.

Заключение

В заключение можно сказать о необходимости учитывать разницу между западной культурой обучения и нашей. На западе корпоративное обучение давно уже стало непременным условием и частью деловой жизни, объяснять сотрудникам многих вещей не приходится. В России сейчас отношение к бизнес-обучению начало изменяться в сторону заинтересованности, и сами технологии только начинают внедряться. Таким образом, опрошенные респонденты показали, что в основном модели эффективного обучения чаще всего используют западные компании. Наиболее точными моделями можно назвать модели Киркпатрика и Филлипса. К наименее точным моделям можно отнести модели Стаффлбима и Берна, по мнению респондентов, эти модели реже всего применяются как на Западе, так и в России.

Модель Киркпатрика показывает, как сделать из процесса обучения эффективный бизнес - инструмент, и встроить отдельно взятый тренинг в организацию. Модель Филлипса помогает организации оценить финансовые результаты обучения и развития. Модель Стаффлбима позволяет оценивать, как результаты, так сам процесс обучения. Модель Берна помогает нам определить цели, возможности, мнения участников обучения. Таким образом, можно сказать, что каждая из представленных моделей имеет свои преимущества и недостатки. В настоящее время не существует идеальной модели, которая бы включала в себя сразу все параметры оценки эффективного обучения.

Рецензенты:

Путилов А.В., д.т.н., профессор, декан факультета управления и экономики высоких технологий, Министерство образования и науки Российской Федерации, федеральное государственное автономное образовательное учреждение высшего профессионального образования «Национальный исследовательский ядерный университет «МИФИ», г. Москва;

Тупчиенко В.А., д.э.н., профессор, профессор кафедры «Управление бизнес-проектами», Министерство образования и науки Российской Федерации, федеральное государственное автономное образовательное учреждение высшего профессионального образования «Национальный исследовательский ядерный университет «МИФИ», г. Москва.

Библиографическая ссылка

Удовидченко Р.С., Киреев В.С. СРАВНИТЕЛЬНЫЙ АНАЛИЗ МОДЕЛЕЙ ОЦЕНКИ ЭФФЕКТИВНОСТИ ОБУЧЕНИЯ ПЕРСОНАЛА // Современные проблемы науки и образования. – 2014. – № 6.;
URL: http://science-education.ru/ru/article/view?id=16909 (дата обращения: 24.11.2019). Предлагаем вашему вниманию журналы, издающиеся в издательстве «Академия Естествознания»

Как уже неоднократно упоминалось выше, проблема оценки эффективности обучения все еще остается актуальной для многих компаний, занимающихся развитием своего персонала.

Интересно, что вокруг предложенного Киркпатриком подхода не умолкают споры, еще в конце 1950-х годах, он сформулировал ныне известные 4 уровня оценки эффективности, однако его модель оценки тренингов остается одной из базовых, а его книги - наиболее цитируемыми. Киркпатрик рассматривает оценку как неотъемлемую часть цикла проведения обучения, который включает 10 этапов:

1. Определение потребностей.

2. Постановка целей.

3. Определение предметного содержания.

4. Выбор участников обучения.

5. Формирование оптимального расписания.

6. Подбор соответствующего помещения.

7. Подбор соответствующих преподавателей.

8. Подготовка аудиовизуальных средств.

9. Координация программы.

10. Оценка программы.

Киркпатрик считает, что в большинстве случаев оценка ограничивается использованием анкет по окончании тренинга - изучением непосредственной реакции слушателей на обучение. Он называет эти анкеты "листами для улыбки" (smile-sheets), имея в виду, что чаще всего участники используют анкеты для выражения благодарности.

Четыре уровня, по Кирктпатрику, определяют последовательность проведения оценки обучения. Он пишет: «Каждый уровень важен и влияет на следующий за ним уровень. При переходе от уровня к уровню процесс оценки становится более трудным и требует больше времени, но при этом позволяет получить более ценную информацию» .

· Уровень 1 - Реакция (Reaction)

· Уровень 2 - Научение (Learning)

· Уровень 3 - Поведение (Behavior)

· Уровень 4 - Результаты (Results)

1. Реакция

Оценка на этом уровне определяет, как участники программы реагируют на нее. Сам Киркпатрик называет это оценкой удовлетворенности потребителей. В случае, когда обучение проводится внутри фирмы, реакция участников не всегда интерпретируется как удовлетворенность потребителей. Зачастую руководство определяет необходимость участия в какой-либо образовательной программе. Киркпатрик подчеркивает, что и в этом случае реакция участников является очень важным критерием успешности тренинга, как минимум, по двум причинам.

· Во-первых, люди так или иначе делятся своими впечатлениями от тренинга со своим руководством, и эта информация уходит выше. Следовательно, она влияет на принятие решений о продолжении тренинга.

· Во-вторых, если участники не будут реагировать позитивно, то у них не будет мотивации к научению. Позитивная реакция не гарантирует успешного освоения новых знаний, умений и навыков. Отрицательная же реакция на тренинг почти наверняка означает уменьшение вероятности научения.

2. Научение

Научение определяется как изменение установок, улучшение знаний и совершенствование навыков участников в результате прохождения ими программы обучения. Изменение поведения участников в результате тренинга возможно только тогда, когда произойдет научение (изменятся установки, улучшатся знания или усовершенствуются навыки).

3. Поведение

На этом уровне происходит оценка того, в какой степени изменилось поведение участников в результате обучения. Киркпартик указывает на то, что отсутствие изменений в поведении участников не означает, что тренинг был неэффективен. Возможны ситуации, когда реакция на тренинг была позитивной, научение произошло, но поведение участников в дальнейшем не изменилось, поскольку для этого не были соблюдены необходимые условия. Поэтому отсутствие изменения поведения участников после тренинга не может быть поводом для принятия решения о прекращении программы. В этих случаях кроме оценки реакции и научения рекомендуется проверить наличие следующих условий:

· Желание участников изменить поведение.

· Наличие у участников знаний о том, что и как делать.

· Наличие соответствующего социально-психологического климата.

· Поощрение участников за изменение поведения.

Говоря о социально-психологическом климате, Киркпатрик имеет в виду прежде всего непосредственных руководителей участников обучения. Он выделяет пять видов "климата": запрещающий, обескураживающий, нейтральный, поддерживающий, требующий. Позиция руководителя, соответственно, меняется от запрета на изменение поведения до требования изменить поведение после окончания тренинга. Киркпатрик считает, что единственный способ создания позитивного климата - вовлечение руководителей в разработку учебных программ.

4. Результаты

К результатам относятся изменения, которые произошли в связи с тем, что участники прошли обучение. В качестве примеров результатов Киркпатрик приводит увеличение производительности, улучшение качества, уменьшение количества несчастных случаев, увеличение продаж, снижение текучести кадров. Результаты не следует измерять в деньгах.

По мнению Киркпатрика, оценка на этом уровне - самая сложная и дорогостоящая. Вот несколько практических рекомендаций, которые могут помочь в оценке результатов:

· если возможно, использовать контрольную группу (не проходившую обучение),

· проводить оценку через некоторое время, чтобы результаты стали заметны,

· проводить оценку до и после программы (если это возможно),

· провести оценку несколько раз в ходе программы,

· сопоставить ценность информации, которую удастся получить с помощью оценки и стоимость получения этой информации (автор считает, что проведение оценки на 4 уровне не всегда целесообразно в связи с ее высокой стоимостью).

К принципиальным недостаткам данного подхода относится тот факт, что выделенные информационные блоки не связаны между собой, кроме этого отсутствуют механизмы обратной связи, позволяющие управлять процессом генерации и передачи знаний.. Остальные трудности связаны с неразработанностью процедурного уровня сбора информации и ее обработки. Вследствие этого:

1) обобщенные числовые характеристики объективно не отражают состояния и отношения в измеряемой эмпирической системе;

2) используемые измерительные техники не обладают свойствами валидности, чувствительности и надежности;

3) не учитывается влияние внешних факторов;

4) не ясно, как выделить «чистый эффект» от обучения».

В 1954 году была создана одна из самых ныне известных моделей, подходящих как для оценки эффективности тренинга , так и для оценки эффективности процесса обучения вообще. Ее автором стал почетный профессор университета штата Висконсин (США) Дональд Киркпатрик . Он предложил разделять процесс обучения на четыре уровня, которые впоследствии и оценивать. Таким образом, по его мнению, можно будет обеспечить применение полученных в процессе обучения новых навыков непосредственно на рабочем месте и, следовательно, добиться максимальных показателей от данного обучения.

Рассмотрим, что же это за уровни, и что нуждается в оценке на каждом из них.

ПЕРВЫЙ УРОВЕНЬ — «РЕАКЦИЯ»

На данном этапе важно выяснить, как участвующие в обучении реагируют непосредственно на само обучение — нравится ли оно им, и для чего они будут использовать полученные навыки и знания.

Для оценки эффективности первого уровня могут быть использованы такие инструменты как листы реагирования (анкеты комментариев, листы улыбок, анкеты реакции), интервью, фокус-группы.

Листы реагирования

Главной задачей является составить их так, чтобы получить максимум полезной информации. Рекомендуется составлять от 8 до 15 вопросов для участников обучения, которые должны быть как открытые, так и со шкалами (например «пятибалльная шкала» или «десятибалльная шкала»), необходимыми для наиболее точной оценки мнений всех участников тренинга. Рядом с каждым вопросом нужно обязательно оставить место для комментариев. Целесообразно разместить в листах реагирования вопросы, позволяющие получить такую информацию, как: эффективен ли тренер и используемые им методы, соответствуют ли и насколько задачи курса целям деятельности, доступен ли был предоставленный материал, каким образом можно улучшить программу и т. д.

Желательно, чтобы анкеты были анонимными. Считается, что в таком случае ответы будут более откровенными.

Интервью

Интервью проводится после обучения с каждым из участников курса так же, как и в случае с анкетами, для получения обратной связи.

Фокус-группы

Фокус-группы могут быть использованы в случае проведения пилотных проектов. Первый раз мнения участников рекомендуется собирать через неделю после окончания проекта, второй раз — через 90 дней после проекта.

Результат оценивания первого уровня может быть выражен в ответах на такие вопросы:

  • Для кого должен быть представлен данный тренинг?
  • Какие методы будут более продуктивными?
  • Когда должен проводиться тренинг?
  • Что получил от тренинга его участник?
  • Как он будет применять на своем рабочем месте полученные им навыки и знания?

Таким образом, как участники реагируют на курс, такова и есть его оценка. Реакция участников тренинга, по мнению Д. Киркпатрика, является достаточно важным критерием успешности и эффективности всего курса обучения.

ВТОРОЙ УРОВЕНЬ — «ОБУЧЕНИЕ»

Этот уровень предполагает оценку того, в какой мере усвоили участники новую информацию, сформировали ли они необходимые отношения, изменились ли и насколько их знания, установки под конец процесса обучения.

Для количественного измерения прогресса в обучении используются специально разработанные опросники, задания и тесты.

Инструментами, необходимыми для оценки второго уровня модели, являются: тест на знание изученного материала, лист проверки умений, составление плана действий, обучение других сотрудников.

Лист проверки умений

Лист проверки умений заполняет наблюдатель, который в ходе беседы с участником курса определяет его умения использовать полученные во время обучения навыки. В первой колонке листа выставляется оценка умения, во второй вносятся комментарии. Умения оцениваются следующим образом:

1 — неправильное использование умения;

2 — верное использование умения;

3 — экспертное использование умения.

Составление плана действий

Для составления плана действий участникам тренинга предлагается дать ответы на вопросы такого плана:

  • Какие действия вы собираетесь производить?
  • Что хотели бы научиться делать?
  • Что может помешать вам в достижении успеха?
  • Каким образом будете преодолевать возникшие помехи?
  • Какая поддержка будет необходима для осуществления вами действий?
  • Каких ожидаете результатов?

Еще один инструмент оценки — это обучение других сотрудников.

Его можно организовать в виде проведения различных презентаций для коллег из других подразделений, помощи в обучении и адаптации новых сотрудников, обучения группы в парах.

По мнению Д. Киркпатрика, если процесс обучения был эффективным, то должны произойти видимые изменения, т. е. улучшатся знания, усовершенствуются навыки и изменятся установки.

ТРЕТИЙ УРОВЕНЬ — «ПОВЕДЕНИЕ»

В данном случае нужно определить, изменилось ли в результате обучения поведение его участников, применяют ли они что-либо из полученных навыков и знаний на своем рабочем месте.

Инструменты оценки, использующиеся для третьего уровня следующие:

  • контрольный лист поведения;
  • обзор поведения;
  • обзор работы сотрудников на рабочем месте;
  • проверка планов действий;
  • обучение действиям;
  • фокус-группы.

В обзорном тесте можно использовать следующие вопросы: были ли получены новые знания; насколько улучшилось в результате обучения поведение на работе; через сколько смогли применять обучение в своей работе; если же до сих пор не получилось, то почему и т. д.

Д. Киркпатрик обращает внимание, что если изменения в поведении участников после обучения не произошли, то это абсолютно не означает, что тренинг был не эффективен. Бывают такие случаи, когда не были созданы необходимые условия, и, следовательно, даже при позитивной реакции на тренинг поведение участников не изменилось. Поэтому при оценивании очень важно проверять наличие следующих условий:

  • есть ли желание у участников изменить свое поведение;
  • понимают ли участники, что и как нужно делать;
  • создан ли соответствующий социально-психологический климат на рабочем месте;
  • присутствует ли поощрение участников тренинга за изменение их поведения.

ЧЕТВЕРТЫЙ УРОВЕНЬ — «РЕЗУЛЬТАТЫ»

Оценка того, в какой степени были достигнуты намеченные заранее результаты, и есть основная цель данного уровня, т.е. это оценка экономической эффективности обучения . Также важно отметить, принесли ли какое-либо положительное влияние на саму организацию изменения в поведении участников обучения.

Оценить четвертый уровень модели достаточно непросто, так как тут нужно определить, как изменились бизнес-показатели организации. Т. е. нужно правильно выбрать показатели , которые будут измеряться как до, так и после проведения обучения.

Д. Киркпатрик отмечает, что к результатам будут относиться изменения, произошедшие в связи с прохождением обучения участниками (например, увеличение продаж, улучшение качества, увеличение производительности и т. д.).

Проведение оценки необходимо осуществлять до, во время и после процесса обучения, а также через некоторое время, когда результаты станут более заметными.

В 1970 годы модель оценки эффективности обучения Д. Киркпатрика была уже достаточно известна и принята в качестве стандарта для проведения оценки непосредственно профессионального обучения.

Долгие годы автор модели проводил различные исследования, разрабатывая новые инструменты и оценочные методы, которые относились в основном к 1 и 2 уровням. И только в 2005 году им был предложен инструментарий, необходимый для оценки 3 уровня модели. Задача обеспечения наиболее эффективного применения полученных за счет обучения знаний и навыков в реальной деятельности до сих пор достаточно актуальна для различных обучающих организаций.

В 2006 году Киркпатрик выпустил уже третье издание своей книги «Оценка тренинговых программ», в которой основное внимание уделено 4 уровню модели, а также значительно расширена сфера применения непосредственно самой модели. Автор предложил использовать свою модель не только для оценки эффективности программ обучения, но и для процесса, связанного с управлением изменениями, а также для того, чтобы можно было продемонстрировать ценность обучения бизнесу.

Алгоритм работы с самой моделью тоже поменялся. В книге Д. Киркпатрика предлагается проводить оценку, начиная с 4 уровня и заканчивая 1. Так, по его мнению, специалисты, отвечающие за обучение, будут уделять должное внимание не только самому процессу обучения, но и поддержке нужного поведения, достижению запланированных бизнес-результатов.

По мнению авторов, для того, чтобы получить гарантированные результаты, прежде чем начинать обучение, нужно определить ожидаемые результаты, ключевые показатели и методы, с помощью которых будет осуществляться измерение и оценка.

ПЯТЫЙ УРОВЕНЬ — ROI

Также известен 5 уровень модели , разработанный Джеком Филипсом , благодаря которому должно стать ясно, стоило ли вкладывать деньги в обучение. Его показатель — ROI («возврат на инвестиции») позволяет перевести результаты оценки четвертого уровня в материальный эквивалент, далее полученная сумма прибыли сравнивается с затратами на курс обучения. Коэффициент ROI показывает процентное соотношение прибыли от курса обучения к сумме затрат на него.

Таким образом, модель Джека Филипса предоставляет возможность оправдать затраты на обучение, провести оценку курса обучения как бизнес-инструмента и показывает прямую зависимость увеличения продуктивности компании от обучения ее сотрудников, т.е. сделать обучение экономически эффективным .

Несмотря на то, что модели Дональда Киркпатрика уже более 50 лет, еще достаточно многие менеджеры и специалисты по обучению считают, что учащийся, когда-либо получивший какие-либо знания, уже является экспертом и может легко их применять. Но, как показывают практика и результаты оценки эффективности обучения по модели Д. Киркпатрика, это далеко не так. Использование данной модели позволит совершенствовать в дальнейшем учебные программы, а также повысить эффективность подготовки сотрудников.

Статья является собственностью профессионального портала для тренеров . При перепечатывании статьи ссылка на сайт обязательна.

Рекомендуем уникальные тренерские методички лучших упражнений для тренингов:

  • Я отлично умею!

    Активное игровое упражнение, расширяющее представления участников тренинга о себе , повышающее самооценку и уверенность в себе и открывающее новые перспективы. Упражнение раскрывает творческий потенциал участников тренинга, настраивает и мотивирует группу на дальнейшую работу.
    Упражнение «Я отлично умею!» прекрасно подходит для тренингов личностного роста и уверенности. Его успешно можно совместить с задачами командообразующих тренингов, и сделать весьма показательным на тренинге целеполагания . Кроме того упражнение незаменимо для тренингов открытия собственного дела и тренингов трудоустройства.
    Объем тренерской методички упражнения: 8 страниц.
    Бонусы! Методика содержит 5 различных вариаций упражнения в зависимости от целей тренера и особенностей группы!

  • Упражнение для тренинга "Угадай героя"

    Интересное и показательное упражнение для тренинга продаж, переговоров, коммуникаций, которое на практике показывает эффективность использования открытых и альтернативных вопросов при выявлении потребностей клиентов. Под эту задачу у упражнения для тренинга "Угадай героя" вряд ли найдутся достойные конкуренты. Методичка содержит 4 разных вариации упражнения! Хотите, чтобы участники наглядно увидели эффективность открытых вопросов по сравнению с закрытыми? Или чтобы осознали, какие вопросы они чаще всего сами используют на практике? Чтобы потренировались в задавании эффективных вопросов? Все возможно!

    Эксклюзивная методичка упражнения разработана тренерами-профессионалами специально для портала Тренерская.ру. и содержит уникальные рекомендации, подсказки экспертов, раскрывающие все секреты успешного проведения упражнения. Такого вы не найдете больше нигде!

    Объем тренерской методички упражнения: 9 страниц.
    Бонусы! 4 различных вариаций упражнения и подробный блок теории!

  • Презентация директора


    Универсальное и результативное упражнение
    , способное существенно расширить знания участников тренинга о самопрезентации, оценить их умение производить первое впечатление, поработать с уверенностью, вербальными и невербальными способами общения, а заодно и ускорить процесс распределения ролей, включить группу в «рабочее состояние» и подвести к стадии активной работы.

    Упражнение подходит для всех тренингов, в которых затрагивается тема коммуникаций и презентаций. «На ура» проходит в тренингах уверенности и лидерства . Может оказаться полезным и эффективным на тренингах руководителей.
    Упражнение способно зарядить группу энергией и мотивировать на усердную работу.
    Упражнение для тренинга рекомендовано профессиональным тренером Д.Швецовым, автором книги "Укрепление личности".

Похожие публикации