Новости Феникса

Как и зачем оценивать эффективность образовательной программы: метрики и инструменты

Представим, что вы — заботливый руководитель, опытный эйчар или продвинутый методист, и перед вами стоит задача обучить сотрудников чему-нибудь, что будет приносить компании больше прибыли или известности. Вы нашли экспертов, провели несколько лекций для сотрудников, но засомневались, было ли обучение эффективным для вашей компании… А деньги уже потрачены, как и рабочее время сотрудников 🙂 Что делать?
Избежать таких ситуаций помогут грамотно подобранные и вовремя отслеживаемые метрики. Сегодня мы пройдемся по самым популярным метрикам образовательным проектам и разберем кейс из опыта Феникса вместе с продуктовым директором Феникса Даниилом Захаровым и senior продакт-менеджером Виктором Бахметьевым.



Что такое метрика


Метрика — показатель, который можно измерить количественно и использовать в отслеживании успешности продукта или деятельности.

Метрики бывают разные, и чтобы выбрать подходящие, нужно четко понимать бизнес-цели на обучение. Даниил рекомендует помнить, что образование — это не самоцель, а только инструмент для решения задач компании. Именно метрики помогают поддерживать коммуникацию с клиентом, стейкхолдерами и командой прозрачной, понятной и определенной.

Предлагаем перейти к образовательным метрикам, которые мы используем на своих проектах чаще всего :)

1) Посещаемость

Посещаемость, то есть измерение количества людей, посетивших образовательное мероприятие, — одна из самых популярных метрик, особенно среди корпораций.
Плюсы: легко измерять и анализировать, можно увидеть охват мероприятия, вовремя заметить проблемы на проекте при спаде посещаемости.
Минусы: не забываем, как порой проходит посещение воркшопов в реальности — можно присутствовать на занятии, но заниматься при этом свои делами и ничего не усвоить. А еще на посещаемость могут влиять внешние факторы, несвязанные с качеством программы — занятость на основной работе, отношение руководства к учебе, даже обстановка в стране.
Как работать: обязательно подключать другие метрики, анализировать динамику посещаемости в связки с другими метриками и внешними факторами.

Источник: unsplash


2) Тестирование с выбором ответов

Тесты особенно популярны по окончании онлайн-курсов или видеолекций.
Плюсы: можно автоматизировать проверку, не тратится много времени на прохождение тестов.
Минусы: необъективная оценка знаний — ответы можно найти в интернете или угадать. Также есть риск неграмотно сформулировать вопросы и проверять, знают ли разработчики названия всех ГОСТов, которые фактически им не очень нужны.
Как работать: проблемы тестирования сможет решить методист и эксперт, которые знают, с какими знаниями участники должны выйти с программы. А еще лучше заменить тесты на вопросы с развернутым ответом, решение кейсов или артефакты, но об этом чуть позже.

3) NPS (Net Promoter Score)

NPS — индекс лояльности пользователей, означает удовлетворенность участников программой и готовность рекомендовать её другим людям/участвовать снова.
Плюсы: возможность узнать мнение аудитории, оценить удовлетворенность участников и попадание в их потребности. Также участники могут подсветить удачные и неудачные моменты проекта.
Минусы: субъективность оценки. Приподнятое настроение или душевная тоска, которые имеют отношение к личной жизни оценивающего, но не к проекту, будут влиять на результаты данной метрики.
Как работать: проводить несколько “замеров” в разные периоды проекта, использовать не только формат опросов, но и делать глубинные интервью с участниками.

4) Сохраняемость

Эта метрика показывает, какой процент от числа участников, зашедших на проект, дошел до конца обучения. Сохраняемость включает в себя не только посещаемость, но и выполнение промежуточных заданий, участие в дополнительных активностях и т.д.
Плюсы: несложно измерять, отражает реальную заинтересованность и мотивацию участников проходить образовательную программу.
Минусы: требуется далеко не на каждом проекте. Например, если ваша цель — найм сотрудников, то доведение 100% участников до конца проекта вам не требуется и даже может быть лишним.
Как работать: определите, что значит “дошёл до конца” на вашем проекте. Например, участник посетил x% занятий, сдал x% заданий, сделал успешный учебный проект и защитил его по итогам обучения. Также помогают чёткие критерии выбывших. Например, человек покинул программу, если: 1) ушёл сам 2) пропустил Х занятий подряд/не сдал Х артефактов и т.д.

Источник: unsplash


5) Промежуточные артефакты и финальная защита

В нашем мире практические знания ценнее теоретических. Поэтому мы проектируем разные способы проверки навыков, которые участники получают на образовательных программах.
Например, мы разбиваем проект на спринты, чтобы участники сразу привыкали к рабочей реальности. Каждый спринт заканчивается артефактом. Артефакт — это что-то физически изменившееся в проекте, например, новый раздел на сайте или проведенное исследование ЦА. На проектах есть эксперты, которые оценивают артефакты по своему опыту и по установленным критериям.
На продолжительных проектах мы делаем “финальные” защиты — может быть как одна защита в конце проекта, так и несколько на его протяжении. На такой защите участники защищают свои решения проблемы или кейса, над которыми они работали в течение программы с самого начала, перед жюри, включающим представителей заказчика, экспертов проекта и организаторов
Плюсы: применение знаний на практике, понимание, что теперь умеют участники.
Минусы: найти опытного эксперта для проверки артефактов бывает сложно. Но и здесь мы можем дать пару советов от Даниила:

«Не всегда хорошо учит тот, кто много знает. То есть профессионал с многолетним опытом и крутой экспертизой может быть не способен понятно доносить знания до участников воркшопов (вспомним некоторые лекции в университетах), а “середнячок”, который просто хорошо разбирается в своем деле, может оказаться прекрасным преподавателем.
У нас была пара кейсов, когда мы брали в преподаватели авторов образовательных каналов на YouTube. В 90% случаев эта затея оказывалась провальной, так как спикер не был приспособлен к другому формату подачи информации, чем блог. Гибкость и готовность адаптироваться под разную аудиторию — еще одни важные качества хороших экспертов»

Метрики в действии


Давайте посмотрим, как ведется работа с метриками и на что они реально влияют. Мы попросили Виктора как опытного продакт-менеджера поделиться кейсом, который проиллюстрирует наш разговор о метриках:

«Однажды мы делали Школу для стажеров (детали проекта и клиента не раскрываем). Перед нами стояли две стратегические цели — повысить “сохраняемость” стажеров до окончания стажировок либо трудоустройства и подготовить проект к последующему масштабированию. Вместе с этими целями шли среднесрочные задачи: снять часть загрузки с HR-блока, повысить эффективность работы HR-менеджеров по части обучения и наладить систему HR-аналитики для управления процессом стажировок.

Первой метрикой мы выбрали измерение процента стажеров, зачисляемых в штат компании. Вскоре стало понятно, что метрика не совсем корректна: а) наша образовательная программа была короче длительности стажировки б) кого-то зачисляли в штат раньше, кого-то позже Так что эту метрику мы сделали долгосрочной и наблюдали за ней и по окончании образовательной программы.

Также мы следили за такими метриками, как сохраняемость участников, удовлетворенность программой, посещаемость и оценка стажеров от их наставников. Последние две метрики оказались самыми неоднозначными.

Во-первых, в один момент у нас резко упала посещаемость. Сначала мы решили, что дело в качестве образовательной программы. Затем мы провели глубинные интервью с участниками и выяснили, что дело не в программе, а в их загруженности на основном месте стажировки, политической обстановки в стране и, что немаловажно, отношении к программе руководства. В отделах, где прохождение программы активно поддерживалось и поощрялось руководителями, посещаемость была намного выше.
Во-вторых, мы заметили, что есть участники, которые исправно выполняют артефакты, но не ходят на занятия. Оказалось, что они смотрят занятия в записи, о чем свидетельствовало количество уникальных просмотров (хотя и здесь можно схитрить). Мы решили пойти навстречу, учитывая большую занятость участников, и засчитывать такой способ учебы.

Постоянный контроль метрик и сбор дополнительных точек контроля, общение с участниками, постановка и тестирование гипотез помогли нам спроектировать решение для следующей Школы для стажеров, которое оказалось гораздо эффективнее. Мы решили разделить образовательную программу и стажировку, и бОльшую часть учебы поставить на неделю до старта работы стажеров. Так участникам не нужно метаться между стажировкой и учебой и пытаться успеть всё, у них было больше времени и сил на полноценное посещение воркшопов. И мы заметили, как выросла посещаемость, удовлетворенность программой и повысилось качество сдаваемых артефактов. Вот так метрики помогают совершенствовать подходы к обучению сотрудников и делать его эффективным.»

В заключение


Универсальных метрик не существует, и при выборе методов оценки обучения всегда нужно опираться на особенности своей компании и цели. Например, обучению в небольшой компании (до 100 человек) будет достаточно оценки от экспертов, а корпорациям стоит разработать свою систему метрик. Самое главное в проектировании образования — не только создать качественный и полезный продукт, но и решить бизнес-задачи совместно с созданием душевной и теплой атмосферы среди участников. И тогда образование точно будет иметь эффект и принесет ощутимую пользу и компании, и её сотрудникам.