Оценка эффективности электронного дистанционного обучения. Оценка эффективности дистанционного педагогического образования Оценка эффективности системы дистанционного обучения

Если вы не понимаете, каков вообще смысл такой информации, то все просто: с этими сведениями вы сможете понять, каким именно образом можно определить действенность дистанционного обучения.

Между прочим, обозначенный вопрос намного чаще чем остальные, задают разработчикам на разнообразных презентациях электронных решений. При ответах на него многие сразу же начинают ссылаться на известнейшие методы Д. Филипса, Д. Киркпатрика, Тайлера и прочих. Другие же объясняют по-своему, во многом непонятно для окружающих.

Можно задаться иным вопросом: "До какой степени будет оправданным применение таких методов? Существуют ли какие-то альтернативы стандартных методик оценки эффективности дистанционного обучения?" То есть насколько будут релевантными используемые способы оценки?

Критерии, по которым выбирают способ оценки.

Не так давно Ф. Нихолс решил сформулировать перечень вопросов, посредством которых возможно выявить задачи по оценке тренингов:

Нужно ли оценивать или этого делать не стоит?

С какой именно целью нужно осуществлять оценку?

Кого или что необходимо оценить?

Когда давать оценку?

Как нужно оценивать?

Существуют ли данные, необходимые для оценки и до какой степени они точные?

Как и где именно впоследствии придется использовать итоговые оценки?

Какие резервы потребует себе оценка, и будет ли она после этого еще иметь смысл?

Некоторые из вопросов оригинальной анкеты было решено исключить, потому что они затрагивали не целевую аудиторию, а персонал, который проходит обучение, при этом другие вопросы были добавлены с учетом приобретенного опыта.

Стоит отталкиваться от того, что именно цели оценки и задачи людей будут диктовать непосредственный выбор метода. Это достаточно значимое утверждение, потому что как раз эти вопросы и будут определять критерии для данных методик. При этом всем вполне очевидно, что разнообразные способы будут использоваться для того, чтобы отыскать верные ответы на конкретные вопросы. Причем некоторые из них будут давать больше информации, чем другие.

В отдельном порядке нужно отметить, что все вопросы по оценке эффективности будут обязательно взаимосвязаны. Более качественным будет то дистанционное обучение, которое должным образом оценено и дает прекрасные результаты по заявленным аспектам. Кроме этого, достоверно известно, что оценки некоторым образом искажают правдивые итоги. То есть с определенной стороны оно не сможет отследить множество важнейших показателей, а с другой будет выступать неким средством руководства системы, подвергающейся оценке, задавая ей при этом определенное направление для развития.

Для того чтобы можно было все это подтвердить и пояснить наглядно, стоит рассмотреть следующий пример. Две организации (они будут названы "Мастер-телеком" и "ФУД") решили внедрить систему дистанционного образования для того, чтобы обучить персонал, занимающийся отделом продаж. Естественно, обе компании желают знать, насколько эффективно они смогли проинвестировать средства в обучение. Для этой цели в обеих фирмах смогли выделить несколько основных критериев. В "Мастер-телеком" особенно ценятся фискальные средства, а потому их менеджер проектов ведет подсчет, насколько же увеличился оборот организации при внедрении системы дистанционного обучения. В итоге определился средний диапазон продаж на одного работника отдела как до, так и после начала обучения. Итоги оказались достаточно неутешительными: прыжок продаж был совсем невелик, а проект в целом абсолютно нерентабельным.

В фирме "ФУД" аналогичным образом ценят капитал, однако они смотрят гораздо дальше. Поэтому менеджер проекта должен был оценить влияние системы дистанционного образования на организацию в совокупности. Их менеджер, естественно, затратил на оценивание этого почти на неделю больше, чем коллега из фирмы "Мастер-телеком", однако и итоги оказались отличными от ранее рассмотренных. Несмотря на то, что продажи выросли не так уж значительно на момент оценивания, но они обладали явной тенденцией стабильного роста. Как оказалось, после того, как была введена система дистанционного обучения, текучесть кадров существенно понизилась. Руководитель кадрового отдела выяснил, что персонал отмечает положительную заинтересованность своего руководства и полагает, что компания о них проявляет заботу и более не является эгоистичной. Помимо этого HR-руководитель сумел подсчитать, до какой степени понизились издержки организации на наем новых сотрудников.

Так как менеджер обладал этими сведениями, он смог наглядно продемонстрировать руководителям, что проект дистанционного обучения был очень полезен для фирмы.

Однако в "Мастер-телеком" оценивали лишь рост своих продаж...

В "ФУД" оценивание велось по всем главнейшим параметрам имеющейся деятельности. Ориентировались они не на получение краткосрочного итога, а на устойчивый длительный рост. Оценивались многочисленные параметры, включая и численность дополнительных сделок, удовлетворенность клиентуры и общую атмосферу в коллективе сотрудников. Менеджеры "ФУД" осознавали, что их успешность будет оцениваться по многим критериям, и от них впоследствии будет напрямую зависеть собственное вознаграждение. Все эти факторы стимулировали их на то, что нужно придерживаться некоторых правил поведения, которые и определили стратегический успех организации.

Спустя шесть месяцев на важной конференции, названной "EXPO-Trainings", произошла случайная встреча менеджеров проектов, занимающихся внедрением системы дистанционного образования в компании "ФУД" и "Мастер-телеком". После того, как они разговорились, все свелось в итоге к обсуждению их проектов. Менеджер из "Мастер-телеком" покинул конференцию в очень расстроенных чувствах, завидуя успеху своего коллеги. А менеджер из "ФУД" смог проанализировать состоявшийся разговор в деталях и сравнил подходы, которые были использованы в обоих проектах. В результате чего он пришел к выводу, что посредством видоизменения параметров оценивания возможно прекрасно управлять персоналом, одновременно стимулируя сотрудников на конкретное поведение.

В системе дистанционного обучения организация "ФУД" спустя некоторое время реализовала два новых учебных курса по занимательному тайм-менеджменту и руководству разрешения конфликтных ситуаций для "чайников". При этом, для того чтобы было возможно проверить собственную гипотезу, их менеджер решил распустить слух, что руководители станут оценивать всех менеджеров в том числе и по итогам прошедшего обучения. Особое же внимание будет уделено руководителями на вторую дистанционную программу обучения.

После этого стало известно, что завершенность обучающих курсов в процентном соотношении была в два раза больше, чем обычно. Как ни странно, именно второй курс был изучен почти каждым работником компании.

Из этого всего можно сделать логичный вывод: совершенно любые особенности в выборе тех средств, которые направлены на мотивацию сотрудников, определяются спецификой объектов, на которые они воздействуют. В приведенном выше примере было ясно, что факторы при выборе метода оценивания были вызваны или попыткой оценить обучение, или тем, какую именно ее часть собираются оценить и с учетом каких целей произведут оценку.

Правда, существует дополнительное обстоятельство, которое очень часто совершенно зря игнорируют: необходимо оценивать дистанционное обучение в целом. Так как это обучение является электронным, появляется возможность использовать методы оценки проекта из области IT. И действительно, инструменты дистанционного образования являют собой стандартные комплексы программ, которые немногим отличаются, например, от Microsoft Office с концептуальной стороны.

Однако в оценивании дистанционного обучения с точки зрения образовательного мероприятия или как проекта IT, заключается немалое различие и в подходах, и во взглядах. При методике оценивания "образовательного" проекта более востребованными являются качественные и количественные критерии. В отличие от этих способов, многие методы оценивания проектов в области IT относятся к количественно-финансовым показателям.

Что используют и что можно применять

На западе, для оценки эффективности корпоративного обучения, используют следующие методы:

Д. Филипса или Д. Киркпатрика;

Целевой способ Тайлера;

Натуралистический метод Губа;

Прикладную теорию П. Кирнса;

Способ Скривенса;

Бенч-маркинг;

Схему CIPP Стафлебима;

Модель CIRO;

Схему Б. Аарона V.

Отечественные эксперты, как правило, ограничивается из этого списка лишь пятью наименованиями. Чаще всего выбор инструментов оценивания основан (кроме некоторых исключений) на поверхностном способе поиска доступных сведений в разнообразных открытых информационных источниках и на опыте своих коллег. В большинстве из случаев, к сожалению, это может привести к необдуманному копированию разных методик и, в итоге, к бесполезному или некорректному оцениванию.

Как уже было указано выше, в практике оценивания дистанционного обучения самым большим предпочтением (а возможно, и целой монополией) пользуются методики оценивания по качеству. Через этот путь уже прошли практически все функциональные филиалы фирм: отделы продаж, управление кадрами, маркетинг, производство.

Чем сложнее поддается измерению деятельность отделов, тем больше уходит времени на поиск и адаптацию необходимых для проведения оценки инструментов.

Несмотря на то, что дистанционное образование существенно отличается от прочих процессов в фирме по мере воздействия, это отличие не такое уж и большое. Поэтому не стоит полагать, что невозможно дать количественную оценку итогам дистанционного обучения.

Однако еще до того, как ознакомить вас с примерами подобных способов, нужно рассмотреть определенные базовые понятия, которые могут обосновать разницу между качественным подходом, который особенно популярен среди специалистов T&D, маркетологов и руководителей кадровых отделов, и количественным, который является наиболее точным. Последний подход прекрасно прижился у специалистов в области IT и финансистов. Показатели качества позволят очень существенно упростить выявление каких-либо воздействий на конкретный исследуемый объект, но при этом всем всегда стараются оперировать более размытыми заключениями, которые затрагивают не только прямые связи, но и корреляцию. Несмотря на то, что выявление количественных показателей связано с немалыми издержками и значительными трудностями, это может окупиться посредством более высокой точности выявленных информационных данных вкупе с меньшими возможными рисками неправильного оценивания связей. В большинстве из случаев каждый способ являет собой определенный синтез между количественными и качественными оценками.

Подобные способы можно подразделять по тем факторам, которые измеряют (индикаторы или метрики), а именно:

Обращенные в будущее время (вперед по шкале времени) - предсказательные;

Показывающие непосредственный итог воздействия в прошедшем времени (обращенные в прошлое) - прошедшие.

Абсолютно все действенные методы по оцениванию включают в себя показатели качества, которые при этом служат специфическим инструментом прогнозирования, и количества, которые оценивают итоги прошедших временных периодов. Более проработанной из всех известных методик является система, учитывающая сбалансированные показатели.

Система, учитывающая сбалансированные показатели и ее достоинства

Есть очень много информационных данных и письменных трудов, базируемых на обозначенной методике. Однако, если исключить очень подробное описание, можно определить самые основные факторы и связь с прочими знаменитыми концептами.

Эта методика, именуемая системой, учитывающей сбалансированные показатели, предлагает несколько направлений оценивания, которые отвечают за все существенные и важные вопросы в организации и находятся в сложной зависимости друг от друга:

Финансовые средства;

Клиентура;

Предпринимательские процессы;

Развитие.

Все они, кстати, тесно взаимосвязаны между собой и нужны для того, чтобы любая фирма могла успешно функционировать. Но для разнообразных организаций каждое из обозначенных направлений будет обладать различной ценностью и весом. К примеру, направление, которое называется развитием, может иметь намного больший вес в одной фирме (консалтинговой), чем в другой (ресторан фэст-фуда).

Для любого из этих направлений выбирают индикаторы количества, при помощи которых можно определить действенность работы по любому из направлений. Стоит указать на несколько очень значимых отличительных особенностей системы, учитывающей сбалансированные показатели:

Гибкость сконцентрированных индикаторов.

Этот фактор будет выражаться в регулярном переоценивании целей и непосредственного набора индикаторов для оценивания. При этом предпочтение будет отдаваться тем из них, которые будут более релевантными для организации, то есть ее миссии и стратегическому подходу. Это позволит системе оценивания одновременно эволюционировать совместно с тем объектом, который и будет оцениваться. Другими словами, система, учитывающая сбалансированные показатели - единственная из всех изученных методов, которая не подвержена "моральному" старению и может видоизменяться вместе с организацией;

Концепция по управлению только тем, что возможно измерить.

Методы по оцениванию эффективности не включают в себя оценку количества показателей конкретной деятельности. Есть иногда определенные исключения, где можно отметить, что для многих показателей качества создают индикаторы количества. Но только лишь в методике, учитывающей сбалансированные показатели в качестве одной из главенствующих и основополагающих идей, выступает концепция, с учетом которой можно управлять лишь только тем, что вообще возможно как-либо измерить. Подобная доктрина будет означать то, что измерению количества будут подлежать абсолютно все известные показатели и для абсолютно каждого направления возможно выбрать нужный индикатор.

Подобные особенности очень выгодно отличают систему, которая учитывает сбалансированные показатели от прочих методик оценивания, при этом применяя эту систему оценки в целях управления. При этом можно очень существенно увеличить эффективность методики с экономической точки зрения;

Появление дополнительных показателей.

Множество традиционных фискальных индикаторов предполагают очень жесткие наборы величин, которые необходимо оценивать, а также определение важных приоритетов для развития фирмы, отрицая при этом применение в оценивании других индикаторов. Большой процент менеджеров, базируясь на собственном опыте, использует несколько наборов таких индикаторов. Очередным важнейшим преимуществом этой системы, учитывающей сбалансированные показатели и ее достоинства, является возможность включить готовые мягкие или, напротив, жесткие, индикаторы во всецелую схему оценивания. К примеру, в показатели финансов может быть включена общая стоимость владений, дополнительная экономическая цена, уровень возврата вложений и тому подобные. В тот же момент в направление, подразумевающее под собой процессы, клиентуру и развитие, можно заключить полностью метод Д. Киркпатрика, схему Б. Аарона и почти каждую методику по качеству для оценивания действенности дистанционного обучения (кроме подхода Губа, потому что включать его в обозначенную отрасль просто-напросто не имеет никакого смысла);

Увеличение "прозрачности" всех процессов.

Еще одним немаловажным преимуществом системы, учитывающей сбалансированные показатели и ее достоинства, является применяемый в ней принцип так называемого каскадирования. Именно он способен создавать иерархическую цепь и задач, и различных целей, которые объединяют абсолютно всю деятельность внутри организации в целую совокупность процессов, связанных между собой. Подобное представление о деятельности в компании позволит намного четче и более ясно осознать и представить себе целый комплекс операций, происходящих внутри, а также вклад каждой из организационных единиц или функциональных обязанностей в итоговое достижение всех конечных целей.

Важные методики и индикаторы

Как уже было отмечено немного выше, система, учитывающая сбалансированные показатели, являет собой комплексную систему, в которой составными модулями выступают и стандартные, и новые различные индикаторы, а зачастую даже целые масштабные методики. Можно привести несколько примеров, как именно можно выбирать необходимые индикаторы для рассматриваемой системы:

Способ Д. Киркпатрика. Эта модель включает в себя несколько степеней оценивания: усвоение, реакцию, результат и поведение. Каждый из, них, конечно, обладает собственным назначением и своим направлением в системе.

Реакция. Индикатором количества стандартно выступают листы оценивания, которые выдаются каждому из участников. Эта методика сбора информационных данных напрямую достаточно часто подвергается критике по причине того, что полагают недостаточную и некачественную объективность, данные искажаются, а происходит все это потому что завышают оценки. В качестве альтернативного варианта можно предложить применение индикаторов другого типа, не прямого. Кстати, многим именно этот подход кажется вполне оправданным.

Усвоение. Индикатор количества может быть результатом стандартных тестов и прочих способов проверки или аттестации. Такой уровень оценивания может дать очень важные информационные данные по обучаемому процессу, о развитии всех слушателей, о качестве выполняемых работ и требований к образованию.

Поведение. Чаще всего обозначенное направление оценивают с качественной стороны посредством опросов руководства, коллег и других субъектов, которые контактируют с конкретным сотрудником.

Итог. Результат может представляться в радикальном видоизменении всех рабочих процессов, к примеру, новейшие методики продвижения могут привести к росту определенной части рынка. Система сможет оказать влияние на взаимодействие и с внутренними, и с внешними клиентами (понижение жалоб, возрастание роста удовлетворенности), совершенствование производственных личных показателей (рост его совершенных продаж). То есть именно для этого уровня оценивания будет вполне логичным включить несколько индикаторов, а не только лишь один единственный.

Общая цена владения.

Этот метод направлен на четкое определение издержек на различные информационные системы на каждом из этапов этой системы. С предложенной методикой возможно очень четко понять все схемы, принципы и структуры затрат на подобные технологии. Затраты будут делиться при этом на прямые и косвенные.

Прямые затраты осуществляются через бухгалтера (зарплата, закупки техники, программного софта). Косвенные затраты выявить сложнее. В них нужно будет включать устранение проблем с компьютерами, командировочные, затраты на дистанционное обучение и так далее.

Как видите, методик и индикаторов довольно много, есть из чего выбирать. Возможно, спустя небольшое время, вы сможете создать абсолютно новые индикаторы лично для вашей фирмы. Не стоит переживать: очень часто именно самые новые индикаторы будут наиболее полезными. Не забывайте также и про важность дистанционного образования, какие бы индикаторы вы не включали в ваш проектный план, учитывайте этот фактор.

На что следует обратить внимание! При написании данной статьи автор пытался излагать материал насколько это возможно простым языком. Но, вполне возможно, это ему не удалось сделать в полной мере из-за очень сложной темы статьи.

Электронное дистанционное обучение прочно вошло в корпоративную систему обучения российских компаний. И не удивительно,- эта форма обучения позволяет оперативно повышать квалификацию большого количества работников непосредственно на рабочих местах, практически без отрыва от производственного процесса.

Следует отметить, что система дистанционного электронного обучения в целом состоит из множества различных электронных курсов. Эти курсы разрабатываются, тестируются на функциональность, после чего их запускают в эксплуатацию. При помощи электронных курсов персонал банка повышает свою квалификацию. От эффективности каждого в отдельности учебного курса зависит и эффективность всей СДЭО.

В течение пяти лет в банке «Возрождение» успешно функционирует система дистанционного электронного обучения (далее - СДЭО). Под выражением «успешно функционирует», понимаются показатели:

Количественные : количество разрабатываемых и принятых в эксплуатацию учебных курсов, количество сотрудников посещающих веб-портал «Обучения и развития», количество сотрудников, прошедших обучение по каждому учебному курсу.

Качественные : изменение уровня знаний до и после прохождения электронного учебного курса, оценка сотрудниками качества разработанных учебных курсов, оценка руководителями качества обучения подчиненных.

Сотрудники учебного центра банка постоянно проводят мониторинг вышеперечисленных показателей с целью контроля качества проводимого обучения. Но эти показатели не могут в полной мере отразить эффективность внедренной электронной системы дистанционного электронного обучения.

Как измерить эффективность СДЭО?

После того как СДЭО была внедрена в банке «Возрождение», был разработан первый десяток учебных курсов, началось регулярное обучение персонала, была определена необходимость в проведении оценки эффективности данной формы обучения.

Соответственно, перед ключевыми сотрудниками Учебного центра была поставлена задача разработать оценку СДЭО. В 2009 году не было найдено в деловой литературе у партнеров, которые занимаются аналогичной деятельностью необходимых образчиков оценки СДЭО, которые соответствовали бы следующим критериям: оценка должна быть максимально понятной, простой, объективной, практичной и гибкой.

Поэтому сотрудники Учебного центра самостоятельно занялись разработкой такой оценки.

Прежде чем детально описать модель расчета эффективности СДЭО, следует отметить, что полученные данные позволили в цифрах увидеть не только имеющиеся проблемные зоны дистанционного обучения, но и получить ответ, как их исправить. По результатам полученных данных процедура разработки учебных курсов была скорректирована.

ВАЖНО.

Данная модель расчета эффективности СДЭО была разработана исключительно для целей Учебного центра банка «Возрождение» и вполне возможно для других целей, и в других компаниях может быть неприменима.

Модель эффективность СДЭО Учебного центра банка «Возрождение»

Термин «эффективность системы дистанционного электронного обучения» означает процентное отношение протори (совокупность затраченных ресурсов, издержек) с полученными результатами.

Результатом этого отношения будет являться числовое значение между нулем и 100%.

Внимание! Чем ближе результат вычисления к нулю, тем выше эффективность, чем ближе результат вычисления к 100%, тем ниже эффективность.

Если протори равно нулю (ничего не вложено), а получаемый результат максимальный - СДЭО получается очень эффективным. Такое может быть?

И наоборот. Вложились на все 100%, а результата при этом нет, как такое может быть?

Экспериментальным путем, моделированием различных ситуаций было выявлено, что наиболее эффективной система СДЭО будет при получении расчетных данных близких к 30%. При получении расчетных данных близких к 80% и выше, СДЭО будет практически неэффективным.

Какие критерии объединены в категорию ПРОТОРИ?

Протори насчитывает пять критериев. Каждый критерий оценивается по десятибальной шкале.

Чем выше балл, тем протори будет выше, то есть затраты, издержки возрастают. Высокий протори необходимо всеми силами снижать.

Чем ниже балл, тем протори будет ниже – затраты, издержки уменьшаются. К низкому протори необходимо стремиться.

Опишем каждый критерий:

Наличие документации к СДЭО

Если в компании существует детально прописанная нормативная документация к дистанционному обучению, то разработка учебного контента, создание учебных курсов, проведение обучения занимает минимум времени и ресурсов. Разработчики знают, что необходимо делать, как и в какие сроки. В этом случае этот критерий получает 10 баллов.
В случае полного отсутствия, в учебном подразделении, документов регламентирующих деятельность СДЭО, балл по данному критерию будет единица.

Какие документы необходимы, чтобы получить 10 баллов?

«Политика организации электронного дистанционного обучения» .

Чем детальнее прописаны процедуры и требования к данному типу обучения, тем проще встроить учебный процесс. Любой работник компании – от рядового сотрудника до руководителя подразделения – должен иметь возможность найти в этом документе ответы на все вопросы, касающиеся дистанционного обучения. Разделы, которые должны быть внесены в данную политику:

кто выступает организаторами обучения;
по чьей инициативе назначаются учебные курсы;
каким образом работникам назначаются (время, сроки, документы) учебные курсы;
где, как, когда сотрудник будет проходить обучение;
каким образом происходит контроль;
как, кто, когда, кому направляет отчеты с результатами;
зоны ответственности работников разных подразделений в области СДЭО.

«Политика разработки электронных учебных курсов» .

Документ, в котором перечисляются все стадии и требования к процессу разработки учебного курса. Целесообразно включить в эту политику следующие разделы:

кто может выступать заказчиками учебных курсов;
каким образом заказчик инициирует процедуру их разработки;
кто, как, когда формирует рабочую группу;
как устанавливаются сроки выполнения работ;
кто может выступать разработчиками курсов;
что может быть включено (не должно быть включено) в учебный материал;
как должен оформляться учебный курс;
какие методы дистанционного обучения существуют и как их использовать;
как будет тестироваться готовый курс;
каким образом курс будет принят в эксплуатацию;
как взаимодействовать с внешними провайдерами (в случае их привлечения).

Сложность реализации электронного курса

Сложность реализации электронного курса - это критерий, который отражает насколько сложно с технической стороны реализован учебный курс.
В учебном курсе материал может быть подан различными способами:
1. В виде сплошного текста . Это самый непродуктивный способ с точки зрения обучения, но самый простой с точки зрения технической реализации.
2. В виде текстового материала и различных задач, которые помогают этот материал усвоить. (Достаточно верное решение, но при этом затратный подход). Логику задач необходимо продумывать, необходимо механизм задачи реализовать в электронном виде и самое главное необходимо описать задачу в курсе, чтобы участники поняли, что и как необходимо делать.
3. В виде бизнес-кейсов . Через решение бизнес-кейсов при помощи различных подсказок, наводящих тем, обсуждения правильных и неправильных решений участники получают наиболее устойчивые знания. Но этот подход один из самых сложных с точки зрения реализации. Как показывает опыт, для реализации такого подхода необходимы не только яркие и интересные идеи, которые как всегда в дефиците, но и грамотное техническое решение.

За наиболее простую реализацию, курс получает 1 балл. За наиболее сложную – 10 баллов. Безусловно, при создании учебного курса необходимо стремиться к наиболее простой реализации, но способ подачи учебных материалов является очень важным элементом.

ВАЖНО.

Сложность технической реализации бывает необоснованной и обоснованной. Необоснованная реализация - это когда очень простой материал «заливается» очень сложно технически. В программном продукте CourseLab компании WebSoft (работники банка «Возрождение» применяют только его), который предназначен именно для создания «заливки» учебных курсов, есть все необходимые встроенные средства для реализации очень интересных курсов. Использовать встроенные средства CourseLab - правильное решение с точки зрения «простой реализации». При этом некоторые работники, которые занимаются «заливкой» применяют программные коды, мультипликацию и дополнительные средства для придания «шарма» учебному курсу, что зачастую очень усложняет его реализацию.
Обоснованная реализация - это когда работникам необходимо передать сложные знания. Для передачи их придуманы соответствующие бизнес-кейсы, которые реализовать обычными средствами бывает невозможно.

Для того чтобы воочию оценить разные подходы к реализации учебных курсов, можно посетить сайт courselab.ru раздел «Конкурс 2011». В этом разделе сайта размещены учебные курсы, которые принимали участие в конкурсе на лучший электронный курс. Учебный курс «Проведение презентации» банка «Возрождение» занял в трех номинациях призовые места. Этот курс очень высоко интерактивен: в нем необходимо выполнять бизнес-кейсы, решать сложные задачи, искать решения. С точки зрения технической реализации он достаточно простой, потому как эта реализация осуществлялась стандартными средствами программы CourseLab.

Уровень сложности знаний

Учебный курс предназначен прежде всего для передачи знаний участнику обучения. Эти знания могут быть общеизвестными: знание правил трудового распорядка в компании, корпоративной культуры, дресс-кода и др. В банковском бизнесе, многие знания являются специализированными: отличительные признаки поддельных банкнот, методы их защиты, стандарт безопасности данных индустрии платежных карт и др. Общеизвестные и специализированные знания могут быть, как простыми и сложными для изучения. В зависимости от уровня сложности знаний необходимо выбирать и методы их передачи. Для простых знаний балл будет единица, для очень сложных -10 баллов.

Длительность разработки учебного курса

Те, кто занят разработкой курсов, знают, что на длительность создания курсов влияет множество факторов: понятная исходная документация(с ней быстрее можно разобраться), уровень подготовки разработчиков(они быстрее могут разработать контент и его залить), как много времени разработке курсов могут выделять эксперты бизнес-подразделений(один день в неделю или одни день в месяц) и т.д.

В банке «Возрождение» электронные курсы разрабатываются согласно утвержденному на один год календарному плану. На каждый курс отводится необходимое время.

Если время на разработку удалось значительно уменьшить относительно планируемого, тогда присваивается один балл. Если время превышено в несколько раз, тогда десять баллов.

Квалификация специалистов – разработчиков курса

Для банка «Возрождение» была выбрана ролевая модель, когда разработкой всех курсов занимается собственная команда. В эту команду входят специалисты Учебного центра и специалисты, того подразделения, которое является заказчиком курса.

Очень кратко опишем, какие роли существуют?

Заказчик курса . Он ставит цели и задачи перед командой разработчиков; Принимает курс в эксплуатацию.

Архитектор курса . Архитектор курса является руководителем всего проекта. Он должен определять сроки, распределять ответственность, минимизировать возможные риски. И еще одна задача – создание сценария. Сценарий создается совместно с «Разработчиком контента». Что входит в понятие сценарий? Последовательность подачи материала, определение параллельных ветвей обучения, возможных ответвлений, когда и в каком объеме использовать проверочные вопросы. В Учебном центра банка «Возрождение» архитекторами курсов являются ведущие специалисты Учебного центра, так как они лучше других справляются с данной ролью.

Разработчик контента . Этот специалист должен знать в совершенстве банковский продукт и/или тот бизнес-процесс, о котором пойдет речь в учебном курсе и/или как работает банковская программа, и уметь на доступном языке описать все это на доступном языке. Описать таким образом, чтобы любой пользователь мог разобраться, что и как делать. Разработчиками контента выступают специалисты бизнес-подразделений.

«Заливщик» контента . В задачу данного специалиста входит правильное оформление учебных материалов, компоновка его в нужном порядке, программирование необходимого количества функций и в завершении - предоставление предварительно готовой версии курса для начала процедуры его проверки в целях работоспособности.

Тестировщик курса

Процесс создания электронного учебного курса очень похож по своей структуре на создание программного обеспечения. В завершении работы над курсом правильность его функционирования проверяет специалист в роли «тестировщика». Он должен проверить его функциональность, выявить возможные ошибки, неточности… Результаты своей работы он должен передать «заливщику». Для полноценной проверки курса желательно выделять наиболее квалифицированных специалистов из тех подразделений, специалисты которых и будут в дальнейшем проходить обучение.

Чем выше квалификация специалистов занятых разработкой курсов, тем выше балл – протори будет выше.

Чем ниже квалификация этих специалистов, тем ниже балл.

Как пример: если разработкой курса будет заниматься студент, то затраты будут достаточно низкими в этой категории. Не следует привлекать к написанию простых веб-шаблонов программиста самой высокой квалификации: с этой задачей можете справиться и вы сами, и выпускник колледжа.

Подведем итоги.

Протори необходимо снижать. За счет чего? Вот, на мой взгляд, наиболее важные пункты, влияющие на показатели повышения эффективности СДЭО. Это:

Любое обучение должно приводить к какому-либо результату. Для определения общего результата по каждому курсу определены пять критериев.

Чем выше балл, тем результат будет выше.

Чем ниже балл, тем результат будет ниже.

Опишем каждый критерий:

Оценка курса участниками обучения.

Оценка участниками обучения - очень важный критерий. В банке «Возрождение» данная процедура была автоматизирована сразу после внедрения.

Если балл за курс 1, то это означает очень низкую удовлетворенность обучением. Выставленный балл 10, означает очень высокую удовлетворенность обучением.

Результаты проверки знаний

Одним из критериев, отражающим эффективность обучения, служит уровень остаточных знаний, который измеряется в промежутке от одного до трех месяцев после завершения обучения. В банке «Возрождение» измерение уровня знаний проводится при помощи модуля электронного тестирования программы WebTutor. Чем выше уровень полученных знаний, тем выше балл у данного критерия.

Прямое влияние знаний на бизнес

Перечень необходимых знаний, которыми должны владеть работники банка, достаточно обширен. Это и знания корпоративной культуры, банковского законодательства, требования, описанные во внутренней документации, стандарты обслуживания клиентов и другие.

При этом некоторые знания могут иметь слабое влияние на ведение бизнеса, а некоторые наоборот - очень сильное влияние на бизнес.

Как пример - знания управления продажами бизнес-подразделения.

Эти знания, если ими обладает рядовой сотрудник, который напрямую не занимается управлением продажами, слабо влияют на бизнес.
А в руках руководителя они превращаются в мощный инструмент достижения результатов.

Есл· знания, передаваемые в учебном курсе, имеют очень низкое влияние на бизнес, то выставляется балл один. Если знания, передаваемые в учебном курсе, имеют самое высокое влияние на бизнес, то балл выставляется 10.

Востребованность учебного курса

Высокая оценка востребованности учебного курса характеризуется высокой заинтересованностью со стороны заказчика, как правило, - это руководители бизнес-подразделений в разработке учебного курса. В случае, когда руководитель подразделения заинтересован в разработке учебного курса, им выделяется наиболее высококвалифицированный специалист, с предоставлением ему дополнительных полномочий, сам заказчик лично контролирует ход разработки курса и т.д.

При максимально высокой востребованности учебного курса балл будет 10, при противоположной ситуации балл будет – один.

Количество участников обучения (целевая аудитория)

В банке «Возрождение» работникам назначаются курсы исключительно по заявкам руководителей бизнес-подразделений. Заявки на обучение подаются в электронном виде через веб-портал «Обучения и развития». Поле этого в автоматическом режиме на основании поступивших заявок назначаются учебные курсы.

Так как этот процесс полностью автоматизирован, то очень легко контролировать весь процесс обучения, в том числе: количество участников обучения, количество тех, кто уже проходит обучение, количество тех, кто завершил учебный курс.

Чем больше участников обучения, тем выше балл. И наоборот.

О результатах проведенной оценки эффективности СДЭО.

С целью представления реальных результатов оценки эффективности СДЭО для данной статьи были выбрано семь различных учебных курсов. Они были разработаны в разное время, различными сотрудниками. Каждому курсу были проставлены баллы в разделе протори и в разделе результаты. В итоге получилась заполненная таблица «Экспертная модель расчета СДЭО».

Согласно полученным данным два учебных курса, курс №1 и №5, имеют хорошую эффективность. А курсы №6 и 7 предельно низкую эффективность.

Если посмотреть заполненную таблицу, то сразу становится видным, что:

А понимая, где имеются недоработки, можно их в дальнейшем исправлять.

Применяя такой подход в оценке эффективности СДЭО можно:

Существуют различные подходы к оценке эффективности разнообразных систем обучения. Остановимся сначала на тех из них, которые позволяют оценить относительную эффективность, основанную на анализе технологий обучения. Так, можно выделить следующие основные процессы, определяющие эффективность исследуемой системы обучения в целом: методологию формирования системы знаний, методологию формирования системы профессиональных умений и навыков, рентабельность образовательного процесса и разумную стратегию цен за обучение.

Сформулируем некоторые правила, которые позволяют перейти от методологических утверждений к более конкретным критериям оценки сравнительной эффективности систем обучения.

1. Система обучения является более эффективной по сравнению с другой, если учебная нагрузка студента в течение рассматриваемого периода (семестр, год) в этой системе будет более равномерной, чем в сравниваемой. Это утверждение основывается на том, что в большинстве случаев невозможно сформировать систему знаний при неравномерной учебной нагрузке (например, только во время сессионных занятий).
2. Система обучения более эффективна по сравнению с другой, если отношение числа часов занятий, формирующих умения и профессиональные навыки к общему числу занятий будет больше аналогичного отношения в сравниваемой системе. Другими словами, для того чтобы сформировать профессиональные умения и навыки, необходимо провести достаточное количество практических занятий, тренингов, деловых игр и других занятий, на которых отрабатываются сложные профессиональные умения и навыки. С учетом внедрения интерактивных сетевых заданий в технологии дистанционного обучения соотношение практических занятий к общему числу часов становится достаточно высоким и приближается к показателям очной формы обучения. Особенности организации и ведения заочного обучения не позволяют увеличить значение данного показателя до приемлемого уровня. В среднем отношение количества часов практических занятий к общему количеству часов, отводимому на изучение дисциплины, для различных форм обучения распределяется следующим образом: очная -- до 40 %, заочная -- до 10 %, дистанционная -- до 30 %.
3. Система обучения должна быть рентабельной при разумной политике цен.

Таким образом, по критериям формирования знаний, умений и навыков, а также вследствие более равномерного распределения учебной нагрузки студента в течение года (рис. 3) технология дистанционного обучения сопоставима с очной формой обучения и значительно превосходит по качественным параметрам заочную форму обучения.

Рис. 3.

Достаточно высокая эффективность дистанционного обучения во многом достигается благодаря высокой степени его интерактивности, специфическим особенностям информационных и телекоммуникационных технологий, индивидуальному планированию и организации учебного процесса.

Это подтверждается экспериментом, который провел профессор социологии Калифорнийского государственного университета Дж. Шютте. В один из семестров профессор в произвольном порядке разделил группу студентов на две подгруппы. Студенты одной из них посещали занятия как обычно: слушали лекции, выполняли домашние задания и сдавали тесты, а студенты другой прошли аналогичный курс дистанционно. Последние получали задания и оценки через Интернет, брали необходимую информацию с сайта университета, задавали вопросы и отсылали профессору выполненные контрольные по электронной почте, а также с помощью Интернета участвовали в групповых дискуссиях. В аудитории они появились только для сдачи экзамена за семестр. И что интересно! «Сетевые» студенты продемонстрировали результаты в среднем на 20 % выше результатов своих однокурсников из обычной очной группы. Безусловно, в данном случае у «сетевых» студентов была более высокая мотивация и делать обобщающие выводы на основе одного эксперимента не стоит. Но конкретный результат говорит о многом. Кстати, относительная анонимность участия в дискуссиях по Интернету позволила многим студентам задавать те вопросы, которые они никогда бы не задали в реальной аудитории в присутствии своих друзей.

Начиная с 1960-х годов специалисты по обучению стали приходить к пониманию важности количественной оценки экономического эффекта от проектов в области образования, особенно при корпоративном обучении. Можно выделить четыре основных причины проведения оценки эффективности обучения в компаниях:

1) обучение является инструментом бизнеса, одним из проектов, реализуемых организацией для увеличения своей производительности и доходности;
2) обоснование целесообразности расходов на обучение вызывает необходимость проведения его количественного анализа;
3) оценка эффективности помогает разработчикам улучшать обучающие материалы, так как без формальной оценки база для изменений чрезвычайно субъективна.
4) оценка эффективности помогает выбрать наилучший метод обучения.

Эффективность корпоративного дистанционного обучения определяется сочетанием пяти ключевых факторов, позволяющих обучаемым удержать в памяти больше информации, увеличить свою осведомленность, добиться лучших результатов работы и тем самым увеличить коэффициент рентабельности инвестированного капитала. К этим факторам относятся: интерактивность, запоминаемость, гибкость в использовании, предоставление помощи и доступность.

Интерактивность . Внедрение интерактивности в процесс обучения делает участие обучаемого более активным, заставляет его стараться достигнуть максимального результата. Интерактивность помогает также преподавателям включить в курс более сложные материалы.

Интерактивность можно сочетать с имитированием в процессе обучения той среды, с которой должны познакомиться обучаемые. Например, если курс посвящен использованию компьютерной программы, изображение на экране должно соответствовать тому, которое отображается при работе этой программы, а обучаемому можно дать задание выполнить операцию, соответствующую одному из изучаемых вопросов. Для более сложных в этом отношении тем можно смоделировать бизнес-процесс и предложить обучаемому изучить его.

Запоминаемость . Чтобы лучше запомнить, обучаемые должны ощущать важность изучаемого материала. В этом помогает также структурирование заголовков изучаемых тем, обеспечивающее удержание в памяти необходимой информации. А это, в свою очередь, делает более вероятным применение ими полученных знаний в будущих реальных проектах. Кроме того, организация заголовков помогает избежать повторов, которые часто снижают эффективность электронного обучения.

Гибкость в использовании . В системе должна быть предусмотрена возможность обучения сотрудников с различным уровнем подготовки и различными возможностями. Необходимо, чтобы обучаемые могли легко двигаться по учебному курсу, следить за своим перемещением, а также могли вернуться на ту позицию, где находились при предыдущем сеансе обращения к учебному курсу.

По мере развития компании содержание курса редко остается неизменным, поэтому средства обучения должны позволять изменять учебный контент. Возможность таких изменений необходимо заложить в средства обучения в самом начале. Само внесение изменений необходимо планировать и следить за его осуществлением.

Предоставление помощи . Поскольку электронное обучение происходит обычно индивидуально, то необходимо, чтобы система обучения предоставляла обучающимся помощь. Им требуются инструкции по прохождению курса, средства навигации, подсказки для выполнения заданий, ссылки для получения определений, поддержка при возникновении технических вопросов и др. Кнопка вызова помощи должна быть доступна с любого слайда курса. Все это поможет сотрудникам сосредоточиться на обучении, а не отвлекаться на досадные помехи. Для гибкости работы обучаемых полезно предусмотреть раздел для часто задаваемых вопросов, а также глоссарий терминов, которые могут быть незнакомы обучаемым. Эти средства могут стать ценными справочными ресурсами для сотрудников даже после завершения обучения.

Доступность . Из-за загруженности обучающихся часто бывает трудно выбрать время для учебного процесса. Для решения этой проблемы необходимо использовать различные способы доставки учебного контента. Если учебный материал доступен через Интернет, то необходимо обеспечить возможность использования этих материалов вне работы. Для тех предприятий, где имеются затруднения с доступом к Интернету, для обучающихся, которые хотят изучать материал дома, а также для технического персонала, которому нужен справочный материал вне предприятия, можно предусмотреть создание версии учебного материала на компакт-дисках.

Для повышения экономической эффективности дистанционных курсов как в общем, так и в корпоративном обучении большое значение имеет маркетинговый подход к обслуживанию обучаемых для того, чтобы результаты образовательных проектов были максимально ориентированы на потребителя. Инструментами комплекса маркетинга должны учитываться не только требования рынка, но и способы активного воздействия на него. Результат деятельности службы маркетинга проявляется в организации оптимального набора студентов и в трудоустройстве подготовленных специалистов. При этом крайне важно, чтобы маркетинг был постоянно действующим процессом с обязательным участием всех вузов, входящих в систему открытого образования.

В настоящее время технологии дистанционного обучения проникли практически во все секторы обучения (школы, вузы, корпорации и т.д.). Тысячи компаний и университетов тратят немалую часть своих ресурсов на подобные проекты. Зачем они это делают? Какова отдача (прямая и косвенная)? Каков результат от этих инвестиций? Этими и многими другими подобными вопросами задаются сегодня многие руководители и участники образовательных проектов. Чтобы на них ответить, необходимо оценить такой существенный параметр, как эффективность этих проектов.
Существуют различные подходы к оценке эффективности разнообразных систем обучения. Остановимся сначала на тех из них, которые позволяют оценить относительную эффективность, основанную на анализе технологий обучения. Так, можно выделить следующие основные процессы, определяющие эффективность исследуемой системы обучения в целом: методологию формирования системы знаний, методологию формирования системы профессиональных умений и навыков, рентабельность образовательного процесса и разумную стратегию цен за обучение.
Сформулируем некоторые правила, которые позволяют перейтй от методологических утверждений к более конкретным критериям оценки сравнительной эффективности систем обучения. type="1"> Система обучения является более эффективной по сравнению с другой, если учебная нагрузка студента в течение рассматриваемого периода (семестр, год) в этой системе будет более рав
номерной, чем в сравниваемой. Это утверждение основывается на том, что в большинстве случаев невозможно сформировать систему знаний при неравномерной учебной нагрузке (например, только во время сессионных занятий). Система обучения более эффективна по сравнению с другой, если отношение числа часов занятий, формирующих умения и профессиональные навыки к общему числу занятий будет больше аналогичного отношения в сравниваемой системе. Другими словами, для того чтобы сформировать профессиональные умения и навыки, необходимо провести достаточное количество практических занятий, тренингов, деловых игр и других занятий, на которых отрабатываются сложные профессиональные умения и навыки. С учетом внедрения интерактивных сетевых заданий в технологии дистанционного обучения соотношение практических занятий к общему числу часов становится достаточно высоким и приближается к показателям очной формы обучения. Особенности организации и ведения заочного обучения не позволяют увеличить значение данного показателя до приемлемого уровня. В среднем отношение количества часов практических занятий к общему количеству часов, отводимому на изучение дисциплины, для различных форм обучения распределяется следующим образом: очная - до 40 %, заочная - до 10 %, дистанционная - до 30 %. Система обучения должна быть рентабельной при разумной политике цен.
Таким образом, по критериям формирования знаний, умений и навыков, а также вследствие более равномерного распределения учебной нагрузки студента в течение года (рис. 2.1) техноло-

гия дистанционного обучения сопоставима с очной формой обучения и значительно превосходит по качественным параметрам заочную форму обучения.
Достаточно высокая эффективность дистанционного обучения во многом достигается благодаря высокой степени его интерактивности, специфическим особенностям информационных и телекоммуникационных технологий, индивидуальному планированию и организации учебного процесса.
Это подтверждается экспериментом, который провел профессор социологии Калифорнийского государственного университета Дж. Шютте. В один из семестров профессор в произвольном порядке разделил группу студентов на две подгруппы. Студенты одной из них посещали занятия как обычно: слушали лекции, выполняли домашние задания и сдавали тесты, а студенты другой прошли аналогичный курс дистанционно. Последние получали задания и оценки через Интернет, брали необходимую информацию с сайта университета, задавали вопросы и отсылали профессору выполненные контрольные по электронной почте, а также с помощью Интернета участвовали в групповых дискуссиях. В аудитории они появились только для сдачи экзамена за семестр. И что интересно! «Сетевые» студенты продемонстрировали результаты в среднем на 20 % выше результатов своих однокурсников из обычной очной группы. Безусловно, в данном случае у «сетевых» студентов была более высокая мотивация и делать обобщающие выводы на основе одного эксперимента не стоит. Но конкретный результат говорит о многом. Кстати, относительная анонимность участия в дискуссиях по Интернету позволила многим студентам задавать те вопросы, которые они никогда бы не задали в реальной аудитории в присутствии своих друзей.
Начиная с 1960-х годов специалисты по обучению стали приходить к пониманию важности количественной оценки экономического эффекта от проектов в области образования, особенно при корпоративном обучении. Можно выделить четыре основных причины проведения оценки эффективности обучения в компаниях: обучение является инструментом бизнеса, одним из проектов, реализуемых организацией для увеличения своей производительности и доходности; обоснование целесообразности расходов на обучение вызывает необходимость проведения его количественного анализа; оценка эффективности помогает разработчикам улучшать обучающие материалы, так как без формальной оценки база для изменений чрезвычайно субъективна. оценка эффективности помогает выбрать наилучший метод обучения.
Эффективность корпоративного дистанционного обучения определяется сочетанием пяти ключевых факторов, позволяющих
обучаемым удержать в памяти больше информации, увеличить свою осведомленность, добиться лучших результатов работы и тем самым увеличить коэффициент рентабельности инвестированного капитала. К этим факторам относятся: интерактивность, запоминаемость, гибкость в использовании, предоставление помощи и доступность.
Интерактивность. Внедрение интерактивности в процесс обучения делает участие обучаемого более активным, заставляет его стараться достигнуть максимального результата. Интерактивность помогает также преподавателям включить в курс более сложные материалы.
Интерактивность можно сочетать с имитированием в процессе обучения той среды, с которой должны познакомиться обучаемые. Например, если курс посвящен использованию компьютерной программы, изображение на экране должно соответствовать тому, которое отображается при работе этой программы, а обучаемому можно дать задание выполнить операцию, соответствующую одному из изучаемых вопросов. Для более сложных в этом отношении тем можно смоделировать бизнес-процесс и предложить обучаемому изучить его.
Запоминаемость. Чтобы лучше запомнить, обучаемые должны ощущать важность изучаемого материала. В этом помогает также структурирование заголовков изучаемых тем, обеспечивающее удержание в памяти необходимой информации. А это, в свою очередь, делает более вероятным применение ими полученных знаний в будущих реальных проектах. Кроме того, организация заголовков помогает избежать повторов, которые часто снижают эффективность электронного обучения.
Гибкость в использовании. В системе должна быть предусмотрена возможность обучения сотрудников с различным уровнем подготовки и различными возможностями. Необходимо, чтобы обучаемые могли легко двигаться по учебному курсу, следить за своим перемещением, а также могли вернуться на ту позицию, где находились при предыдущем сеансе обращения к учебному курсу.
По мере развития компании содержание курса редко остается неизменным, поэтому средства обучения должны позволять изменять учебный контент. Возможность таких изменений необходимо заложить в средства обучения в самом начале. Само внесение изменений необходимо планировать и следить за его осуществлением.
Предоставл ение помощи. Поскольку электронное обучение происходит обычно индивидуально, то необходимо, чтобы система обучения предоставляла обучающимся помощь. Им требуются инструкции по прохождению курса, средства навигации, подсказки для выполнения заданий, ссылки для получения опре
делений, поддержка при возникновении технических вопросов и др. Кнопка вызова помощи должна быть доступна с любого слайда курса. Все это поможет сотрудникам сосредоточиться на обучении, а не отвлекаться на досадные помехи. Для гибкости работы обучаемых полезно предусмотреть раздел для часто задаваемых вопросов, а также глоссарий терминов, которые могут быть незнакомы обучаемым. Эти средства могут стать ценными справочными ресурсами для сотрудников даже после завершения обучения.
Доступность. Из-за загруженности обучающихся часто бывает трудно выбрать время для учебного процесса. Для решения этой проблемы необходимо использовать различные способы доставки учебного контента. Если учебный материал доступен через Интернет, то необходимо обеспечить возможность использования этих материалов вне работы. Для тех предприятий, где имеются затруднения с доступом к Интернету, для обучающихся, которые хотят изучать материал дома, а также для технического персонала, которому нужен справочный материал вне предприятия, можно предусмотреть создание версии учебного материала на компакт- дисках.
Для повышения экономической эффективности дистанционных курсов как в общем, так и в корпоративном обучении большое значение имеет маркетинговый подход к обслуживанию обучаемых для того, чтобы результаты образовательных проектов были максимально ориентированы на потребителя. Инструментами комплекса маркетинга должны учитываться не только требования рынка, но и способы активного воздействия на него. Результат деятельности службы маркетинга проявляется в организации оптимального набора студентов и в трудоустройстве подготовленных специалистов. При этом крайне важно, чтобы маркетинг был постоянно действующим процессом с обязательным участием всех вузов, входящих в систему открытого образования.
Первая, наиболее известная и практикуемая на сегодняшний день методика оценки эффективности программ обучения была разработана Дональдом Киркпатриком более 40 лет назад. Согласно этой методике, оценка производится на четырех уровнях.
Уровень 1. Реакция слушателей на программу обучения. На этом уровне оценивается удовлетворенность участника программой и ходом обучения. Это самый простой для реализации уровень. Технология оценки может включать персональные интервью, заполнение слушателями анонимных анкет и т. п. Традиционно организаторов курса интересует, понравилась ли слушателям программа, преподаватель, организация процесса обучения. Это характерно в основном для корпоративного обучения и тренинг-центров, где все программы оцениваются на этом уровне, но все чаще данные технологии применяются и в вузах при анкетировании
студентов. Кроме того, для оценки курса интересно получить аналогичные данные от тех, кто не проходил обучение.
Однако несмотря на распространенность результаты оценки на этом уровне субъективны, они лишь указывают на то, понравилась ли слушателям программа, но не дают никакой информации об ее успешности как для обучающегося так и для компании, где он работает, а также о качестве полученных знаний и опыта.
Уровень 2. Оценка знаний и опыта, полученных слушателем по программе обучения. Технология оценки на этом уровне подразумевает проведение интервью (экзамена), опроса, тестирования после процесса обучения. Данный уровень повсеместно реализуется в учебных заведениях и представлен в виде системы зачетов (экзаменов). Эти же методы используются в 60 % случаев при корпоративном обучении. Таким образом, на уровне 2 оцениваются результаты обучения: определяется, получили ли обучаемые те знания и навыки, которые были заложены в программу.
Уровень 3. Оценка поведения на рабочем месте. Если по результатам уровня 2 на основании итоговых тестов была получена оценка уровня знаний, то при этом остается открытым вопрос о том, в какой мере новые знания и навыки сохранились в памяти и используются на рабочем месте. Для ответа на этот вопрос служит уровень 3, т. е. выясняется, как слушатели применяют полученные знания и навыки в рабочих условиях. Это не практикуется в учебных заведениях, и только 30 % корпоративных программ обучения оценивается на таком уровне. Сложность оценки заключается в том, что для получения результатов необходимо ждать от месяца до полугода. Однако несмотря на сложность и дороговизну оценки проекта обучения на уровне 3 именно здесь впервые проявляется реальная польза программы обучения для сотрудника.
Уровень 4. Оценка влияния программы обучения на бизнес компании. На этом уровне оценивается воздействие программы обучения на результаты бизнеса компании. Иначе говоря, каких измеримых результатов компания достигла благодаря своим программам корпоративного обучения. Это наиболее сложный для реализации уровень, и только 10 % программ обучения персонала оценивается по этому параметру. Изучается финансовая и иная отчетность компании, опрашивается руководство, клиенты, иные участники рынка. Но главная трудность состоит в выделении эффекта от тренинга из огромного числа других факторов, также влияющих на бизнес компании.
Модель Киркпатрика дает только основу для оценки эффективности, но не предлагает какого-либо метода или решения. Поэтому для дальнейшего анализа необходимо использовать следующие дополнительные данные: эффективность использования
средств; результативность процесса обучения; соответствие требованиям, предъявленным к обучению.
В середине 1990-х годов в бизнесе особенно популярной стала модель, учитывающая возврат средств на вложенные инвестиции ROI (Return on Investment), %:
ROI = Доходы - Затраты 1QQ Затраты
Использование ROI изменяет роль обучения и развития в организации. Этот процесс фокусирует внимание на соответствии требованиям, диктуемым бизнесом, способствует совершенствованию проектирования, разработки и доставки учебного материала, повышает ценность обучения и развития в организации. Главная сложность выражена в составлении прогноза будущих доходов в денежной форме. Поэтому только 5 % программ обучения оценивается по такой модели.
Кроме расчета коэффициента ROI другим универсальным методом оценки проектов является анализ выгод и издержек СВА (Cost Benefit Analysis). Метод СВА - это достаточно распространенный подход, при котором делается попытка оценить в денежной форме каждый элемент проекта, приводящий к прибыли или издержкам, даже если этот элемент не имеет прямого денежного выражения. Особенность СВА заключается в оценке альтернативных вариантов проектов на основе ожидаемых доходов.
На сегодняшний день модель сбалансированной системы показателей (Balanced Scorecard) является одной из наиболее перспективных и используемых моделей, предложенная в 1992 г. Робертом Капланом и Дейвидом Нортоном. Сегодня эта модель внедрена в большинстве компаний из списка Fortune 500. Особенность данной модели заключается в том, что она учитывает весь спектр стратегических и тактических целей компании, которые отнюдь не всегда имеют финансовую природу. Для этого выделяются 20 - 25 показателей, соответствующих стратегии фирмы и классифицированных по четырем группам: финансовые показатели; показатели работы с клиентами; показатели, характеризующие внутренние бизнес-процессы; показатели обучения и развития.
Реализация этой модели включает в себя следующие этапы: формируется набор ключевых факторов успеха; определяются ключевые показатели результативности; на основе стратегии и существующего положения дел формулируются текущие цели.
Одна из детальных моделей оценки программ обучения была предложена Джеком Филипсом в 1997 г. Эта модель включила в себя многие особенности разработанных ранее общепринятых
моделей. Автор собрал и описал более 40 проектов обучения в различных организациях, выявил преимущества используемых в каждом случае способов оценки и разработал шестишаговую «модель ROI».
Шаг 1. Сбор данных. Непосредственно перед сбором данных необходимо выделить цели, для которых производится оценка, затем осуществляется сбор данных с использованием различных инструментов (опросы, интервью, тестирование, наблюдения, измерение производительности). Оценка производится на нескольких этапах: до, после, во время обучения, а также через некоторое время.
Шаг 2. Изолирование эффекта обучения. Выполнение этого этапа позволяет исключить влияние внешних факторов, не имеющих отношения непосредственно к проекту обучения. На сегодняшний день разработано большое число решений, позволяющих осуществить это, все они не безупречны, но при комплексном применении выдают адекватный результат.
Шаг 3. Конвертация данных в денежную форму. Нужно перейти от таких понятий, как рост качества, эффективное распределение ресурсов, сокращение простоев и трудовых издержек, к денежной сумме, разнесенной по временным интервалам.
Шаг 4. Оценка затрат на обучение. Необходимо оценивать не только явные затраты, такие как оплата разработчиков учебного курса, покупка необходимого программного и аппаратного обеспечения, учебных материалов, оплата преподавателя (тьютора), но и неявные, например отсутствие на рабочем месте в период обучения и т. п.
Шаг 5. Расчет ROI. Для его осуществления используются результаты третьего и четвертого шагов.
Шаг 6. Определение неявной выгоды. Неявной выгодой может считаться рост «командного духа», удовлетворенность от работы, снижение конфликтов и т.д.
Следует отметить, что простота расчета показателя ROI становится неочевидной в случае оценки реального проекта в системе образования. Дело в том, что доходы (или результаты обучения) очень сложно оценить, они часто носят скрытый, неявный характер и могут проявляться только через значительный промежуток времени после окончания обучения. И даже если доходы достаточно очевидны, проблема возникает при конвертации их в денежное выражение. Часто затраты также сложно поддаются оценке. Хотя существует достаточно много позиций, отмеченных в денежном выражении, многие затраты скрыты и существуют в неявном виде (например, учет дополнительного времени преподавателя при ответах на вопросы студентов по электронной почте). Кроме того, данные, необходимые для расчета ROI, зачастую могут быть получены только после проведения обучения.

Если полная и достоверная информация, необходимая для расчета ROI, не доступна, можно использовать предложенный Дже- фом Муненом упрощенный подход к оценке возврата на вложенные инвестиции SROI (Simplified Return on Investment), учитывающий различные критерии обучающих проектов (экономические, качества и эффективности).
В целях уменьшения сложности сбора данных и самих вычислений при расчете SROI во внимание принимаются только те факторы (как положительные, так и отрицательные), которые в текущей ситуации существенно отличаются от средних значений. В результате получается своеобразный «прирост» или «потеря» в значении ROI при изменении ситуации. Тем не менее основной и наиболее важной задачей является отбор этих «существенно отличающихся» факторов с точки зрения разных участников ситуации.
Принципы вычисления SROI представлены в шести этапах. Использование в случае необходимости относительных данных. Показатель ROI можно рассчитать как относительную величину, когда абсолютные данные отсутствуют. В этом случае рассчитывается величина, на которую изменится ROI при переходе от одной ситуации к другой (например, при введении в эксплуатацию новой технологии). Преимущество относительного расчета ROI в том, что отпадает необходимость сбора труднодоступных данных, использующихся при абсолютном расчете. Выражение качественных данных на числовой шкале. Существует много способов разделения факторов на категории для использования в расчете ROI. Для упрощения и расширения этой процедуры предлагается рассматривать только три категории: экономические критерии (непосредственно связанные с экономикой, выражаемые в количественных параметрах, обычно в денежных единицах); качественные критерии (способности, поведенческие критерии, качество обслуживания, выражаемые обычно в терминах «лучше» и «хуже»); критерии эффективности (выраженные во времени, необходимом на выполнение определенной задачи, обычно в терминах «больше» и «меньше»). Представление расчета SROI как нефинансового расчета. Часто при традиционном расчете ROI данные, изначально измеряемые в нефинансовых единицах, преобразуются определенным образом для отражения денежных значений. К сожалению, такое преобразование данных редко бывает объективным и глубоким, так как не учитываются многие критерии (такие, как качество и эффективность), имеющие большое влияние на значение коэффициента ROI. Поэтому при расчете SROI преобразование данных в финансовую форму не производится. Наоборот, финансовые данные преобразуются в относительные оценки (например, по шкале от -10 до +10). Такой подход подчеркивает субъективную природу ROI, что гораздо ближе к реальности.
Учет минимального количества переменных, изменяющих текущую ситуацию. Для расчета следует рассматривать только те стороны конкретной ситуации, для которых ожидаемое различие до и после проведения необходимых изменений будет не просто заметным, а существенным. Вычисление различных значений ROI, зависящих от участников ситуации и стадии внедрения нововведения. При расчете ROI с использованием различного состава участников ситуации часто получаются различные результаты (например, с точки зрения менеджера и преподавателя). Поэтому необходимо проводить вычисления ROI для каждой из категорий участников процесса: персонал, преподаватели, студенты и т.д. Использование результатов SROI для совершенствования процесса и методики принятия решений, но не для самих решений. Составив краткий список результатов ROI, можно получить гораздо более полную информацию о конкретном нововведении. Тем не менее наиболее важным вкладом SROI является систематический анализ, появление информации к размышлению, создание базиса для обсуждений заинтересованными сторонами. Следовательно, применение SROI не дает точного описания эффекта (хотя все данные базируются на надежных и точных данных), а создает ориентир для принятия обоснованных решений.
Такой новый подход («упрощенный ROI»), учитывая традиционные экономические и финансовые параметры, выявляет также неявные результаты, связанные с качеством проекта и его эффективностью (компетентность преподавателей, режим работы и качество обслуживания). Расчет «упрощенного ROI» приводит к более точному пониманию возврата инвестиций при планировании основных показателей каждого конкретного образовательного проекта. Именно в этом заключается его основное предназначение.

Обучение персонала на современных быстроразвивающихся предприятиях требует значительных затрат как времени, так и денег. Это заставляет многие предприятия обратиться к электронному обучению, которое позволяет довести необходимые сведения до персонала в любом месте и в любое время через интернет, а также сделать это быстрее и дешевле.
Эффективность дистанционного обучения (ДО) определяется сочетанием пяти ключевых факторов, позволяющих обучаемым удержать в памяти больше информации, увеличить свою осведомленность, добиться лучших результатов работы и тем самым увеличить коэффициент рентабельности инвестированного капитала.
К этим факторам относятся:
- интерактивность,
- запоминаемость,
- гибкость в использовании,
- предоставление помощи,
- доступность.

Интерактивность
Внедрение интерактивности в процесс обучения делает участие обучаемого более активным, заставляет его стараться достигнуть максимального результата. Интерактивность помогает также преподавателям включить в курс более сложные материалы.
Интерактивность можно сочетать с имитированием в процессе обучения той среды, с которой должны познакомиться обучаемые. Например, если курс посвящен использованию компьютерной программы, изображение на экране должно соответствовать тому, которое отображается при работе этой программы, а обучаемому можно дать задание выполнить операцию, соответствующую одному из изучаемых вопросов. Для более сложных в этом отношении тем можно смоделировать бизнес-процесс и предложить обучаемому пройти через него.

Запоминаемость
Чтобы лучше запомнить, обучаемые должны ощущать важность изучаемого материала. В этом помогает также структурирование заголовков изучаемых тем, обеспечивающее удержать в памяти необходимой информации. А это в свою очередь делает более вероятным применение ими полученных знаний в будущих реальных проектах. Кроме того, организация заголовков помогает избежать повторов, которые часто снижают эффективность электронного обучения.

Гибкость в использовании
В системе должна быть предусмотрена возможность обучения сотрудников с различным уровнем подготовки и различными возможностями. Необходимо, чтобы обучаемые могли легко двигаться по учебному курсу, следить за своим перемещением, а также могли вернуться на ту позицию, где находились при предыдущем сеансе обращения к учебному курсу.
По мере развития компании содержание курса редко остается неизменным, поэтому средство обучения должно позволять изменять учебный контент. Возможность таких изменений необходимо заложить в средство обучения в самом начале. Само внесение изменений необходимо планировать и следить за его осуществлением.

Предоставление помощи
Поскольку электронное обучение происходит обычно не в группе, важно, чтобы система обучения предоставляла обучаемым помощь. Вашим сотрудникам потребуются инструкции по прохождения курса, средства навигации, подсказки для выполнения заданий, ссылки для получения определений, поддержка при возникновении технических вопросов и пр. Кнопка вызова помощи должна быть доступна с любого слайда курса.
Все это поможет сотрудникам сосредоточиться на обучении, а не отвлекаться на досадные помехи. Полезно также предусмотреть Для гибкости работы обучаемых полезно предусмотреть раздел для часто задаваемых вопросов, а также глоссарий терминов, которые могут быть незнакомы обучаемым. Эти средства могут стать ценными справочными ресурсами для сотрудников даже после завершения обучения.

Доступность
Из-за загруженности сотрудникам часто бывает трудно выбрать время для обучения. Для решения этой проблемы необходимо исполоьзовать различные способы доставки учебного контента.
Если учебный материал доступен через интернет, необходимо обеспечить сотрудникам пользоваться этим материалом вне работы.
Для тех офисов, где имеются затруднения с доступом к интернету, для сотрудников, которые хотят изучать материал дома, а также для технического персонала, которому нужен справочный материал вне офиса, можно предусмотреть создание версии учебного материала на CD-ROM, Расходы на создание такого учебного диска будут несопоставимы с затратами на расширение обучения.