参考文献

このブログは以下の書籍を参考にしました。

インストラクショナルデザインの原理　　　　　　　　　　　　　　　　　　　　　　　　　　　　　　　　　　　　　R・M・ガニェ、W・W・ウェイジャー、K・C・ゴラス、J・W・ケラー　著　　　

鈴木克明、岩崎信　監訳（北大路書房）

インストラクショナルデザインの道具箱１０１　　　　　　　　　　　　　　　　　　　　鈴木克明　監修　市川尚、根本淳子　編著（北大路書房）

研修設計マニュアル　

鈴木克明（北大路書房）

学習設計マニュアル　

鈴木克明（北大路書房）

研修デザインハンドブック　

中村文子、ボブ・パイク（日本能率協会マネジメントセンター）

Ｅｖａｌｕａｔｉｏｎ（評価）インストラクションの結果

Ｅｖａｌｕａｔｉｏｎ（評価）の最後はインストラクションの結果に関してです。

インストラクションの結果とは、前回説明した学習者の達成度だけではなく、その研修そのものの効果があったのか、あったとすればどのようにどの程度効果があったのかということを評価することになります。特に企業においてはROI（投資回収率）の評価など、特に重要なものになります。

研修が１回の講義で終わるものもありますが、例えばOJTのように数か月から数年間にわたるような継続的な教育プログラムもあります。研修を評価する際に、長期間にわたるものであれば特に、得られた結果をすべて教育の結果とすることはできません。学習が開始する前と後では時間や機会、動機づけのような研修や教育以外の要素が大きく影響するからです。これらの要因の影響を加味しながら研修そのものの評価をしていくことが必要となります。

研修を評価するには、研修の前後で変化したものを測定しその関連性を評価していきます。この変化するもの（変数）には大別して５つの種類があります。

１．成果変数

研修の直接的目標である知識、スキル、態度を評価します。また、それに加えて仕事や今後の研修にも得た成果を生かすことができているかという転移も評価対象に加えます。

２．プロセス変数

研修がＤｅｓｉｇｎしたとおりに実施されているか、実施環境はどうであったのかということを評価していきます。

研修の設計者と講師が異なるケースはままありますし、設計者自身が講師となって研修を実施した場合もそうですが、状況によっては意図したとおりに研修を実施することは難しくなります。その時の受講者の反応を見ながら一部を飛ばしたり、順序を変えたりしてしまうケースもありますし、設計した意図が正確に伝わらず、重要な個所を見落とされたりするケースもあります。

例えば、研修で途中で詰まってしまった受講者がいたり、親切心から先回りして個別にフォローをした受講者がいるとして、その受講者と他の受講者とはプロセス変数（講師の援助）が大きく異なります。このような差異がある場合の研修成果がどのように異なるかという評価をしていくことで、プロセス変数は評価されていきます。従って、いくつかのグループに分けて実施した場合、プロセス変数を評価するためにはそれぞれのグループの研修成果を分けて比較していくべきなのです。

また、集合研修で研修環境をそろえることもできますが、仕事がたまった状態で参加するのか、他人に引き継げているのか、あるいは上司が研修に好意的なのか非好意的なのかというような点が研修の結果に影響を及ぼす可能性があります。

特にオンライン研修では仕事中に時間を見つけてみるのか、ゆったりと時間をとって見れるのか、あるいは仕事外の時間に見るのかなど環境がより大きく変動します。

一般的にこれらのプロセス変数は講師ではなく、別に観察者を立てて評価していきます。この時にチェックリストやインタビューなどを実施して評価することが多いです。

３．支援変数

環境要因を指しています。例えば、自宅や職場環境など自己学習をする際の環境を考慮するということです。例えば、復習をするための静かな環境の有無、研修の自己学習を応援してくれる家族や上司の存在、予習復習するのに適切な教材の有無、研修場所の雰囲気などがあります。

この支援変数は一般的には学習機会に対する影響として評価されます。つまり、教材の質や利用可能度によって学習機会が変動しますし、うるさかったり暑すぎる研修場所よりも静かで涼しい研究場所のほうが集中しやすくなりますし、それが研修成果にも影響するでしょう。

支援変数を評価するためには様々な評価手段が必要となります。講習場所以外ではアンケートを取るのが一般的ですし、教室の雰囲気に関しては観察が必要です。教材に関しては数を数えるという方法で評価する人もいます。

研修成果に影響を与える変数のため、成果の測定結果と一緒に提出され、成果を解釈する際の考慮材料として使われることが多いです。

また、支援変数を以前のものと比較評価する際には、受講者の適性が同レベルであることを証明する必要があります。これは次の項で触れる適性変数で説明していますが、受講者の適性が違うと結果が大きく異なってしまうため、違いが排除できない場合は違いを考慮して評価する必要があります。

４．適性変数

研修成果に最も影響力が高いのは受講者の講義に対する適性であるといわれています。知能検査や適性テストを嘆息で行う、あるいは組み合わせることによって評価するものであり、今までの学習や学習の機会などの環境や遺伝などによってある程度決定されるものといわれています。

これらの適性に関しては変更が加えられず、単に測定するだけの変数となります。従って研修の有効性を評価する際にはこの適性変数をコントロールする必要があります。例えば、受講の前提条件で適性のレベルをそろえる、受講者を制限できない時には前提条件を特定し、適性の違いを結果の分析に反映させていく必要があります。

この時に反映させる適性は受講者の知的レベルの状態を用いるのが適切です。往々にして社会経済的地位を用いる研究がありますが、直接的な原因にはならないため研修の分析としては不適当な場合が多いです。

つまり、2つの集団での研修結果が異なった場合、それぞれの受講者の所属企業の大きさや給料額を比較するのではなく、IQを比較して違いを見出した方が適切であるということでもあり、結果を単純に比較するのではなく、この適性の違いを反映させて評価しないと研修成果に対する評価としては正確性が確保できないのです。

また、今までの研修方法と新しい研修方法を比較する際には、単純に結果を比較するのではなく、受講者の適性が同等であることを証明する必要があります。去年と同じ条件で募集した研修で去年と異なる研修方法で実施するという方法が一般的ですが、事前テストを実施して受講者を選抜するあるいは違いを明確にしておくというのも効果的になります。

５．動機づけ変数

適性の次に重要な変数であるといわれています。研修で学習できるかどうかという問題とやりたいかどうかの問題という二つの問題が古くから知られていますが、この二つの問題には相互作用があります。つまり、自分が得意なことに対してはやる気が出ますが、不得意なことにはやる気が出にくい傾向にあります。

動機づけに関してはＡＲＣＳモデルの項でも説明していますので、そちらを参考してください。また、動機づけの要因を分析する際にもモデルを使って評価することは効果的です。

動機づけは研修の進行につれて変化していきます。従って研修の開始時と研修の最中の動機づけ（学習への動機づけ）を評価し、業務への影響と会社としての成果における動機づけの影響（職務への動機づけ）を測定していくことが必要となります。

動機づけを測定する際には研修に対する準備（出席、教材の持参等）、粘り強さや注意、努力に関するその他の指標で評価していきます。難しいのは動機づけに学習環境が妨害要因として加わる可能性があることです。

例えば観察者がいたり、いつもと違う環境に置かれていると、その環境に対する物珍しさによって動機づけられることがあります。これらの影響を排除する必要がありますが、一般的に物珍しさの影響は短時間で消滅するため、長時間測定することで影響を排除することができます。

また、業務の影響に関しては研修前の動機づけをあらかじめ測定しておけば、研修における影響を測定することができますし、動機づけに大きな差異がある受講者がいると、比較評価が行いやすくなります。

比較調査をする場合には研修成果に対して異なる影響を及ぼす可能性がある動機づけ要因を検討することが大切です。例えば、上司に言われて参加している受講者と自由意思で参加した受講者では成果に差が出るでしょうし、そのような要因を一つ一つ検討する必要があります。

動機づけを評価する際に受講者自身に由来するのか、教材に由来するのか、あるいは環境に由来するのかを見分けることは必要です。動機づけの特性に応じて受講者を研修に割り当てるのは現実的ではありませんが、教材を動機づけをもとに評価し修正する、環境を整えるなどの工夫は行うことができるからです。

これらの評価において未知の影響や制御しがたい変数を制御することは重要になります。それらの影響を排除するのに最適な方法は、それらを無作為に発生させることだといわれています。つまり、無作為に実験群と対照群に分けたりグループ分けを無作為に行うことができるとよいといわれています。

無作為化によって識別されているが制御のできない変数や未知の変数の影響を制御することが期待できます。とはいえ、完全無作為抽出は困難であるので、様々な変数を識別測定し、評価していくことが必要となってくるのです。

Ｅｖａｌｕａｔｉｏｎ（評価）学習者の達成度

Ｄｅｓｉｇｎ（設計）でも見てきましたが、研修の受講者の達成度を評価するというのは、単純にその受講者が合格したか否かを評価する以上に様々な目的に利用できます。

Ｄｅｓｉｇｎ（設計中）に実施するのであれば、教材や研修での教え方等が適切に受講者を研修目標に到達させることができているかという形成的評価に使用するケースが主になるでしょう。

研修の開発が終了し、実際に研修を実施している状態で受講者にテストを行う場合は形成的評価よりも総括的評価の側面で使用するケースが多くなります。つまり、受講者個々の成績評価をすることと、研修の全体的評価をするためにテストを実施するのです。

受講者の達成度を評価する場合には集団準拠方式と基準準拠方式があります。集団準拠は学習者の上位何名を合格、それ以下を不合格とする方法で、基準準拠はある点数を越えたら合格とするやり方になります。

今まで学んできたとおり、研修とはその研修で学ぶことがゴールではなく、その学んだことを業務に活かして目的を達成することがゴールとなります。その観点から言えば、研修で目標としていた基準が達成できているかどうかを確認すればよいため、基準準拠方式で評価する方が良いでしょう。

研修全体の評価をする場合には、受講者の平均点を見ます。その平均点が目標に到達していない場合、あるいは想定していたよりも低かった場合には原因を見直す必要があります。

原因には教え方の問題なのか、そもそも研修の目標が古すぎて時代遅れになってしまっていたり、前提条件の揃っていない不適当な受講者が多くいるのかといった要因があり、これらを追加で調査して原因を特定する必要があります。

このように特定した原因に対してどのように対策を打っていくのかという改善を施し、研修の質を担保していくというサイクルを回していくのです。

Ｅｖａｌｕａｔｉｏｎ（評価）学習者の反応

学習者の反応に関する評価についてです。研修が終了した後に受講者に研修の感想などを書いてもらうアンケートのことを指しています。

この種のアンケートは信頼度と有効性に関して常に批判を浴びていますが、それでも研修評価として一般的に今もなお行われています。

受講者アンケートが幅広く受け入れられているのは、多くの利点があるからですが主に３つに区分することができます。

１．問題を感知する

アンケートだけでは具体的にどの部分をどのように修正すべきかまではわかりませんが、どのあたりに問題があり精査すべきかという点は感知することができます。

２．形成的フィードバック

研修のどの部分を修正するのが良いかについて評価を得ることができます。質問のカテゴリとしては、研修のデザイン（目標、内容、学習活動、テスト、仕事との関連性）、実施手法、環境要因の３つがあります。これらの評価を形成的フィードバックとして活用するためには修正を施すための時間的余裕が必要となります。特に長期にわたる継続的な研修の場合、早い段階で中間評価をとることで修正のための時間的猶予を確保する必要があります。

３．研修や講師の受容度に関する総括的判断

この研修が時間と費用をかける価値があったか、仕事との関連性があったかどうか、他人に勧められるかどうかなどの質問によって、研修に対する総括的判断をしていきます。会社によっては受講者アンケートの評価によって講師を評価するケースも増えてきています。

受講者アンケートでの評価は受講者の個人的評価ではありますが、研修に対する客観的評価に近くなるという実験結果が出ています。マレーが行った実験で、受講者が提出したアンケートと専門家が評価した研修の教え方に対する評価とに相関があったことが報告されています。とはいえ、他の実験では異なる結果も出ており、直ちに講師の教え方に関する評価に転用できるわけではないですが、他の指標と組み合わせることで評価指標の一つとして活用することができるのです。

Ｅｖａｌｕａｔｉｏｎ（評価）プロセス評価

評価の対象別の２つ目はプロセス評価です。

これはインストラクショナルデザインのプロセス、今回でいえばＡＤＤＩＥモデルのプロセスを評価していくことで、プロセスの効果と効率を連続的に改善することができるという品質管理の視点から実行される評価です。

インストラクショナルデザインでは前回説明した教材評価のように形成的フィードバックが各プロセスに組み込まれています。これらをきちんと実施していくことがプロセス評価となります。

効果的なプロセス評価を行うためには各フェーズにおける評価基準を定めておく必要があります。また評価項目としてはプロセスがどの程度うまく実施されたか、その結果として生まれた製品の質がどの程度なのかという２点が主となります。

上の表はＡｎａｌｙｚｅ（分析）のフェーズのプロセス評価の項目例になりますが、プロセスとそのプロセスの結果である成果物の評価の２つのカテゴリから成り立っています。

プロセス評価は一般的にはプロジェクトのメンバーが個人的に行い、非公式である場合が多いか、抜本的な見直しを図るときに行われることが多いですが、評価を正式にプロセスに組み入れ、メンバーで議論する仕組みを作ることによって、定期的に継続的に評価することができ、プロセス評価の効果をより高めることができます。

Ｅｖａｌｕａｔｉｏｎ（評価）教材評価

評価のタイプは目的別と対象別で分けることができ、前回は目的別の評価について説明してきました。

対象別の評価のタイプは大きく分けて５つあります。今回は教材の評価について説明していきます。

教材評価は主に研修の設計・開発中に行われます。つまり、設計中や開発している各箇所の効果を示す証拠を収集し評価することで、その研修で目標が達成できるのかということをチェックし、出来ない場合には教材を改善あるいは別のやり方に切り替えるなどの対策を打っていきます。

この教材評価はさらに４種類の評価活動に分けることができ、基本的には形成的評価を行うために実施されますが、問題の大きさによっては研修の開発プロジェクトの継続に対する総括的評価をするケースもあります。

１．専門家による審査

初めに実施されるのは専門家による審査です。研修を企画、開発していくのであれば、上司や経営者、開発メンバーなどといった関係者に説明するために企画書であったり計画書を作成するのは必須になります。

それらの研修の草案を書くのは、研修の設計者単独で書く場合もあれば、研修内容に関する専門家に協力頂きながら作成する場合も、あるいは研修の目標だけ決めて内容は専門家にお願いするということもあるでしょう。

このようにして出来上がった企画書を他の専門家に読んでもらい、内容の正確さや完全さ、関連性等を確認していくという作業が必要になります。

例えば管理職のためのマネジメント研修を企画したとします。

どのような内容で実施するのかを説明するための企画書を上司に提出して許可をもらう必要もありますし、どのような研修にするのか研修に関わるメンバーに説明するために細かく内容を書いた計画書も必要になるでしょう。

企画書を自分で書いてもいいのですが、マネジメントに関して自分の知見だけでは研修を行えないため外部講師を招いて実施するということであれば、最初から外部講師の方に目的を伝えて企画書の作成も含めてお願いするということもありますし、講師の方と相談しながら作成するということもあるでしょう。

こうやって出来上がった企画書を他のマネジメントの専門家に読んでもらい、この研修で本当に目的が達成できるのかということを評価してもらうのが、専門家による審査になります。

またステークホルダー審査といって、研修プロジェクトの承認と資金提供を行う管理職や経営陣からの審査が行われることもあります。

その際に教材の内容や全体的な研修方法が問題ないかを判断するために教材の通読を行うことがあり、これを特にウォーク・スルーと呼んでいます。

２．開発中の試行

次に行う評価活動は開発中の試行（トライアウト）です。これは「１対１評価」とも呼ばれます。

教材のプロトタイプを１度に１人の受講者に試してもらうという方法になります。この時受講者を適性の高い者、中程度の者、低い者の３名にするとよいといわれています。いずれにしても、それぞれの受講者は一人で教材に取り組んでもらい、質問に返答したり、教材にわからない箇所があり混乱しているときに助け舟を出すなど必要最小限の介入にとどめておく方が望ましいです。

試行をしている間は、受講者の表現や差異、コメントに関して観察し、終了後にはインタビューを実施して、学習活動の内容と指示の明瞭性、テスト問題と支持の明瞭性、期待される成果の妥当性を確認していきます。こうすることで表現の明瞭性、構成、実施上の問題点に関しての情報を入手することができます。

この情報をもとに研修内容を修正していくのですが、教材そのものを修正するよりも受講者の前提条件を加える方が効果的な場合もあります。

例えばマーケティングに関する研修を実施するのに際し、研修内容を引き下げるのではなく、大学レベルの経済学の知識を前提スキルに加えて受講者のほうの条件を変えることで教材の効果が発揮されることもあります。

３．パイロットテスト

小集団での試行となります。少人数グループに実際に研修を行い効果を測定します。この時実際の実施環境に合わせる必要はありません。つまり、実際に研修を行う会場を借りてそこで行う必要はなく、会社の会議室など集まりやすい場所に集まって行っても問題ありません。

一般的にはパイロットテストでは事前テストと事後テストを行って研修によって何がどの程度学べたかを測定します。また研修の方法に関しての態度を測定するために態度アンケートを行い、研修内容の提示や質問の明瞭性等を評価していきます。

４．実地試用

最後の教材評価は実地試用です。パイロットテストと異なり、実際に近い環境で行うことが推奨されます。実際に近い環境を作るためには、評価者はなるべく目立たないように注意しなければなりませんし、実地試用の講師も実際の研修でも講師をする方にします。

 また、人数も実際の研修と同じ程度の人数のほうが良く、実際の受講者を代表できるような適切なレベル感で人選する必要があります。

実地試用でもパイロットテストと同様に事前・事後テストを実施します。態度に関するアンケートは講師に対して行い、教材の提示方法と指示の妥当性、教材を使用した講師のパフォーマンスの質と妥当性を評価していきます。

実地試用は最終段階で行われることもありますが、準備も費用もかなり掛かるため、慎重に設計し実施することが求められます。とはいえ、ほぼ通常の条件下での典型的な受講者のテスト結果が得られるため、最も興味を引くものですし、最も重要な評価になります。

このように得られた評価をもとにして、制作している教材をどのように修正・再構築すべきか、あるいは廃棄して別な教材に差し替えるかなどを判断していきます。これらの判断には実現可能性と効果に関して考慮して決定する必要があります。

実現可能性は講師や受講者が経験した困難さに関する報告から評価していきます。効果に関してはテストによって評価していきますが、講師が教材を指示通りに使用しなかったり、偶発的な受講者の態度変容などの要因がある場合はそれらも加味して評価していく必要があります。

この４つの評価活動のうち最もよく行われるのは専門家審査とパイロットテストです。開発中の試行は実はあまり行われていませんが、費用の点からもメリットの点からも効果的であり、もっと頻繁に行われてもよいものです。開発中の試行の実施回数を増やすには「とにかく実施する」という考えを持つことです。多少対象者と違っていても情報は得られますので、とにかく出来る人を集めてやってみるというのは重要なのです。

最後に教材評価の目標は検証にあるということに留意する必要があります。

つまり、教材評価は適切な前提条件のもとで期待通りの効果を発揮するかどうかを検証することにあり、適切な条件の外あること、前提条件である知識がない、動機づけがなされていない、教材が意図通りに使われていない等に関しては教材評価とは異なる部分で評価していくということです。

Ｅｖａｌｕａｔｉｏｎ（評価）形成的評価と総括的評価

研修の評価には形成的評価と総括的評価という目的別に分類したものと、評価の対象別に分類した５タイプの分類の２種類があります。

まずは形成的評価と総括的評価という評価概念について説明していきます。

形成的評価と総括的評価はその評価をどのような目的で使うかということで分類されています。形成的評価はインストラクショナルデザインの各部分を評価するために行われ、総括的評価は研修全体を評価するために行われる評価法を指しています。

そのため形成的評価では研修の各部分がうまくいったかどうかだけでなく、それがなぜなのかまでを確認する必要があります。例えば、資料を使用することで理解が高まったという結果だけでなく、その資料がなぜ効果的であったのかまで評価する必要があるのです。

総括的評価はその研修がうまくいったかどうかを判断します。受講者が合格基準に達したかどうか、研修によって求められる水準まで受講者を高めることができたか、あるいは目的としていた職務上の課題を解決できたかどうかを評価していきます。

この形成的評価と総括的評価を行うための代表的な評価法としてカークパトリックの４段階評価があります。Ａｎａｌｙｚｅ（分析）の時にも紹介いたしましたが、改めてその評価方法について説明したいと思います。

１．受講者の反応

研修後に行われるアンケートで評価していきます。

どのぐらい研修が楽しかったか、うまく教えられたかについて４問程度の簡易的な調査から講師、教材、環境に関する有効性や効率性といった要素を評価するための詳細なアンケートまで様々なものがあります。

２．受講者の学習

研修によってどのくらい学習できたかを評価します。つまり研修目標に対する受講者の達成度を評価していきます。

３．受講者の行動

受講者が研修で学んだことをどれだけ職場での仕事に転移させることができているかを評価します。

仕事のパフォーマンスの向上度合いを評価するわけですが、当然のことながら仕事のパフォーマンスは研修以外の様々な要素が絡むため、一度それらの要因も含めて評価し、その後分解していき研修の影響を特定していくという方法をとることが多いです。

４．組織の結果

研修によって組織のパフォーマンスが向上したかどうかを評価していきます。研修がもともと目的としていた組織の問題に対して影響しているかどうかを評価することが必要となります。研修を行うと往々にして意図したところ以外のパフォーマンスも向上することが多く、それらも重要ではありますが、一義的には目的に対しての達成率を評価することが求められますし、そこを評価する必要があります。

この４つの評価の上に「ＲＯＩ（投資回収率）」を置くこともあります。つまり研修にかかった費用と向上したパフォーマンスの金銭的価値とを比較して投資回収率を算出するというものです。

このカークパトリックの４段階評価は形成的評価にも総括的評価にも使用します。

例えば２．「学習」の結果が悪ければ、研修方法を見直すという形成的評価に使用することもありますし、４．「結果」が悪ければ研修そのものを中止する、あるいは１．「反応」で研修の参加率があまりにも低ければ研修そのものを見直しするといったように総括的評価にも使用します。

一般的には形成的評価には１．「反応」、２．「学習」をよく用い、総括的評価にはどの項目も用いられます。とはいえ、３．「行動」、４．「結果」を形成的評価には絶対使わないというわけではありません。例えば研修で学んだ内容を職場で実施してもらえなければ、その理由を探り改善するという形成的評価に使用することも当然あります。

また、一つの評価から形成的評価と総括的評価を両方行うことも当然ながらあります。例えば、１．「反応」でアンケートで講師が不評であればディスカッション形式に切り替える等という形成評価をするとともに、研修以外の方法でパフォーマンス変化を求めるなどの総括的評価を行うこともできるのです。