Ｅｖａｌｕａｔｉｏｎ（評価）インストラクションの結果

f:id:togashimotohiro:20210821101738j:plain

Ｅｖａｌｕａｔｉｏｎ（評価）の最後はインストラクションの結果に関してです。

インストラクションの結果とは、前回説明した学習者の達成度だけではなく、その研修そのものの効果があったのか、あったとすればどのようにどの程度効果があったのかということを評価することになります。特に企業においてはROI（投資回収率）の評価など、特に重要なものになります。

研修が１回の講義で終わるものもありますが、例えばOJTのように数か月から数年間にわたるような継続的な教育プログラムもあります。研修を評価する際に、長期間にわたるものであれば特に、得られた結果をすべて教育の結果とすることはできません。学習が開始する前と後では時間や機会、動機づけのような研修や教育以外の要素が大きく影響するからです。これらの要因の影響を加味しながら研修そのものの評価をしていくことが必要となります。

研修を評価するには、研修の前後で変化したものを測定しその関連性を評価していきます。この変化するもの（変数）には大別して５つの種類があります。

１．成果変数

研修の直接的目標である知識、スキル、態度を評価します。また、それに加えて仕事や今後の研修にも得た成果を生かすことができているかという転移も評価対象に加えます。

２．プロセス変数

研修がＤｅｓｉｇｎしたとおりに実施されているか、実施環境はどうであったのかということを評価していきます。

研修の設計者と講師が異なるケースはままありますし、設計者自身が講師となって研修を実施した場合もそうですが、状況によっては意図したとおりに研修を実施することは難しくなります。その時の受講者の反応を見ながら一部を飛ばしたり、順序を変えたりしてしまうケースもありますし、設計した意図が正確に伝わらず、重要な個所を見落とされたりするケースもあります。

例えば、研修で途中で詰まってしまった受講者がいたり、親切心から先回りして個別にフォローをした受講者がいるとして、その受講者と他の受講者とはプロセス変数（講師の援助）が大きく異なります。このような差異がある場合の研修成果がどのように異なるかという評価をしていくことで、プロセス変数は評価されていきます。従って、いくつかのグループに分けて実施した場合、プロセス変数を評価するためにはそれぞれのグループの研修成果を分けて比較していくべきなのです。

また、集合研修で研修環境をそろえることもできますが、仕事がたまった状態で参加するのか、他人に引き継げているのか、あるいは上司が研修に好意的なのか非好意的なのかというような点が研修の結果に影響を及ぼす可能性があります。

特にオンライン研修では仕事中に時間を見つけてみるのか、ゆったりと時間をとって見れるのか、あるいは仕事外の時間に見るのかなど環境がより大きく変動します。

一般的にこれらのプロセス変数は講師ではなく、別に観察者を立てて評価していきます。この時にチェックリストやインタビューなどを実施して評価することが多いです。

３．支援変数

環境要因を指しています。例えば、自宅や職場環境など自己学習をする際の環境を考慮するということです。例えば、復習をするための静かな環境の有無、研修の自己学習を応援してくれる家族や上司の存在、予習復習するのに適切な教材の有無、研修場所の雰囲気などがあります。

この支援変数は一般的には学習機会に対する影響として評価されます。つまり、教材の質や利用可能度によって学習機会が変動しますし、うるさかったり暑すぎる研修場所よりも静かで涼しい研究場所のほうが集中しやすくなりますし、それが研修成果にも影響するでしょう。

支援変数を評価するためには様々な評価手段が必要となります。講習場所以外ではアンケートを取るのが一般的ですし、教室の雰囲気に関しては観察が必要です。教材に関しては数を数えるという方法で評価する人もいます。

研修成果に影響を与える変数のため、成果の測定結果と一緒に提出され、成果を解釈する際の考慮材料として使われることが多いです。

また、支援変数を以前のものと比較評価する際には、受講者の適性が同レベルであることを証明する必要があります。これは次の項で触れる適性変数で説明していますが、受講者の適性が違うと結果が大きく異なってしまうため、違いが排除できない場合は違いを考慮して評価する必要があります。

４．適性変数

研修成果に最も影響力が高いのは受講者の講義に対する適性であるといわれています。知能検査や適性テストを嘆息で行う、あるいは組み合わせることによって評価するものであり、今までの学習や学習の機会などの環境や遺伝などによってある程度決定されるものといわれています。

これらの適性に関しては変更が加えられず、単に測定するだけの変数となります。従って研修の有効性を評価する際にはこの適性変数をコントロールする必要があります。例えば、受講の前提条件で適性のレベルをそろえる、受講者を制限できない時には前提条件を特定し、適性の違いを結果の分析に反映させていく必要があります。

この時に反映させる適性は受講者の知的レベルの状態を用いるのが適切です。往々にして社会経済的地位を用いる研究がありますが、直接的な原因にはならないため研修の分析としては不適当な場合が多いです。

つまり、2つの集団での研修結果が異なった場合、それぞれの受講者の所属企業の大きさや給料額を比較するのではなく、IQを比較して違いを見出した方が適切であるということでもあり、結果を単純に比較するのではなく、この適性の違いを反映させて評価しないと研修成果に対する評価としては正確性が確保できないのです。

また、今までの研修方法と新しい研修方法を比較する際には、単純に結果を比較するのではなく、受講者の適性が同等であることを証明する必要があります。去年と同じ条件で募集した研修で去年と異なる研修方法で実施するという方法が一般的ですが、事前テストを実施して受講者を選抜するあるいは違いを明確にしておくというのも効果的になります。

５．動機づけ変数

適性の次に重要な変数であるといわれています。研修で学習できるかどうかという問題とやりたいかどうかの問題という二つの問題が古くから知られていますが、この二つの問題には相互作用があります。つまり、自分が得意なことに対してはやる気が出ますが、不得意なことにはやる気が出にくい傾向にあります。

動機づけに関してはＡＲＣＳモデルの項でも説明していますので、そちらを参考してください。また、動機づけの要因を分析する際にもモデルを使って評価することは効果的です。

動機づけは研修の進行につれて変化していきます。従って研修の開始時と研修の最中の動機づけ（学習への動機づけ）を評価し、業務への影響と会社としての成果における動機づけの影響（職務への動機づけ）を測定していくことが必要となります。

動機づけを測定する際には研修に対する準備（出席、教材の持参等）、粘り強さや注意、努力に関するその他の指標で評価していきます。難しいのは動機づけに学習環境が妨害要因として加わる可能性があることです。

例えば観察者がいたり、いつもと違う環境に置かれていると、その環境に対する物珍しさによって動機づけられることがあります。これらの影響を排除する必要がありますが、一般的に物珍しさの影響は短時間で消滅するため、長時間測定することで影響を排除することができます。

また、業務の影響に関しては研修前の動機づけをあらかじめ測定しておけば、研修における影響を測定することができますし、動機づけに大きな差異がある受講者がいると、比較評価が行いやすくなります。

比較調査をする場合には研修成果に対して異なる影響を及ぼす可能性がある動機づけ要因を検討することが大切です。例えば、上司に言われて参加している受講者と自由意思で参加した受講者では成果に差が出るでしょうし、そのような要因を一つ一つ検討する必要があります。

動機づけを評価する際に受講者自身に由来するのか、教材に由来するのか、あるいは環境に由来するのかを見分けることは必要です。動機づけの特性に応じて受講者を研修に割り当てるのは現実的ではありませんが、教材を動機づけをもとに評価し修正する、環境を整えるなどの工夫は行うことができるからです。

これらの評価において未知の影響や制御しがたい変数を制御することは重要になります。それらの影響を排除するのに最適な方法は、それらを無作為に発生させることだといわれています。つまり、無作為に実験群と対照群に分けたりグループ分けを無作為に行うことができるとよいといわれています。

無作為化によって識別されているが制御のできない変数や未知の変数の影響を制御することが期待できます。とはいえ、完全無作為抽出は困難であるので、様々な変数を識別測定し、評価していくことが必要となってくるのです。