Ｅｖａｌｕａｔｉｏｎ（評価）教材評価

評価のタイプは目的別と対象別で分けることができ、前回は目的別の評価について説明してきました。

対象別の評価のタイプは大きく分けて５つあります。今回は教材の評価について説明していきます。

教材評価は主に研修の設計・開発中に行われます。つまり、設計中や開発している各箇所の効果を示す証拠を収集し評価することで、その研修で目標が達成できるのかということをチェックし、出来ない場合には教材を改善あるいは別のやり方に切り替えるなどの対策を打っていきます。

この教材評価はさらに４種類の評価活動に分けることができ、基本的には形成的評価を行うために実施されますが、問題の大きさによっては研修の開発プロジェクトの継続に対する総括的評価をするケースもあります。

１．専門家による審査

初めに実施されるのは専門家による審査です。研修を企画、開発していくのであれば、上司や経営者、開発メンバーなどといった関係者に説明するために企画書であったり計画書を作成するのは必須になります。

それらの研修の草案を書くのは、研修の設計者単独で書く場合もあれば、研修内容に関する専門家に協力頂きながら作成する場合も、あるいは研修の目標だけ決めて内容は専門家にお願いするということもあるでしょう。

このようにして出来上がった企画書を他の専門家に読んでもらい、内容の正確さや完全さ、関連性等を確認していくという作業が必要になります。

例えば管理職のためのマネジメント研修を企画したとします。

どのような内容で実施するのかを説明するための企画書を上司に提出して許可をもらう必要もありますし、どのような研修にするのか研修に関わるメンバーに説明するために細かく内容を書いた計画書も必要になるでしょう。

企画書を自分で書いてもいいのですが、マネジメントに関して自分の知見だけでは研修を行えないため外部講師を招いて実施するということであれば、最初から外部講師の方に目的を伝えて企画書の作成も含めてお願いするということもありますし、講師の方と相談しながら作成するということもあるでしょう。

こうやって出来上がった企画書を他のマネジメントの専門家に読んでもらい、この研修で本当に目的が達成できるのかということを評価してもらうのが、専門家による審査になります。

またステークホルダー審査といって、研修プロジェクトの承認と資金提供を行う管理職や経営陣からの審査が行われることもあります。

その際に教材の内容や全体的な研修方法が問題ないかを判断するために教材の通読を行うことがあり、これを特にウォーク・スルーと呼んでいます。

２．開発中の試行

次に行う評価活動は開発中の試行（トライアウト）です。これは「１対１評価」とも呼ばれます。

教材のプロトタイプを１度に１人の受講者に試してもらうという方法になります。この時受講者を適性の高い者、中程度の者、低い者の３名にするとよいといわれています。いずれにしても、それぞれの受講者は一人で教材に取り組んでもらい、質問に返答したり、教材にわからない箇所があり混乱しているときに助け舟を出すなど必要最小限の介入にとどめておく方が望ましいです。

試行をしている間は、受講者の表現や差異、コメントに関して観察し、終了後にはインタビューを実施して、学習活動の内容と指示の明瞭性、テスト問題と支持の明瞭性、期待される成果の妥当性を確認していきます。こうすることで表現の明瞭性、構成、実施上の問題点に関しての情報を入手することができます。

この情報をもとに研修内容を修正していくのですが、教材そのものを修正するよりも受講者の前提条件を加える方が効果的な場合もあります。

例えばマーケティングに関する研修を実施するのに際し、研修内容を引き下げるのではなく、大学レベルの経済学の知識を前提スキルに加えて受講者のほうの条件を変えることで教材の効果が発揮されることもあります。

３．パイロットテスト

小集団での試行となります。少人数グループに実際に研修を行い効果を測定します。この時実際の実施環境に合わせる必要はありません。つまり、実際に研修を行う会場を借りてそこで行う必要はなく、会社の会議室など集まりやすい場所に集まって行っても問題ありません。

一般的にはパイロットテストでは事前テストと事後テストを行って研修によって何がどの程度学べたかを測定します。また研修の方法に関しての態度を測定するために態度アンケートを行い、研修内容の提示や質問の明瞭性等を評価していきます。

４．実地試用

最後の教材評価は実地試用です。パイロットテストと異なり、実際に近い環境で行うことが推奨されます。実際に近い環境を作るためには、評価者はなるべく目立たないように注意しなければなりませんし、実地試用の講師も実際の研修でも講師をする方にします。

 また、人数も実際の研修と同じ程度の人数のほうが良く、実際の受講者を代表できるような適切なレベル感で人選する必要があります。

実地試用でもパイロットテストと同様に事前・事後テストを実施します。態度に関するアンケートは講師に対して行い、教材の提示方法と指示の妥当性、教材を使用した講師のパフォーマンスの質と妥当性を評価していきます。

実地試用は最終段階で行われることもありますが、準備も費用もかなり掛かるため、慎重に設計し実施することが求められます。とはいえ、ほぼ通常の条件下での典型的な受講者のテスト結果が得られるため、最も興味を引くものですし、最も重要な評価になります。

このように得られた評価をもとにして、制作している教材をどのように修正・再構築すべきか、あるいは廃棄して別な教材に差し替えるかなどを判断していきます。これらの判断には実現可能性と効果に関して考慮して決定する必要があります。

実現可能性は講師や受講者が経験した困難さに関する報告から評価していきます。効果に関してはテストによって評価していきますが、講師が教材を指示通りに使用しなかったり、偶発的な受講者の態度変容などの要因がある場合はそれらも加味して評価していく必要があります。

この４つの評価活動のうち最もよく行われるのは専門家審査とパイロットテストです。開発中の試行は実はあまり行われていませんが、費用の点からもメリットの点からも効果的であり、もっと頻繁に行われてもよいものです。開発中の試行の実施回数を増やすには「とにかく実施する」という考えを持つことです。多少対象者と違っていても情報は得られますので、とにかく出来る人を集めてやってみるというのは重要なのです。

最後に教材評価の目標は検証にあるということに留意する必要があります。

つまり、教材評価は適切な前提条件のもとで期待通りの効果を発揮するかどうかを検証することにあり、適切な条件の外あること、前提条件である知識がない、動機づけがなされていない、教材が意図通りに使われていない等に関しては教材評価とは異なる部分で評価していくということです。