研究に関しては、実験がしばしば因果関係を見つけるための金字塔となる。しかし、人々を無作為に異なるグループや条件に割り当てることができない場合はどうするのでしょうか？準実験計画は、このような状況に対処するのに役立ちます。
準実験計画では、真の実験計画と同じレベルのコントロールはできないが、無作為化が困難または不可能な実世界の状況を研究するのに非常に有用である。
このブログでは、準実験 計画とその様々なタイプについて調べ、どのように機能するかを理解するのに役立つ例を紹介します。
準実験計画とは何か？
準実験計画とは、研究者が人々を無作為に異なるグループに割り当てることができない場合に、因果関係を理解するために用いられる研究方法である。無作為に割り当てる代わりに、すでに存在するグループを比較したり、他の要因に基づいて人々をグループに割り当てたりする。
例えば、研究者は、生徒を無作為に割り当てることなく、2つの学校、1つはその方法を使用し、もう1つは使用しない学校を比較することで、新しい教授法の効果を研究することができます。準実験は、何かが結果にどのような影響を与えるかを示すことができるが、結果に影響を与えるようなグループの違いがあるかもしれないので、真の実験よりも確実性に欠ける。
準実験計画の重要性
準実験計画が重要なのは、従来の実験ができない状況でも、研究者が因果関係を研究できるからである。準実験計画が重要である理由をいくつか挙げてみよう：
1.実世界での応用
準実験は、教育研究、病院、地域社会のような現実の状況でよく使われる。例えば、ある学校が新しい教授法を使い始めた場合、研究者は一部の生徒を無作為に異なるグループに割り当てることなく、変更前後の生徒の成績を比較することができる。これにより、研究結果がより現実的なものとなり、日常生活に適用しやすくなる。
2.倫理的および実際的な制限
無作為割り付けが不可能な場合もあるし、倫理的でない場合もある。異なる環境条件下で生活する人々を無作為に割り付け、その健康状態を調査することは倫理的に問題がある。準実験計画によって、研究者は倫理基準に違反することなく、このような種類の問題を探究することができる。
3.研究の柔軟性
準実験は、研究者に幅広いテーマを研究する柔軟性を与える。新しい政策や治療法、介入策の効果を自然な環境で研究することができる。これは、現実の世界で物事がどのように機能するかについての洞察を与えてくれる。
4.費用対効果
本格的なランダム化実験を行うには、費用も時間もかかる。一方、準実験的デザインは、既存のグループやデータを利用できるため、予算に優しいことが多い。つまり、研究者は高価な実験を一から準備する必要がなく、時間や資金が限られている場合には、より現実的な選択肢となる。
5.傾向と影響の特定に役立つ
準実験は貴重な洞察を与えてくれる。研究者は、因果関係を証明することはできなくても、さまざまな要因が結果にどのような影響を与えているかを理解するのに役立つパターンや傾向を見つけることができる。このような研究によって、現実の世界で何が起きているのかを知ることができる。例えば、異なる政策をとっている地域を比較することで、完璧な実験がなくても、その政策が機能しているかどうかを示すことができる。
準実験計画における主要概念
これらのデザインがどのように機能するかをよりよく理解するためには、その構造と応用の中心となるいくつかの重要な概念を把握することが役に立つ。以下は、あなたが知っておくべき主な概念である：
- 非ランダム割付け： 準実験の参加者は無作為にグループに割り付けられない。その代わりに、グループはあらかじめ存在するか、他の基準に基づいて割り当てられる。
- 比較群： 準実験では、治療群（介入にさらされる）と対照群（介入にさらされない）を比較し、結果の差異を評価する。
- 因果推論： ランダム割り付けがなくても、因果関係を理解することが目的である。研究者は、群間比較と観察された変化に基づいて因果関係を推論する。
- 交絡変数： 結果に影響を与える可能性のある治療以外の変数のこと。準実験では、偏った結論を避けるために、これらを考慮しなければならない。
- 事前および事後テスト： 準実験の多くは、介入の前後で結果を測定し、治療によって引き起こされた可能性のある変化を特定するのに役立つ。
- 内部妥当性への脅威：無作為割り付けがないため、選択バイアスや履歴効果のようなバイアスのリスクが高く、調査結果の信頼性に影響を及ぼす可能性がある。
- 自然実験：これは、自然に発生した出来事や政策の変更が、研究者による直接的な操作を伴わずに因果効果を研究する機会を提供する状況である。
- 回帰不連続：このデザインでは、カットオフスコア（テストの点数など）に基づいて人々を異なるグループに割り当て、研究者は閾値のすぐ上と下の結果を比較することができる。
準実験計画の種類と例
準実験計画は、無作為割付けが不可能だが、それでも因果関係を研究したい場合に有用である。一般的な準実験計画について説明します：
1.1群ポストテストのみのデザイン
このデザインでは、介入や治療が行われた後に、研究者は参加者の単一グループをテストする。事前テストや比較グループは関与しない。比較群や事前テストがなければ、観察された変化が治療群や対照群によるものなのか、あるいは他の要因によるものなのかを知ることは難しい。
- 例 ある学校が生徒に新しい読書プログラムを導入し、読書スキルが向上するかどうかを確認したい。プログラム終了後、学校は生徒の読書レベルをテストして改善を測定する。事前テストや対照群がないため、結果はプログラム終了後の生徒の成績を示すだけで、プログラムそのものが改善をもたらしたかどうかは不明である。
- 課題： 事前のテストや比較グループがなければ、変化が本当に新しい読書プログラムによるものなのか、それとも他の要因（読書時間の増加や自然な発達など）によるものなのかを見分けるのは難しい。
2.1群前試験-後試験デザイン
このデザインでは、介入前後に参加者を測定する。研究者は、2つの異なる時点、つまり治療前と治療後の同じグループのスコアまたは結果を比較する。
- 例ある教師が、新しい指導法で生徒の数学の成績が上がるかどうかをテストしたい。教師は新しい方法を使う前に生徒に数学のテストを行い（プレテスト）、その方法を1ヶ月間使った後に同じグループに同じテストを行います（ポストテスト）。テスト前の得点とテスト後の得点を比較することで、教師は改善点を評価することができます。
- 課題： 結果を比較する対照群がないため、改善が新しい教授法のおかげなのか、それとも他の要因（追加学習や生徒のモチベーションの変化など）が影響したのかを知るのは難しい。
3.非等価群デザイン
このデザインでは、研究者は無作為に割り付けられたグループではなく、あらかじめ存在する2つ以上のグループを比較する。一方のグループは治療を受け、もう一方のグループは治療を受けない。両群は無作為に割り当てられていないので、両群間の差は治療ではなく、既存の特性によるものかもしれない。
- 例ある研究者が、新しいウェルネス・プログラムが従業員の生産性に与える影響を調査したいと考えている。ある会社ではプログラムが導入されたが、別の会社では導入されなかった。研究者はプログラム終了時に両社の生産性を比較する。
- 課題： この2社は無作為に割り付けられたプログラムではないため、企業間の違い（企業文化やリソースなど）が結果に影響する可能性があり、ウェルネス・プログラムのみに起因する変化を挙げることは難しい。
4.時系列設計
このデザインでは、研究者は一定期間同じグループを観察し、介入やイベントの前後の複数の時点でアウトカムを測定する。
時系列データは、同じ期間に起こった他の変化の影響を受ける可能性があるため、観察された効果が介入によるものだと断言するのは難しい。
- 例 ある政府が公共の場での喫煙を禁止する新しい法律を施行する。ある研究者が、法律の前後数年間にわたり、その都市における喫煙に関連した入院患者数を追跡し、顕著な減少が見られるかどうかを調べた。
- 課題 新たな医療構想、公衆衛生キャンペーンの変化、あるいは季節的な傾向など、他の要因が入院に影響を与える可能性があり、変化を禁煙だけに帰することは難しい。
5.回帰不連続デザイン
このデザインでは、カットオフスコアまたは閾値に基づいて、参加者を異なるグループに割り当てる。カットオフ値より高い人は治療を受け、低い人は治療を受けない。研究者たちは、カットオフ値より高い人と低い人の転帰を比較する。
- 例 入学試験で一定の成績以上の学生に奨学金が支給される。ある研究者は、カットオフ点ぎりぎりの点数を取った学生（奨学金を受け取った学生）と、その点数ぎりぎりの点数を取った学生（奨学金を受け取らなかった学生）の学業成績を比較する。
- 課題： この結果はカットオフ点付近の生徒にしか当てはまらない可能性があり、カットオフ点よりはるかに高い点数の生徒や低い点数の生徒が同じ結果を示すかどうかは不明である。
6.傾向スコアマッチング
このデザインは、受けた治療以外の特性が似ている異なるグループの参加者をマッチさせようとするものである。これは、1つの点を除いてあらゆる点で似ている個人の “マッチドペア “を作り、比較のバイアスを減らすことを目的としている。この方法はバイアスを減らすとはいえ、完全ではない。結果に影響を与えるような、測定されていない差異がグループ間に存在する可能性があるのだ。
- 例 ある研究者が、新しい職業訓練プログラムが雇用率に与える影響を研究する。ランダムにプログラムに参加させるのではなく、年齢、経験、教育レベルなどの要因に基づいて、プログラムに参加した人と参加しなかった人をマッチングさせる。
- 課題： この手法では、いくつかのバイアスをコントロールすることはできるが、個人のモチベーションや外的状況など、プログラムに参加するかどうかに影響を与える可能性のあるすべての要因を説明することはできない。
準実験的研究を実施するには？
真の実験ほど厳密ではないが、うまく設計された準実験は、依然として貴重な洞察を提供することができる。ここでは、準実験的研究の実施方法をステップ・バイ・ステップでわかりやすく解説する：
1.リサーチ・クエスチョンを定義する
最初のステップは、何を研究したいのかを明確に定義することです。興味のある介入や治療は何か？どのような結果を測定したいのか？あなたのリサーチクエスチョンが、研究のデザインを導き、どのような準実験法を用いるかを決定します。
2.デザインタイプを選ぶ
質問が決まったら、どのタイプの準実験計画が最も効果的かを決める必要がある。ここにいくつかの選択肢がある：
- 1群前試験-後試験デザイン： 同じグループで介入前と介入後の結果を測定する。
- 非等価群デザイン： 治療群と対照群のように、無作為に割り当てられていない2つの群を比較する。
- 時系列デザイン： 介入前と介入後の両方で、同じグループを経時的に観察する。
- 回帰不連続デザイン： スコアまたは測定値に基づいて参加者を治療群に割り当てるためにカットオフを使用する。
- 傾向スコアマッチング（Propensity Score Matching）： 異なるグループの参加者を類似した特徴に基づいてマッチングし、比較する。
その選択は、研究の状況や利用可能なリソースによって異なります。
3.参加者の選択
準実験計画では無作為割り付けが行われないため、参加者を慎重に選ぶ必要があります。多くの場合、異なる教室、学校、近所など、あらかじめグループが存在します。
- 治療群： 介入または治療を受ける群（例えば、運動プログラムに従う人々）。
- 比較群： 治療を受けない群（例えば、運動プログラムに参加しない人々）。
両グループが可能な限り類似していることを確認するか、結果に影響を与える可能性のある差異をコントロールする。
4.介入前後のデータ収集
ほとんどの準実験では、介入前と介入後の両方で結果を測定したいでしょう。これは結果が時間とともにどのように変化するかを比較するのに役立ちます。
データ収集は研究課題によって異なります。あるデザインでは、介入後の結果のみを測定するかもしれませんし、他のデザインでは、より詳細な、長期間にわたる反復データを収集するかもしれません。
5.データを分析する
データを収集したら、次のステップはそれを分析し、グループ間または介入前後の測定値に有意差があるかどうかを確認することです。
6.結果を解釈する
データを分析した後、結果を注意深く解釈する必要がある。準実験にはランダム化比較試験のようなレベルはないため、強い結論を導き出すには慎重になることが重要である。
7.調査結果を報告する
最後に、研究結果を他の人と共有しましょう！研究課題、方法論、結果、結論を明確に説明した報告書や論文を書きましょう。
研究の限界について透明性を保つ。準実験には限界があるため（参加者を無作為化できないなど）、それを認め、今後の研究でどのように克服できるかを提案することが重要です。
準実験デザインと実験デザイン
研究に関して、研究者が下さなければならない最も重要な決定の一つは、適切なデザインを選択することである。最も一般的な2種類のデザインは、実験的デザインと準実験的デザインで、似ているように見えるかもしれませんが、両者には重要な違いがあります。
これらの違いを理解することで、それぞれのデザインをいつ使うべきか、そしてそこからどのような結論を導き出せるかを知ることができる。簡単に説明しよう！
実験デザイン
実験計画では、研究者は仮説を検証するために管理された環境を作り出す。重要な特徴は無作為割り付けで、参加者は治療群（介入を受ける群）と対照群（治療を受けない群）のいずれかに無作為に割り付けられる。
この無作為化により、実験開始時に各群が類似していることが保証されるため、結果の違いは介入に起因するとより確信できるようになる。
準実験的
準実験計画では、研究者は介入の効果も研究するが、参加者を無作為にグループに割り付けない。その代わりに、あらかじめ存在するグループに頼るか、他の非ランダムな方法を用いて人々を異なる条件に割り当てる。このデザインは、無作為割り付けが不可能な場合や倫理的に不可能な場合によく用いられます。
実験デザインと準実験デザインの主な違い
1.ランダム割り当て
- 実験デザイン：無作為割り付けを用いて、参加者を異なるグループに分ける。これはバイアスの排除に役立ち、研究開始時に各グループが可能な限り類似していることを保証する。
- 準実験的デザイン：無作為割り付けは行わない。参加者は既存の要因（学校、近隣、その他の自然なグループ分けなど）に基づいてグループに分けられる。
2.変数のコントロール
- 実験デザイン： 無作為割り付けにより、年齢、性別、経歴などの要因をグループ間でバランスさせることができるため、研究者は変数をよりコントロールすることができる。
- 準実験的デザイン：変数のコントロールが少ない。グループが無作為に割り当てられていないため、他の要因が結果に影響している可能性があり、変化を介入自体に起因させることが難しくなる。
3.因果関係
- 実験デザイン： 無作為割付のため、研究者はより自信を持って因果関係を主張できる。治療が観察された変化を引き起こしたと言うことができる。
- 準実験デザイン： 関連を特定することはできるが、因果関係を証明するのは難しい。グループがランダムではないため、他の要因が結果に影響しているリスクが高い。
4.倫理的または実際的な懸念
- 実験デザイン： 無作為割り付けは、必ずしも倫理的あるいは実用的であるとは限らない。例えば、効果をテストするためだけに人々を有害な条件に無作為に割り当てることはできない。
- 準実験デザイン： 倫理的または実際的な理由で無作為割付けが実行不可能な場合、準実験が良い代替策となる。
QuestionProで準実験的研究を実施するには？
QuestionProは、データの収集と分析を簡単に行うことができるため、準実験的研究を実施するのに最適なツールです。ここでは、QuestionProを使ってどのように準実験研究を実施できるかをご紹介します。
ステップ1：リサーチ・クエスチョンとデザインの明確化
始める前に、答えたい質問について考え、使用する準実験計画のタイプを決めましょう。一般的なデザインの例をいくつか挙げましょう：
- 1グループ前試験-後試験： 介入の前後でグループを測定し、変化があるかどうかを確認する。
- 非等価群： 無作為に割り付けられていない2つのグループを比較する。
- 時系列： ある出来事や介入の前後で、時系列にデータを見る。
例えば、新しいオンライン・トレーニング・プログラムが従業員の生産性を向上させるかどうかを調査しているとします。この場合、トレーニング前に生産性を測定し、トレーニング後に再度生産性を測定する、1グループ事前テスト-事後テストデザインを使用するとよいでしょう。
ステップ2：参加者を選ぶ
準実験的研究では、参加者は無作為に割り付けられない。その代わりに、既存のグループと協力するか、一つのグループの経時的変化を測定する。
ステップ 3: QuestionPro でアンケートを作成する
参加者を選んだら、アンケートを作成しましょう。これらのアンケートは、準実験に必要なデータを収集するのに役立ちます。
プレテスト調査：
これは、介入前に送るアンケートです。例えば、新しいウェルネスプログラムをテストする場合、テスト前のアンケートでは、参加者の現在の健康習慣や生産性のレベルについて尋ねるかもしれません。
テスト後のアンケート：
介入後（例えば、研修プログラム終了後）、フォローアップ調査を実施し、変化を測定する。結果を比較できるように、テスト後のアンケートの設問がテスト前のアンケートの設問と類似していることを確認する。
アンケートの質問
多肢選択式、リッカート尺度（例：同意を1～5で評価）、自由形式の質問を組み合わせて、さまざまなタイプのデータを収集する。
ステップ4：アンケートの実施とデータの収集
アンケートの準備ができたら、いよいよ配布し、データの収集を開始します。
- 事前テスト： 介入を開始する前に、参加者に事前テストを実施する。例えば、ウェルネスプログラムをテストする場合、プログラム開始前に従業員の健康と生産性のレベルを測定する。
- 事後テスト：介入後、変化を測定するために事後テストを実施する。例えば、ウェルネス・プログラム終了後、同じ質問をして改善があったかどうかを確認する。
アンケートは電子メールで配信したり、リンクを共有したり、QRコードを使用してモバイルデバイスから簡単にアクセスすることができます。QuestionProでは、回答を簡単に追跡できるため、何人がアンケートに回答したかを知ることができます。
ステップ5：データの質の確保
意味のある結果を得るためには、質の高いデータが重要です。QuestionProには、データが正確であることを確認するためのツールがあります：
- スキップロジック： これにより、参加者は自分に関連する質問だけを見ることができます。例えば、ある人がプログラムに参加しなかった場合、それに関するフォローアップの質問に答える必要はありません。
- 検証ルール：これを使用して、参加者が正しい回答を入力するようにします (回答を特定の数値範囲に制限するなど)。
- レスポンスのモニタリング： リアルタイムで回答を追跡できます。何人が回答したかを確認できます。
ステップ6：データの分析
次のステップはデータの分析です。QuestionProでは、結果を掘り下げて重要な変化を発見するのに役立つツールを使って、これを簡単に行うことができます。また、次のようなこともチェックできます：
- 平均点
- パーセンテージと
- 様々な質問に対するトレンドは、すべてプラットフォーム内で完結する。
ステップ7：結果の解釈
分析が終わったら、その結果を解釈するのに時間をかけましょう。検討すべき点をいくつか挙げてみよう：
- 事前テスト-事後テストデザインの場合、介入後に参加者の行動やパフォーマンスに有意な変化が見られましたか？驚きや予想外の結果はありましたか？
- 非等価群計画を用いた場合は、介入が一方の群にプラスの効果を及ぼし、他方の群には及ぼさなかったかどうかを確認するために2群を比較する。
- 準実験計画は、参加者が無作為に割り振られていないため、バイアスの影響を受けやすいことを忘れないでください。外的な出来事や個人差など、結果に影響を与えた可能性のある外的要因を考慮する。
ステップ8：調査結果を報告する
データを解釈した後は、調査結果を報告する必要があります。QuestionProでは、グラフやチャートのようなビジュアルなレポートを簡単に作成できます。調査結果を利害関係者と共有したり、今後の介入策を改良するために使用したりすることができます。
介入が改善につながった場合は、それを拡大したり、他の環境で同様の介入を試したりすることを勧めることができます。介入が期待通りに機能しなかった場合は、その理由を理解するためにデータを調べます。プログラムは参加者の関心を引くことができなかったのか？結果に影響する外的要因があったのか？
結論
準実験計画は、因果関係を理解したいが、無作為に人々をグループに割り当てることができない場合に最適な選択肢です。新しいプログラム、政策、治療法を研究する場合でも、準実験は、現実の世界で物事がどのように機能するかについての貴重な洞察を提供するのに役立ちます。
QuestionProを利用して準実験的研究を実施することは、実社会における介入の影響を理解するための効果的な方法です。QuestionProは、アンケートの作成から結果の分析までのプロセス全体を簡素化し、研究の実施と管理を容易にします。
QuestionProは、新しいプログラム、方針、または実践をテストする場合でも、十分な情報に基づいた意思決定に必要なデータの収集を支援します。詳細については、QuestionProにお問い合わせください！
