広告効果測定における誤差 – データの約半分が間違っていたとしたら・・・

データには誤差がつきまといます。広告効果の測定データも様々な誤差の影響を受けます。しかし広告効果や広告ROIを算出する際一番厄介な誤差は、消費者は「自分がどの広告にどんな影響を受けてどんな行動をしたか」正確に答えられない事に起因します。

例えばアンケートなどで「どの広告を見ましたか？」「どの広告に影響を受けましたか？」「どの広告を見た事が購買のきっかけになりましたか？」などと消費者に直接聴取した場合、勘違いした回答や間違った思い込みによる回答が混じります。

アンケートで回答者は正しく回答できない

「刺さる広告(Briggs and Stuart, 2008)」では、媒体により10%~50%程度の回答者が事実とは異なる広告源を認知媒体として誤って回答し得ると報告されています。ROI+が日本で行った化粧品についての自主調査(2012)でも同様の現象を確認しています。この誤差をを処理せずに分析する事による功罪は大きく、真の広告効果を曇らせ誤ったROIを導く事になります。

偶然誤差と系統誤差

誤差には「偶然誤差」と「系統誤差」の2種類があります。偶然誤差は、回答者の気持ちや体調によるの回答のブレや、ケアレスミスによる誤回答などが含まれます。一定の傾向を持って現れる誤差ではなく、確率的に出現する為「確率誤差」とも呼びます。プラスとマイナス両方向にバイアスが出現しますが(効果があった/なかった等)、ランダムに起こる為サンプル数を増やせば正負誤差同士で打ち消し合い、誤差の期待値はゼロとなります。つまり偶然誤差は罪が少なく、データ数を確保すれば無視できる誤差という事です。広告効果測定において真に厄介なのは、後者の系統誤差です。

系統誤差 – 広告効果測定において、真に危惧すべき誤差

系統誤差は偶然に起こる誤差ではなく、何かしらの「原因」により「一定の傾向」を持ってデータにバイアスを与える誤差です。確率的に起こる誤差ではないので期待値はゼロにはならず、データを増やせば増やすだけ比例して誤差が累積します。　広告効果測定のコンテクストで言うと、回答者の「勘違いや思い込み」による誤回答が系統誤差にあたります。例えばインターネットをよく見ている人が、あるブランドについてどの媒体で認知したか聞かれたとします。実際はTV広告で接触したのに「自分はネットをよく見ているから、きっとネットで見たんだろう」と思い込み、「インターネット広告でそのブランドを知った」と回答した場合、系統誤差にあたります。インターネットを良く見ているという自覚が原因となりインターネット広告の効果を過大評価、実際の広告源であるTVCMを過小評価してしまう傾向を生み出しています。これが系統誤差です。

系統誤差の影響例

消費者が自分の傾向について自覚のある傾向はまだ見抜きやすいのですが、自覚のない状況でも無意識に系統誤差が混ざる事もあります。消費者がある製品の「効用を」魅力的だと思い、その製品を買い求めたとします。その消費者はTVCMと雑誌広告の両方でそのブランドに接触しています。その際TVCMでは製品の効用は謳わず、雑誌で製品の効用を謳っていました。その消費者にアンケートに回答してもらい「どの媒体で製品の効用を知ったか？」と聞いた所、TVCMは覚えていたけれど、雑誌広告は覚えていなかった為「TVで効用を知った」と”信じ込んで”回答しました。これは実際はLAP(※)による勘違いなのですが、消費者の意識上ではそれが真実なのでそう回答せざるをえないわけです。

先述した様に、媒体によって10%~50%程度の誤差が出る事が知られており、誤差を処理しないまま広告効果や広告のROIを算出して意思決定をおこなうと非常に危険です。次の項では、誤差の少ないデータ取得方法や分析時の誤差処理方法について説明します。

⇒次ページ「誤差制御の方法」はこちら