人間の五感の仕組みとクロスモーダル

　揺れる風鈴を見てそこから出る音を聞くと、実際の気温は変わらなくても涼しく感じることがあります。また、かき氷の赤色はイチゴ味、緑色はメロン味といったようにさまざまな味を楽しめますが、実は多くのシロップは、色と香料が異なるだけで、味の元になっている材料は同じなのです（図１）。人は舌だけで味を感じているわけでも、肌だけで温度を感じているわけでもありません。五つの感覚が互いに交わり、相互に作用しながら、感覚は生まれています。

　これまでは、五感を独立したものとして捉えてきましたが、心理学、認知科学や脳科学により、五感は完全に独立したものではなく、お互いが強く影響し合っていることが明らかになっています。*1)

クロスモーダル知覚の応用

　さて、下記の二つのデザインですが、どっちが「ブーバ」で、どっちが「キキ」だと思いますか？

　曲線図形がブーバで、ギザギザしているのがキキ。これは、母語や年齢に関係なく見られる特性です。言語の音と図形の印象は連想される、それが「ブーバ・キキ効果」と呼ばれるものです。
　他に、「高い音は明るいと感じる」や「苦みは低い音で連想される」、「音に色を感じる色聴共感覚」等、クロスモーダル知覚には様々なものが存在します。
　さらに、インターフェースに応用した例もあります。ユーザーがまっすぐな円筒を触る際に、視覚によって触覚に影響を与えた例として、HMD（ヘッドマウントディスプレイ）で曲面の円筒を触っているように見せると、ユーザーは同じく曲面の円筒を触っているかのように感じる研究があります。*2) 「泣くから悲しい」という行動起点に感情が生まれるという特性*3)を活用すれば、鏡形のディスプレー上に、ユーザーの顔を笑顔や悲しい顔などに画像合成して写すことで、ユーザーの感情も画像合成された自分の顔の表情につられて感情が変化することも分かっています。*4) これは視覚で気持ちをデザインした例になります。
　このようにクロスモーダル知覚を活用すれば、多様な感覚の組み合わせにより、新たな感覚が作れたり、行動を促したり、気持ちをデザインしたりすることができます。

クロスモーダル知覚を活用した、五感体験デザインの可能性

　五感体験をデザインする上で大事なポイントは、「生活者のニーズ・課題」起点に考えることです。生活者の課題や社会課題等において、生活者にどう感じさせたいか、から逆算して五感を組み立てて、体験をデザインします。
　先日、私はクロスモーダル知覚を活⽤して、ビールのおいしさを増幅する⾳楽を開発しました。*5)

　おいしさは、食べ物や飲料を摂取したときに生じる快感情であり、味覚以外の感覚の組み合わせで作ることができます。今回の開発では、聴覚に着目し、おいしさを増幅する音楽を作りました。その音楽は、既存の学術研究を活用し、効果検証された科学的根拠に基づいて、科学的かつ感性的なアプローチで開発したものです。ビールを飲みながら聞くと、ビールの様々な⾷感が際⽴ち、新たなおいしさ体験を創出します。注意制御がもたらす感覚増幅に着目し、リアルな音の誇張表現により高い臨場感を生んだり、別の効果音の組み合わせで食感を連想させたりすることで、おいしさを増幅させます。飲む前に聞いて期待感を高めるイントロから、「クリーミー感を増幅する音楽」「炭酸感を強める音楽」「のどごし感を増幅する音楽」と、一連の楽曲を聞きながらビールを味わうことで、時間の経過も含めた新たなおいしさを体験することができるというものです。
　以上見てきたように、生活者のニーズや課題と向き合いながらクロスモーダル知覚を活用すると、生活をより豊かにする体験を作り上げることができます。広告業界が強みとしている消費者洞察の掛け算だからこそ生きる領域だと言えるでしょう。