INTRODUCTION

Fig.1為本實驗的系統整體流程圖,總共分為四大部分。第一部份是客觀標記,先是將《相聲瓦舍》得到的單句音檔進行正負向標記。接著的第二部分是建立實驗音檔,並將其實驗音檔讓第三部分的受試者聆聽及標記,同時利用fMRI收取受試者的血氧濃度相依比訊號(BOLD signal)。最後,將得到的BOLD signal及實驗音檔做訊號分析。

1.客觀標記

首先,我們取得《相聲瓦舍》音檔資料,並將其剪成許多的單句音檔。接著,由多人利用程式標記後平均所得的結果決定每一個單句音檔的正負向,視為客觀標記(本文稱為standard label)。

2.建立實驗音檔

因為MRI的TR設定為3,故我們將每3秒或3秒的倍數的一個單句音檔挑選出來。再將standard label的正負向相似的單句音檔,串接成24秒的實驗音檔,此處為排除語意影響情緒的判別,會避免將來自同一段對話的單句音檔排列在一起,期望受試者僅以語調和語速等判斷實驗音檔表達的情緒。

3.受試者標記

受試者在fMRI中聆聽24秒的實驗音檔播放完畢後,將有6秒的思考時間,供受試者以按鈕的方式,選擇他們認為剛才聽到的實驗音檔使他們感覺幽默、不幽默或不知道。以上為一組實驗 (包含24秒的聆聽及6秒的思考)。本次研究,每位受試者將進行十八組實驗,也就是為期9分鐘的實驗。

本次實驗共13位受試者,標記分成standard label和受試者的選擇(本文稱為answer label),後面將進行生理訊號(BOLD signal)和聲音訊號(audio)的分析。

4.生理訊號分析、聲音訊號分析

本文將分成兩個方向分析,一個是將受試者的fMRI結果進行生理訊號分析,另一個則是對實驗音檔進行聲音訊號分析,最後我們會將生理訊號及聲音訊號做Fusion,目的是期望Fusion後的結果能優於單純用生理訊號或單純用語音訊號分析的結果。

Fig.2為我們的訊號分析流程圖,兩種分析方法都會先對聲音或生理訊號做前處理,各自做完分析後,再做Fusion。


Fig. 1


Fig. 2

心得感想

剛開始我們對machine learning的印象只是個很先進的技術,很幸運的能藉由這個專題,接觸到一個有趣的machine learning的實驗,過程中首先透過fmri收得受測者的BOLD訊號,接著利用machine learning訓練出一個初步的模型,在李祈均老師以及學長們的幫忙下,得以順利完成這個專題,讓我們對machine learning有個初步的認識與應用。