INTRODUCTION

我們的目標設定為將用手機拍照的實驗數據表格,轉成Excel檔案,方便計算與分析,我們的系統可以分成五個部分:

1. MNIST dataset convolutional neural network(CNN)訓練

利用Keras中的mnist_cnn的範例訓練CNN,並將訓練後的模型和權重儲存下來

2. 蒐集測試資料:

用手機拍攝子路實驗表格,利用github上標註程式labelImg標註每一個字元的位置與內容(FIG1)

3. 照片的前置處理與文字的定位(利用OpenCV):

前置處理包含三個步驟:將彩色圖片轉成灰階圖、利用Blur 去除圖片中的高頻噪音、設定threshold將圖片轉成黑白。(FIG2)

文字的定位透過找輪廓的方式,根據找到的輪廓畫出一個長方形,這些長方形內可能為噪音、小數點、文字、表格等。我們根據的面積大小來篩選出可能為文字的長方形。(FIG3)

4. 文字的辨識:

先將可能為文字的長方形的格式調整成和第一步驟CNN輸入格式相同,將其送入預先訓練好的CNN,再將CNN預測的結果寫到圖片中。(FIG4)

5. 轉成Excel黨

透過偵測圖片中表格的直線,定位表格的行跟列(FIG5)


Fig. 1


Fig. 2


Fig. 3


Fig. 4


Fig. 5

心得感想

在這個專題中我們學習到了很多以前沒有接觸過的東西,像是影像處理的知識、深度學習的知識、還有Linux作業系統的使用。在研究的過程中,要怎麼找到適合的paper,要怎麼根據paper的結果進行分析決定要不要實作,要怎麼自己設計實驗,並根據實驗的結果進行改良,不要落入Try and error中,都是在這次專題中學到的技巧。謝謝劉靖家老師的指導,告訴我們做研究的方法和導引我們的研究方向。