1 類神經網路

由於在最終的討論中，我們將課程資訊降維到一維的充分效能值，使得該資料成為非線性，並使用非線性迴歸去測試我們所新增的變數重要程度，且估計出PR變動量。而在接下來的章節中，我們將使用ANN來與非線性迴歸做預測PR變動量準確度的討論，還能夠藉由先前使用非線性迴歸所篩選出的特徵，來做更準確的特徵選取，避免了一直新增不重要變數而產生模型與訓練集過度配適的問題。

在一開始的類神經網路我先使用簡單的類神經網路，也就是單一層隱藏層與單一節點來做測試，從下面的圖中每一像變數皆為輸入向量的分量\(A_j\)；對應到的黑色數字部分為每一項輸入值的權值\(W_j\)，藍色圓圈中的\(1\)表示了藍色數字\(b\)的權值，\(b\)則是偏置。在隱藏層與輸出層皆有激活函數，在這裡我使用sigmoid函數，而偏置\(b\)的作用則為加入數學式尾端去調節參數值，也就是輸入學生\(i\)的\(j\)項變數，預測出該學生在學期末的PR變動量，數學式如下：

其中

\[ \begin{array}{lcl} & &\hat{Y}_i=\sigma(b^*+\sigma(W\{A_1,...,A_n\}+b'))\\ \text{其中：} & &\sigma = \text{sigmoid}=\frac{1}{1+e^{-x}}\\ & &W\{A_1,...,A_n\}+b'=\sum_{i=1}^{n} W_{i} A_i+b' \\ & &A=\text{特徵值} \end{array} \]

使用簡單類神經網路，所計算出來的RMSE為46.73973，其值較非線性迴歸還低，表示類神經網路預測PR變動更準確，在最後建置推薦系統演算法所需要預測的部分，可以利用類神經網路來讓預測PR變動更準確。