/**
날짜 : 2017.01.25
밑바닥부터 시작하는 딥러닝(한빛미디어) 참고
Numpy 기초, 간단한 신경망 구현
*/
numpy 패키지는 데이터 과학, 딥러닝 분야에서 쓰이는 매우 중요한 파이썬 패키지이다. numpy는 거의 표준이라고 불릴만큼 대부분의 사람들이 애용하는 패키지이다. numpy가 쓰이는 가장 큰 목적 중에 하나는 배열, 행렬, 벡터, 텐서와 같은 '다차원 배열'의 구현이다. 많은 사람들이 다차원 배열을 구현할 때 numpy를 이용한다. numpy에서는 이를 ndarray라고 부른다. 또 파이썬의 기본 자료 구조에는 array가 없기 때문에, 꼭 딥러닝이 아니더라도 numpy array는 파이썬에서 1차원 배열을 구현할 때도 쓰인다.
numpy의 기초 문법을 정리하고 이를 이용하여 인풋 2개, 아웃풋 2개, 히든 레이어가 2개(각각 노드수가 3, 2인)인 간단한 신경망을 구현해 보았다.
import numpy as np
A = np.array([1,2,3,4])
print(A)
# 차원출력
np.ndim(A)
# 배열 형상 출력. 튜플로 반환된다.
print A.shape
# (4L,)
print A.shape[0]
# 4
- 위와 같은 문법을 통해 numpy array를 만들 수 있고, shape, dimension 등을 확인할 수 있다.
""" 2차원 배열 """
B = np.array([[1,2], [3,4], [5,6]])
print(B)
np.ndim(B)
B.shape
- 2중 대괄호를 쓰면 2차원 배열을 만들 수 있다.
""" 3차원 배열 이상 """
# 2x3x4 배열을 만들고 0으로 초기화
C = np.zeros((2, 3, 4))
print 'C', C
# 아래와 같이 자유롭게 만들 수 있음
D = np.array([[[ 1., 2., 3., 4.],
[ 0., 0., 2., 0.],
[ 4., 0., 3., 0.]],
[[ 1., 4., 0., 6.],
[ 0., 0., 5., 0.],
[ 0., 0., 0., 5.]]])
print 'D', D
# 2x2x3x4 4차원 배열
E = np.zeros((2,2,3,4))
print 'E', E
- 위와 같이 3차원 배열, 4차원 배열 등의 고차원 배열을 만들 수 있다.
""" 내적 """
A = np.array([[1,2], [3,4]])
A.shape
B = np.array([[5,6], [7,8]])
B.shape
np.dot(A,B)
#array([[19, 22],
# [43, 50]])
- np.dot 명령어를 통해 두 행렬의 내적(dot product)을 구할 수 있다. 신경망에서 이전층에서 다음층으로 forward 되는 것을 구현할 때 입력과 출력을 행렬의 내적으로 표현할 수 있다.
""" 간단한 신경망 구현
입력층에서 1층으로 가는 신호
첫 번째 히든 레이어의 노드 수는 3개
"""
def sigmoid(num) :
return 1/(1+np.exp(-num))
X = np.array([1.0,0.5]) # 입력이 2개 (x1, x2)
W1 = np.array([[0.1,0.3,0.5],[0.2,0.4,0.6]]) # 입력에 대응하는 weights
B1 = np.array([0.1,0.2,0.3]) # bias
print X.shape # 1x2
print W1.shape # 2x3
print B1.shape # 1x3
A1 = np.dot(X,W1) + B1
Z1 = sigmoid(A1) # 첫 번째 레이어의 최종 아웃풋
print A1
print Z1
입력층에서 첫 번째 히든 레이어(노드 3개짜리)로 forward하는 것을 구현한 것이다. 입력과 weights, bias는 임의로 정한 것이다. 입력은 x1, x2 이고 각각 1.0, 0.5 이다. weights는 총 6개이다. (이는 input layer의 노드 수 2와 첫 번째 히든레이어의 노드수 3을 곱한 것이다.) bias는 길이 3의 array인데 이를 더해주어 XW에 더하여 XW+B를 만든다. Bias가 왜 필요한지 그리고 신경망에 대한 기본적인 이해는 http://hunkim.github.io/ml/ 홍콩 과기대 김성훈 교수님의 강의를 참조하면 좋다.
""" 1층에서 2층으로 가는 신호 구현
"""
W2 = np.array([[0.1,0.4],[0.2,0.5],[0.3,0.6]])
B2 = np.array([0.1,0.2])
print Z1.shape # 1x3 첫 번째 레이어의 아웃풋이 인풋이 된다.
print W2.shape # 3x2
print B2.shape # 1x2
A2 = np.dot(Z1, W2) + B2
Z2 = sigmoid(A2)
첫 번째 히든레이어에서 두 번째 히든레이어로 forward하는 것의 구현이다. 첫번째 히든 레이어의 아웃풋 Z1이 인풋이 되었고 위와 같은 방식으로 Z1*W2+B2를 하면 두 번째 히든 레이어의 output을 구할 수 있다.
""" 2층에서 출력층으로 가는 신호 구현
"""
# 출력층의 활성화 함수로 항등함수를 쓴다.
# 회귀의 경우 출력층의 활성화 함수로 일반적으로 항등항수를 쓴다.
# 2-class classification에서는 sigmoid
# 3-class 이상의 classification에서는 softmax를 쓴다.
def identity_function(x) :
return x
W3 = np.array([[0.1,0.3],[0.2,0.4]])
B3 = np.array([0.1,0.2])
print Z2.shape # 1x2
print W3.shape # 2x2
print B3.shape # 1x2
A3 = np.dot(Z2, W3) + B3
Y = identity_function(A3)
print Y # 최종 아웃풋 출력
두 번째 히든 레이어에서 출력층으로 forward 하는 것의 구현이다. 출력층의 activation function은 identity function을 사용하였는데, 이는 '풀고자 하는 문제의 성질' 과 관련이 있다. 회귀에서는 항등함수를, 2클래스 분류에서는 시그모이드를, 다중 클래스 분류에는 소프트 맥스 함수를 사용하는 것이 일반적이다.
