chap10.md

CHAP 10

선형회귀

• 회귀: 일반적으로 데이터들을 2차원 공간에 표시한 후에 이들 데이터를 가장 잘 설명하는 직선이나 곡선을 찾는 문제
  • y=f(x)에서 출력 y가 실수이고 입력 x도 실수일 때 함수 f(x)를 예측하는 것
• 종류
  • 단순 선형 회귀: 독립 변수(x)가 하나인 선형 회귀
    • w,b: 정확한 예측을 위해 알고리즘이 학습하려는 매개변수
    • f(x)=wx+b
  • 다중 선형 회귀: 더 복잡한 다중 선형 방정식
    • f(x,y,z)=w0+w1x+w2y+w3z

손실 함수(loss function)(=비용 함수(cost function))

• MSE 사용
• 손실함수 값을 최소화하는 w,b를 찾자
• ppt 참고
• 선형 회귀에서 손실 함수 최소화 방법
  • 분석적인 방법: 최소제곱법 -> 독립 변수과 종속 변수가 각각 하나인 선형회귀만 가능
  • 경사하강법(Gradient Descent Method)
    • 학습률(learning rate): 한 번에 매개변수를 변경하는 비율
    • ppt 참고

핵심 코드 정리

# 경사 하강법
for i in range(epochs): 
    y_pred = w*X + b  			# 선형 회귀 예측값
    dw = (2/n) * sum(X * (y_pred-y)) 	# 넘파이 배열간의 산술 계산은 요소별로 적용
    db = (2/n) * sum(y_pred-y)  # sum()은 모든 요소들의 합을 계산하는 내장 함수
    w = w - lrate * dw  		# 기울기 수정
    b = b - lrate * db  		# 절편 수정

---

시험 대비 핵심 정리

• 손실함수 공식
• 손실함수 최소화 방법 2가지 와 공식
• 경사하강법 + 코드 구현한 부분