3.1. 추론 기반 기법과 신경망✔️ 통계 기반 기법의 문제점통계기반기법에서는 주변 단어의 빈도를 기초로 단어를 표현했다.하지만 이 방식은 대규모 말뭉치를 다룰 때 문제가 발생하는데, 어휘가 100만개라면 100만*100만이라는 거대행렬이 생기고 이를 SVD(특잇값감소) 적용하는 것은 쉽지 않다.반면, 추론 기반 기법은 신경망을 이용하는 경우, 미니배치로 학습하는 것이 일반적이다. 신경망이 한번에 소량(미니배치)의 학습 샘플씩 반복해서 학습하며 가중치를 갱신해간다.그림 3-1과 같이 통계기반기법은 데이터를 한꺼번에 처리하고(배치학습), 추론기반기법은 데이터의 일부를 사용하여 순차적으로 학습한다.(미니배치학습) ✔️ 추론 기반 기법추론 기반 기법에서는 '추론'이 주된 작업으로, 그림 3-2처럼 주변 단어(..
