CBOW모델은 말뭉치에 포함된 어휘 수가 많아지면 계산량이 커져 계산 시간이 오래 걸린다.이를 위해 Embedding이라는 새로운 계층을 도입하고 네거티브 샘플링 이라는 새로운 손실함수를 도입한다. 4.1. word2vec 개선 (1)CBOW모델은 단어 2개를 맥락으로 사용해 이를 바탕으로 하나의 단어(타깃)을 추측한다.이때 입력측 가중치(Win)와의 행렬곱으로 은닉층이 계산되고 다시 출력측 가중치(Wout)와의 행렬곱으로 각 단어의 점수를 구한다.이 점수에 소프트맥스 함수를 적용해 각 단어의 출현 확률을 얻고 이 확률을 정답 레이블과 비교하여(교차 엔트로피 오차를 적용하여) 손실을 구한다. 이런 CBOW모델은 거대한 말뭉치를 다루게 되면 문제가 생긴다.그림 4-2와 같이 어휘가 100만개, 은닉층의 뉴..
