4장: 바이그램 모델 - 가장 단순한 언어 모델
이 장에서는 현재 문자만을 바탕으로 다음 문자를 예측하는 문자 단위 바이그램 언어 모델을 만드는 방법을 설명한다. 신경망이나 그래디언트, 학습 가능한 파라미터는 사용하지 않고, 데이터에서 연속으로 등장하는 문자 쌍의 빈도를 단순히 세는 방식만으로 동작한다. 언어 모델이 시퀀스 데이터에서 다음 토큰의 가능성을 어떻게 학습하는지 직관적으로 이해할 수 있게 해 주는 기초적인 튜토리얼이다.
이 장에서는 현재 문자만을 바탕으로 다음 문자를 예측하는 문자 단위 바이그램 언어 모델을 만드는 방법을 설명한다. 신경망이나 그래디언트, 학습 가능한 파라미터는 사용하지 않고, 데이터에서 연속으로 등장하는 문자 쌍의 빈도를 단순히 세는 방식만으로 동작한다. 언어 모델이 시퀀스 데이터에서 다음 토큰의 가능성을 어떻게 학습하는지 직관적으로 이해할 수 있게 해 주는 기초적인 튜토리얼이다.