본 정리글은 "[챗GPT 러닝데이] 입문 - 자연어처리 시작하기 - 김준영"을 보고 작성하였습니다.자연어 처리?자연어 처리 = 인간의 언어 텍스트를 컴퓨터로 표현하기근본은 사실 확률적 언어 생성이다. => 입력된 제시 조건(문장, 단어 등)에서부터 내용을 잘 파악해서 어떤 말들이 이어서 나올 가능성이 높았는가?컴퓨터로 문장과 문단의 의미를 다루기 위해서는 문장을 형태소로 분리하고 -> 토큰화(tokenizing)형태소마다의 의미를 수로 표현할 수 있어야 함 -> 임베딩(embedding)Tokenizer크게 두가지 tokenizer가 있음전문가 분석/지도학습 기반Okyt, Komoran, Mecab, Hannanum, Kkma 등비지도학습 기반sentencepiece, soynlp 등주어진 Corpus를..