AI/NLP

강의 노트: 입문 - 자연어처리 시작하기

본 정리글은 "[챗GPT 러닝데이] 입문 - 자연어처리 시작하기 - 김준영"을 보고 작성하였습니다. 자연어 처리? 자연어 처리 = 인간의 언어 텍스트를 컴퓨터로 표현하기 근본은 사실 확률적 언어 생성이다. => 입력된 제시 조건(문장, 단어 등)에서부터 내용을 잘 파악해서 어떤 말들이 이어서 나올 가능성이 높았는가? 컴퓨터로 문장과 문단의 의미를 다루기 위해서는 문장을 형태소로 분리하고 -> 토큰화(tokenizing) 형태소마다의 의미를 수로 표현할 수 있어야 함 -> 임베딩(embedding) Tokenizer 크게 두가지 tokenizer가 있음 전문가 분석/지도학습 기반 Okyt, Komoran, Mecab, Hannanum, Kkma 등 비지도학습 기반 sentencepiece, soynlp 등..