자연어 처리는 인공지능을 활용해 사람 말을 알아듣고 처리하는 기술을 말한다. 인공지능 시대에 많은 기업에서 주목하는 자연어 처리 기술은 2018년 구글의 BERT와 OpenAI의 GPT가 발표되면서 뛰어난 성능으로 더욱 주목받고 있다.

 

“칭찬과 욕설을 구분하는 인공지능은 어떻게 만들까?”, “기계는 지문을 읽고 답을 어떻게 찾을까?”, “인공지능은 기사나 소설을 어떻게 쓸 수 있을까?” 이 책은 이런 질문의 해답과 함께 BERT와 GPT의 핵심 동작 원리를 알려 준다. 그리고 한국어 언어 모델과 데이터를 활용해 대표 과제 5가지를 직접 수행해 보면서 자연어 처리의 전반과 구체적인 활용법을 배운다.

 

이 책을 집필한 이기창 저자는 ‘문장 범주 분류에 큰 영향을 미치는 단어들에 높은 점수를 주는 기법’을 다룬 논문(SCI 저널 게재)에 제1저자로 참여했다. 현재는 국내 대표 포털에서 자연어 처리를 연구하고 있다.

 

그는 “자연어 처리 모델은 국가나 기업 경쟁력의 핵심 요소가 될 것”이라며 “사람 말을 귀신같이 알아듣고 똘똘하게 답하는 AI의 경제적, 사회적 가치는 헤아리기 어려울 정도로 크기 때문”이라며 “마이크로소프트, 구글, 네이버 등 글로벌 IT 기업들은 천문학적인 비용을 들여 대규모·고품질 언어 모델을 확보하려고 열을 올리고 있다”고 말했다.

 

이어 “자연어 처리를 정석대로 공부하자면 딥러닝을 비롯해 수학, 코딩 등 다양한 기법을 알아야 하지만, 이 책에서는 자연어 처리 입문을 포기하게 만드는 장벽을 허물고자 노력했다”며 “자연어 처리를 자신의 업무에 도입하려는 개발자나 데이터 사이언티스트뿐만 아니라 자연어 처리에 입문하려는 어문 계열 학생이나 언어학 연구자도 쉽게 접근할 수 있도록 수식과 코딩을 최소화했다”고 덧붙였다.

 

이 책은 언어 모델을 만드는 것에 그치지 않고 웹 서비스까지 확장해서 모델이 제대로 동작하는지 시험해 볼 수 있도록 구성됐다. 오픈소스로 공개된 한국어 말뭉치를 학습한 언어 모델을 만들고 ‘빈칸 맞히기’, ‘다음에 올 단어 맞히기’, ‘질문에 답하기’, ‘문장 생성하기’ 등 내가 만든 모델이 어떻게 동작하는지 웹 브라우저에서 직접 확인할 수 있다.

 

이 책의 원고를 미리 받아본 학계와 업계의 전문가들도 출간 소식에 기대를 감추지 않았다.

 

박진호 서울대학교 국어국문학과 교수는 “한국어 데이터로 실습할 수 있는 친절한 우리말 교재가 출간됐다”며 반겼다.

 

하정우 네이버 AI랩 소장은 “국내에서 인정받는 자연어 처리 엔지니어의 진수를 만날 수 있다”며 “자연어 처리 분야에서 교과서 같은 책으로 기억될 것”이라고 추천했다.

 

SK텔레콤 머신러닝 엔지니어 김기현 씨는 “이해하기 좋은 표현으로 많은 사람에게 높은 평가를 받아 온 저자가 오랫동안 쌓은 자연어 처리 내공을 더해 좋은 책을 출판해 기대가 크다”며 “특히 허깅페이스의 최신 라이브러리를 활용하는 실습을 담아 자연어 처리 최신 주제를 먼저 배우고 싶은 분들에게 꼭 추천하고 싶다”고 말했다.