한빛출판네트워크

구글 BERT의 정석

BERT라는 녀석이 나왔다는 얘기를 처음 접한건 작년 이맘때 쯤이다.

1년정도 지났지만 BERT가 뭔지 상세하게 접할 일은 없었다.

프로그래밍을 하긴 하지만 자연어처리나 인공지능을 전문으로 하지 않아

그냥 나왔나 보다 하는 정도 수준으로만 알고 있었다.

하지만 BERT에 대한 관심은 늘 가지고 있었고, 이번에 책이 선정이 되서 읽어보게 되었다.

참고로 저자가 내가 20년 전에 두번정도 만난 전희원이란 사람이다.

그때도 느낌이 좋긴 했지만 왠지 아는? 사람이 번역한 책이라 괜히 더 좋았다.

개인적인 얘기는 접어두고 책에대해서 얘길하자면 수학의 정석 처럼 BERT의 정석이 맞는듯 하다.

요즘 새로운 프로젝트를 살펴보면서 문서 요약 및 자연어 처리 그리고 문서답변모델에 대해서 

공부해야 하는데 이런 내용들이 같이 나와 있어서 너무나 좋았다.

그리고 BERT를 잘 모르는 사람들을 위해 처음 부터 친절하고 상세한 설명이 너무나 맘에 든 책이다.

물론 정독을 해야 이해할 수 있겠지만 차근차근 책을 살펴본다면 쉽게 이해할 수 있도록 설명이 잘 되어 있는 책이다.

자연어 학습이나 문서요약등의 작업을 해야하는 직군을 가진 사람들은 이책을 한권씩은 가지고 있어야 하는

진짜 BERT의 정석인 책임이 분명하다.

"한빛미디어 <나는 리뷰어다> 활동을 위해서 책을 제공받아 작성된 서평입니다."

최근 트랜스포머의 양방향 인코더 표현 기술(BERT)이 자연어 처리 영역뿐만 아니라 영상처리와 같은 다른 도메인으로 기술 적용이 확산되고 있다. 이와 같은 추세를 반영하듯, BERT라는 주제는 딥러닝의 특정 기능 분야에 한정되는 주제임에도 불구하고 [파이썬 텍스트 마이닝 완벽 가이드(2022.2)], [한국어 임베딩(2019.9)] 같이 BERT를 부분적으로 다루는 도서나 [Do it! BERT와 GPT로 배우는 자연어 처리(2021.12)]와 같이 본 도서와 겹치는 주제를 거의 비슷한 콘셉트로로 다루고 있는 도서를 모두 찾아볼 수 있다.

이 책의 원서가 출간되기 전에는 BERT만 다루는 책이 없었는데, BERT의 비중을 생각했을 때, 이를 알기 위해 논문을 보거나 자연어 처리 관련 도서 끝부분에 잠깐 언급된 내용으로 만족해야 했음을 생각하면 이 책의 출간이 매우 의미 있음을 알 수 있다.

[구글 BRRT의 정석]은 2021.11 초판 발행되어 2022.1 2쇄가 발행되었다. 한국의 IT서적 판매 시장에서 전문적이고 주제의 폭이 매우 좁다는 것을 고려할 때 [구글 BERT의 정석]이 받고 있는 기대감이 그만큼 크다는 것을 알 수 있다. 유사한 도서 중 트랜스포머만을 집중해서 빠르게 내용을 접하고 정리하고자 한다면 이 책은 타 도서에 비해 가장 적당한 예시로 가장 이해하기 쉽게 설명하고 있으며 따라서 좋은 선택을 한 것이라 할 수 있다. 책 초반에 트랜스포머에 대한 설명을 할 때 인코더의 구성을 풀어 단계별로 알려주는 부분을 보면 마치 가장 친절한 멘토를 옆에 둔 것 같은 느낌을 받을 정도로 친절하게 설명해 줌을 알 수 있다.

역자들, 특히 전희원님의 경우 한국어와 관련된 여러 오픈소스 활동과 기술 문서를 통해 수년간 전문성을 인정받은 분이라 번역의 질도 매우 우수하고 기술을 정확하게 파악할 수 있도록 번역이 되었다.

파트 1에서는 트랜스포머의 기본 개념을 다루고, 동작 방식 과정에서 값이 부여된 행렬 상태나 관련 그림을 곁들여 쉽게 설명한 뒤 학습된 모델을 파인튜닝하고 사용하는 방법을 설명한다. 파트 2에서는 파생모델과 적은 리소스에서 성능을 내기 위한 지식 증류 기반 모델을 다루고, 파트 3에서는 기타 BERT를 적용하고 역자가 저술한 한국어 모델에 대하여 다루고 있다.

BERT의 동작원리를 궁금해하는 독자에게는 거기에 더하여 활용 방법에 대한 안내를 해주고, 실제 업무에 적용하기 위해 모색하는 독자에게는 BERT를 알기 위해 선행 파악해야 하는 공부의 순서에 대한 걱정 없이 책의 순서대로 유용하게 지식을 정리할 수 있다. 또한 각 장의 연습문제는 이해한 개념 중 중요한 것을 다시한번 짚어준다. 다른 연습문제가 있는 도서와 다른점은 연습문제의 정답은 부록(Appendix)를 통해 제공해 준다는 것인데, 이를 통해 내용을 정확하게 복기할 수 있도록 도와준다.

이 책의 서문(이 책에 대하여)에는 필요한 독자의 선행지식, 이 책을 통해 얻을 수 있는 내용, 책을 통해 얻게 되는 성과를 명시적으로 기술되어 있다.

  * 독자의 선행지식 : NLP 개념과 딥러닝에 대한 기본적인 이해가 필요

  * 도서의 내용

    - BERT에 대한 이해를 기반으로 아키텍처를 살펴보고, 사전학습되는 방법, 파인 튜닝을 통한 다운스트림 태스크에 활용하는 방법 알아봄

- 변형 소개 : ALBERT, RoBERTa, ELECTRA, SpanBERT

- 지식 증류 기반 변형 : DistilBERT, TinyBERT

- M_BERT, XLM, XLM-R 설명

- sentence-BERT

- BioBERT, ClinicalBERT

- VideoBERT

    - 역자가 저술한 KoBERT, KoGPT2, KoBART

  * 얻을 수 있는 것 : BERT 및 그 변형 모델을 활용해 여러 자연어 처리 태스크를 수행하는 데 부담이 없어어짐

이 책은 예제를 따라 하기가 쉽게 되어 있다. GitHub의 저장소 코드를 colab을 통해 확인하고 실행해 볼 수 있으며, 예제에도 풍부한 주석이 있기 때문에 책을 참고하여 개념을 익히고 코드를 실습하고 이해하는데 문제가 없다. 이 책은 자연어 처리 분야의 최신 솔루션에 대한 훌륭한 입문서다. 다만 서문에서 언급되었듯 기반 지식이 필요하며 적어도 인터넷에 공개된 딥러닝 관련 내용은 선행학습이 되어야 읽을 수 있다. 딥러닝 혹은 자연어 처리에 대한 기반 지식이 없다면 본 도서를 구입하기 전 다른 자연어 처리 관련 입문 도서나 아래 인터넷에 공개된 강좌 학습 등을 선행하길 추천한다.

딥 러닝을 이용한 자연어 처리 입문 - https://wikidocs.net/book/2155

"한빛미디어 <나는 리뷰어다> 활동을 위해서 책을 제공받아 작성된 서평입니다."

이달에 받은 책은 <구글 BERT의 정석>

마침 자연어처리, 고급자연어처리, 정보검색 등 자연어처리에 관한 과목들을 공부하고 있어서 꼭 읽어보고 싶었다.

트랜스포머에 관한 이야기가 빠질 수는 없지. 트랜스포머에서 인코더 부분만 가져온 것이 BERT( Bidirectional Encoder Representations from Transformers)이기 때문이다. 트랜스포머의 인코더 부분, 디코더 부분 설명에 이어 BERT 이해하기, 활용하기 부분이 나오고 BERT에서 파생된 모델인 ALBERT, RoBERTs, ELECTRA, SpanBERT가 소개된다. 여기까지가 책의 절반을 차지한다.

'지식 증류'라는 표현은 좀 낯선데 Knowledge Distillation은 낯익다. (많이 쓰는 표현이긴 한데 꼭 이렇게 번역해서 써야만 하는 걸까?) 여기에서 Teacher와 Student 개념이 나온다.

마지막 Part 3은 BERT를 적용하는 단계로서 텍스트 요약, 다국어, 언어별 BERT, sentence-BERT, domain-BERT가 소개된다. 한국어 언어 모델인 KoBERT, KoGPT2, KoBART에 대한 이야기도 나오는데 내가 참고하고 싶었던 부분이 바로 이 부분이라 반가웠다. 비록 소스코드가 제공되기는 하지만 각 내용들에 대한 설명은 반 페이지~한 페이지 정도라는 것은 아쉬움이 든다. 결과적으로 다루고 있는 영역은 굉장히 다양한데 실제 깊이 알고 싶었던 내용에 대한 설명은 살짝 부족한 느낌이....목차를 보고 기대를 많이 했었는데.^^

자연어처리, 트랜스포머, BERT에 대해 넓게 훑고 싶어하는 사람에게 권한다. 흐름을 이해하고 개념을 잡는 데에는 도움이 될 것이다.

한빛미디어 <나는 리뷰어다> 활동을 위해서 책을 제공받아 작성된 서평입니다.

	
고등학교 때 '수학의 정석'이라는 책을 누구나 한 번쯤 접해봤을 것이다. 읽어본 사람들은 느끼겠지만 정석-이라는 책 제목만큼 너무나 원칙적이고 scratch부터 차근차근 스텝을 밟아 나간다. 단호하게 말해서 재미는 없지만 따라가다 보면 어느새 수학의 고수가 되어 있다. 구글 BERT의 정석도 그러한 형식으로 BERT에 대해서 정석적으로 알려준다.
	
나는 모든 자연어 처리 엔지니어들에게 이 책을 추천하고 싶다. 단순히 BERT를 import해서 training만 시키던 실무자들에게 Transformer 의 encoder, decorder를 component 단위로 하나하나 쪼개서 어떻게 돌아가는지 알려준다. 이를 이해하고 나면 BERT의 진정한 fine-tuning에 대해 좀 더 접근할 수 있지 않을까.
	

		
	
	
최근 BERT의 파생 모델 중 하나인 ELECTRA라는 언어 모델에 대해 관심이 있었는데, 이 모델에 대한 수식부터 예제 코드까지 설명되어 있더라. 정말 책 자체의 quality가 높고 잘~설명된 책이라서 내가 논문을 일일이 읽고 정리하지 않아도 될 수준이다! 오랜만에 지식 공유의 짜릿함을 느꼈다.
	
아쉬운 점이 있다면, 예제의 수준이 예제-에 그친다는 점이다. 즉 프로젝트 수준의 예제는 제공하지 않으며, 주로 언어 모델의 이론적인 면에 집중하고 있다. 프로젝트는 kaggle이나 다른 곳에서 crawling 하는 등 다른 dataset을 참고하여 진행하는 것이 좋을 듯하다.

출처: https://sysout.tistory.com/92 [Emily's Tistory:티스토리]

본 서평은 한빛미디어 <나는 리뷰어다> 활동을 위해서 책을 제공받아 작성된 서평입니다.

 

 

 

"한빛미디어 <나는 리뷰어다> 활동을 위해서 책을 제공받아 작성된 서평입니다."

2018년 발표된 구글의 BERT는 자연어 이해(NLU, Natural Language Understanding)에서 이전의 모델보다 괄목할만한 성장을 보여주었습니다. BERT 출시를 기점으로 BERT로부터 파생된 수많은 모델이 탄생하였는데요. 19-20년도에 다양한 BERT 기반의 모델이 발표되던 모습은 자연어처리에도 '존버'(존귀한 BERT)의 시대가 오지 않았나 하는 생각도 해보게 됩니다.

하지만 시중에 나와있는 자연어처리 서적 중에서 BERT 이후의 모델을 다루는 책은 거의 없다시피 했습니다. 그나마 GPT, BERT까지의 모델을 다루는 서적은 몇 권 정도가 있었습니다만, 19년도 이후의 모델을 공부하기 위해서 참고할 수 있는 자료는 논문이나 블로그, 유튜브 자료가 전부였죠.

<구글 BERT의 정석>은 BERT에서 파생되어 출시된 여러 자연어처리 모델의 흐름을 조망할 수 있는 책이라고 할 수 있겠습니다. 책 초반부에서는 BERT의 기반이 되는 트랜스포머 모델을 설명하고, 이로부터 BERT가 어떻게 탄생하였고 모델의 특징은 무엇인지를 다루고 있습니다. 후반부에는 앞서 말씀드린 것과 같이 BERT의 파생 모델을 각 모델의 특징에 따라 구분하여 정리해주고 있지요.

굳이 단점을 뽑자면 트랜스포머에서 뻗어나온 반대편 줄기(?)인 GPT를 다루지는 않는다는 점이 있습니다. 해당 부분이 아쉽기는 하지만 오히려 BERT 계열 모델에 집중하여 정리할 수 있는 것이 본 책의 장점이 아닐까 합니다. 본 서적을 통해 BERT에 대한 이해와 BERT 계열 모델에 대한 대략적인 흐름을 익히고 논문 자료로 넘어간다면 훨씬 더 수월하게 논문을 읽어낼 수 있지 않을까 합니다.

양질의 서적을 빠르게 번역해주신 번역자분과 출판사에게 감사의 말씀을 드립니다.

[리뷰 중 생각난 TMI : 모델의 중요도와는 상관없이 네이밍에서 특이점이 온 BERT로는 프랑스어 모델인 까망베르(CamemBERT)도 있습니다.]

※ 한빛미디어 <나는 리뷰어다> 활동을 위해서 책을 제공받아 작성된 서평입니다.

Google BERT는 구글에서 개발한 자연어 처리 기술이며, 다양한 자연어 처리 분야에서 좋은 성적을 내고 있습니다.

BERT를 사용한다면, 특정 과제를 수행하기 전 시행하는 사전 훈련 Embedding을 통해 더욱 근사한 결과를 만들 수 있습니다.

책에서는 BERT의 동작 방식 부터, 임베딩 방식등을 안내하며 이해를 돕고 있으며 실제 Task를 수행하는 Transfer Learning까지 잘 소개가 되어 있습니다.

[서론]

구글의 AI 언어 모델인 BERT를 배울 수 있는 책이다. 

BERT의 기본 개념부터 다양한 변형 모델과 응용 사례까지 모두 소개한다. 

[내용]

ㅇ BERT 시작하기

- 01장 트랜스포머 입문

- 02장 BERT 이해하기

- 03장 BERT 활용하기

ㅇ BERT 파생 모델

- 04장 BERT의 파생 모델 I: ALBERT, RoBERTa, ELECTRA, SpanBERT

- 05장 BERT 파생 모델 II: 지식 증류 기반

ㅇ BERT 적용하기

- 06장 텍스트 요약을 위한 BERTSUM 탐색

- 07장 다른 언어에 BERT 적용하기

- 08장 sentence-BERT 및 domain-BERT 살펴보기

- 09장 VideoBERT, BART

- 10장 한국어 언어 모델: KoBERT, KoGPT2, KoBART

[번역]

번역은 대체적으로 괜찮다. 

번역진이 BERT를 한국어에 적용해서 개발한 koBERT 개발자이기 때문에, 내용적인 번역 오류는 많지 않은 것으로 보인다. 

다만 한글 문장이 어색한 부분이 은근히 있고, 퀼리티가 좋은 챕터와 아닌 챕터가 나뉘는 느낌이 있다. 

문제는 원서에도 상당히 의아한 구조의 영문 문장이 상당히 있다는 것인데, 한국어 역자들도 이 책을 번역하면서 꽤 고생하셨을 것이라 본다.

[편집]

편집은 훌륭하고 깔끔하다. 

그런데 이 책은 원서에도 오/탈자가 상당히 많기로 유명하다. 

반드시 출판사인 한빛미디어의 홈페이지를 참고해서 오/탈자를 수정하고 읽는 편이 좋다. 

[결론]

이 책 원서의 제목은 "Getting Started with Google BERT" 이다. 

왠지 제목만 보면 쉬워보이지만, 원래 다루고 있는 주제가 만만치 않은 만큼 그다지 쉬운 책은 아니다. 

파이썬과 자연어처리 기본은 충분히 알고 있어야 제대로 이해해서 진행할 수 있다. 

내용은 전체적으로 BERT 자연어처리 논문이나 연관 모델의 구조와 사용법을 상세하게 설명해주는 느낌이다. 

자연어처리를 조금 더 자세하게 익히고 싶은 분들에게 추천한다. 

"한빛미디어 <나는 리뷰어다> 활동을 위해서 책을 제공받아 작성된 서평입니다."

‘BERT가 뭐지?’라는 막연한 호기심에 이 책을 읽게 되었다.
회사에서 일을 하다보면 자연어 처리에 관한 새로운 용어를 종종 듣곤 하는데 그 과정에서 BERT가 무엇인지, 트랜스포머가 무엇인지 궁금했다.
물론 책을 읽기 전에 예상했던 바와 같이, 책을 다 읽은 지금도 이제는 BERT의 작동원리를 완벽히 알고 있고, 원하는 결과를 단번에 이끌어낼 수 있을만큼 잘 다룰 수 있냐는 질문에는 단연코 아니라고 답할 것이다.
그것은 그만큼 이 책이 자세한 수식과 설명을 다루고 있고, 내가 책의 모든 내용을 이해하고 받아들일 만큼의 자연어처리에 대한 기초에 있어 부족하다는 것을 반증한다.

BERT는 Bidirectional Encoder Representations from Transformers로 구글이 만든 최신 임베딩 모델이다.
기존의 워드투 벡터는 단어 벡터 간의 유사도를 반영하는 것에 비해, BERT는 문장의 컨텍스트를 파악하기에 개선 효과가 분명한 자연어 처리 결과를 내놓는다.
또한 대규모 코퍼스를 사전학습한 모델을 사용하고, 새로운 태스크에 따라서 가중치를 조절하는 파인튜닝을 지원하기에 기존의 방식보다 더 적은 양의 데이터로 더 좋은 성능을 얻을 수 있다.

이 책에서는 아래의 내용에 대해 다루고 있다.

• transformer 모델
• BERT의 동작 방식
• BERT의 임베딩 추출 방법
• BERT의 파인 튜닝
• BERT의 파생모델 소개
• 다른 언어에 BERT 적용
• 한국어 언어 모델

내게 있어 이 책이 흥미로웠던 점은 아래와 같다.

• 트랜스포머의 원리 및 작동방식, BERT의 사전학습과 파인튜닝의 원리에 대해 상세한 서술

  • 개인적으로는 이미 세팅되어 있는 UI를 통해서만 학습을 시켜왔기 때문에, 그 내부의 원리가 궁금했는데 이 책을 통해 그 원리를 대략적으로라도 알 수 있어 좋았다.
    책이 무척 자세하게 서술되어 있기 때문에 자연어 처리에 대한 기초가 있다면 분명이 훨씬 더 높은 이해도로 내용을 이해하고, 실무에 적용할 수 있을 것이라고 생각된다.

• BERT의 파생 모델 소개

  • 파생모델 중 하나인 BART는 페이스북 AI에서 도입한 모델인데, 손상된 텍스트를 재구성해 학습하고 자연어 이해와 더불어 자연어 생성에서도 좋은 성능을 보유한다고 한다.
    BART 뿐만 아니라 다양한 파생 모델들의 원리에 대해 상세한 서술이 흥미로웠다.

• 한국어 언어 모델 소개

  • 컴퓨터과학의 거의 모든 개념들이 그러하듯이 자연어 처리 역시 영어를 기본으로 연구 및 개발이 이루어진다.
    따라서 평소 업무에서도 특정 기능을 지원하는 언어 목록에서 ‘한국어 미지원’은 꽤 자주 볼 수 있는 문구이다.
    이 책에서는 원서와는 달리 한국어 언어모델인 KoBERT, KoGPT2, KoBART 에 대한 내용이 추가되어 있다.
    각 모델의 설치 및 이용방법, 강점에 대해 다루고 있어서 연습 및 실무에 이용해보기 좋을 것 같다.

이 책은 시중에 판매되고 있는 책 중, 가장 자세히 BERT에 대해 다루고 있다. 또한 BERT가 자연어처리에 있어서 아주 중요한 모델인만큼, 자연어처리 및 BERT에 관심이 있다면 이 책을 읽어볼 것을 추천한다.

	

		NLP 영역을 잘 모르는 독자로서 이책을 접하면서 트랜스포머가 뭔지, BERT 아키텍처는 뭔지... 이책을 통해서 어렴풋이 알게 되었다. 
	
	

		트랜스포머의 양방향 인코더 표현(BERT)는 좋은 성능으로 자연어 처리 세계에 혁명을 일으켰다고 한다. 
	
	

		BERT를 통해서 NLP에도 인공지능 기술이 접목되는 계기라는 것에 큰 의미가 있다고 생각된다. 
	

"한빛미디어 <나는 리뷰어다> 활동을 위해서 책을 제공받아 작성된 서평입니다."

자연어처리 분야는 정말 쓰임새가 많은 task이다. 우리가 실생활에 쓰이는 것들이 다 자연어이기 때문에 굉장히 많이 쓰이는데, 기술로 구현하기는 굉장히 어려운 것은 사실이다. 글의 해석의 다양성 때문에 예측하기가 힘들어 모델을 잘 쓰는게 중요합니다.

최근 Transformer 기술이 자연어 처리 뿐만 아니라 분야를 가리지 않고, 많이 적용이 되고 있기 때문에 매우 유용한 책이라 생각합니다.

"Transformer 기술에 관심이 있거나 적용하실 예정인 초심자분들은 꼭 읽어 보셨으면 하는 책"입니다. 하지만 NLP와 딥러닝에 대한 기본적인 이해는 필요합니다!

자연어 처리에 대해서 기초적인 공부를 한 다음에 bert라는 관심이 생기신다면 보시면 좋은 책입니다.

Transformer와 bert를 쉽고 예시를 통해 설명이 쓰여 있어 이해하기 좋았습니다.

특히 각 용어들에 대한 설명들이 꼼꼼하게 되어 있어 초심자 분들에게 적합한 책입니다.

논문을 보게 된다면 굉장히 어려운 부분들이 많을 거라 생각이 되었는데, 수식과 네트워크를 봐도

동작방식을 파악하기는 어렵다고 생각이 됩니다. 하지만 이 책은 동작방식을 파악하기 쉽고 이해하기 쉬워서 언제든지 꺼내보면서 읽으면 좋을 책이라 생각합니다.

한국어 언어 모델인 KOBERT,KoGPT2,KoBart에 대해서 정리해서 설명이 되어있어 BERT를 중심으로 체계적인 정리를 정말 잘해 놓는 교과서라고 생각이 되었습니다.

BERT를 활용하여 여러가지 모델이 발전됨으로써 BERT를 이해하거나, 복습처럼 봐도 좋겠다는 생각이 들었습니다.

한빛미디어 ‘나는 리뷰어다’ 활동을 위해서 책을 제공받아 작성된 서평입니다.

0. 소개Permalink

2012년에 CNN 구조를 사용한 AlexNet이 ImageNet에서 지난 대회 우승 Model보다 압도적인 성능으로 우승을 차지하면서 Deep Learning에 대한 관심은 비약적으로 높아졌습니다.

그 이후로 Image 분야에 Deep Learning을 응용하는 분야는 비교적(?) 접근이 쉽고 이해하기 쉬운 CNN구조를 바탕으로 널리 보급되고 누구나 쉽게 사용할 수 있었습니다.

하지만, NLP(Natural Language Processing)분야는 상대적으로 접근이 어려웠고 실제 업무 / 제품에 응요하기가 용이하지 않다는 분위기가 팽배했습니다.

NLP 초창기에는 다양한 기법(말뭉치 , Wordvec, Word Embedding , RNN , LSTM…)들에 대한 기본적인 상식이 풍부해야 이 분야에 대해서 어느 정도 이해를 할 수 있었습니다.

하지만, Image 분야에 혁신을 이끌어준 CNN이 있었던것과 같이, 2018년에는 NLP 분야에 혁신을 이끌어준 BERT(Bidirectional Encoder Representations from Transformers)가 Google에 의해서 세상에 나오게 됩니다.

이후 BERT는 NLP 분야의 모든 영역에서 기존 Model의 성능을 압도해 버리며, 다양한 파생 분야에서도 훌륭한 성능을 나타나게 됩니다.

BERT는 한마디로 Transformer 구조를 Encoding에 적용한 Language Model입니다. ( Transformer 구조를 Decoding 분야에 적용한 Language Model이 GPT이죠)

검색해 보면 매우 다양한 BERT 파생 Model에 대한 정보가 있지만, 각 분야에 어떤 방식으로 응용이 되었고 실제로 어떻게 사용하는지에 대해서는 일목 요연하게 Code와 함께 설명해 놓은 책이 사실상 없었습니다.

이 책은 BERT의 기본인 Transformer의 기본적인 Architecture부터 시작해서 BERT가 사전 학습되는 방법과 더불어 BERT를 Fine-Tuning하여 다양한 Task에 활용하는 방법까지 설명합니다.

또한, 매우 다양한 BERT 변형 Model에 대해서 설명하고, 마지막으로 한국어 BERT의 소개 및 활용 방안까지 다루며 마무리 됩니다.

BERT를 이용한 연구 분야와 활용 분야를 하나의 책을 엮은 유일한 전문서적이며, NLP에 관심이 있는 그 누구나 쉽게 BERT를 활용해 NLP 연구를 시작할 수 있는 디딤돌 역할을 할 것이라고 생각합니다.

1. 구성Permalink

1장

BERT의 기본인 Transformer에 대해서 자세히 설명합니다. Transformer가 어떻게 동작하는지에 대해서 구체적으로 설명하고 기존 방식에 비해서 어떻게 다르며 어떤 점이 향상되었는지 살펴봅니다.

2장

BERT의 구조를 알아보았으니, 이제는 BERT를 어떻게 Train 시키는지에 대해서 알아봅니다. 어떤 Dataset을 사용하였는지, MLM(Masked Language Modeling) / NSP(Next Sentence Prediction)이 실제로 BERT를 학습시키는 방법에 대해서 구체적으로 알게됩니다. 그리고, NLP Model에 많이 사용되는 몇 가지 Tokenization 방식들에 대해서도 살펴봅니다.

3장

이번 장에서는 사전 학습된 BERT를 가지고 실제로 어떤 분야에 어떻게 사용하는지에 대해서 알아봅니다. 기본적으로 Sentence의 Embedding을 추출하는 방법, Quesntion-Answer, Text Classification 등을 어떻게 수행하는지에 대해서 알아봅니다.

4장

BERT는 매우 다양한 파생 Model이 존재하는데, 그 중에서도 많이 사용되는 몇 가지 파생 Model(ALBERT / RoBERTa , ELECTRA , SpanBERT)에 대해서 알아봅니다. BERT와 어떤 점이 달라졌으며 어떤 용도에 주로 사용되는지 등에 대해서 다루게 됩니다.

5장

지식 증류(Distillation) 기반의 BERT Model인 DistilBERT / TinyBERT에 대해서 다룹니다. Distillation 기법은 한 마디로 Model의 압축입니다. 덩치가 큰 BERT Model을 거의 같은 성능을 내면서도 작고 빠른 Model로 변환하는 방법에 대해서 알아봅니다.

6장

text summarization에 BERT를 사용해 봅니다. 참고로 text summarization에는 크게 extractive 방식과 abstractive 방식이 있는데 이에 대해서도 알아봅니다.

7장

multilingual BERT에 대해서 알아봅니다. BERT는 영어뿐만 아니라 매우 다양한 언어 Model도 지원해 주는데 이를 이용하는 방법에 대해서 알아봅니다. 유감스럽게도 한국어도 multilingual BERT에 포함되어 있지만, 성능이 썩 좋지는 않다고 하네요.

8장 문장 표현에 사용되는 Sentence BERT와 특정 Domain에 특화된 ClinicalBERT / BioBERT도 알아봅니다.

9장

VideoBERT , BART등과 같은 흥미로운 주제들에 대해서 알아봅니다. 이런 Model들이 어떤 일을 할 수 있는지 알아보는 것보다 개인적으로 이런 Model들을 Train 시키는 방법이 더욱 흥미로웠습니다.

10장

마지막으로, 앞에서 잠깐 말씀렸듯이 multilingual BERT에 포함된 한국어 BERT는 성능이 좋지 않습니다. 하지만, SK에서 공개한 한국어 언어 Model BERT인 KoBERT , KoGPT2 , KoBART등에 대해서 알아보고 실제 사용법에 대해서도 알아봅니다.

1. 대상독자Permalink

Deep Learning에 대한 기본적인 이해도 했고, Image 분류 등과 같은 Image에 Deep Learning을 적용하는 다양한 시도도 해 본 상태에서, 이제 자연어 처리도 한 번 해 보고는 싶은데 NLP는 뭔가 Image와 많이 달라서 고통받고 있는 분들에게 이 책을 권하고 싶습니다.

물론 NLP , Transformer에 대해서 이해하기 위해서는 NLP 분야에 대한 기본적인 지식은 가지고 있어야 합니다.

주위에서 현재 NLP의 SOTA는 BERT라고들 하지만 처음부터 무지막지한 수식 및 어려운 개념들에 치여서 포기해버린 기억이 있거나 혹은 당장 NLP 관련 업무를 진행해야 하는데 뭐부터 해야 할지 막막한 분들에게도 좋은 출발점이 될 수 있을거라고 믿습니다.

인공지능은 연일화두다. 인공지능을 논하지 않는 산업이 없고, 인공지능을이용한 다양한 어플리케이션들은 하루가 다르게 우리 생활을 바꾸어가고 있다. 이전에는 미래 사회를 다룬영화에서나 볼 법한 일들이 현실이 되어 나타나고 있다. 키보드나 마우스로 컴퓨터를 제어할 필요없이, 대화로 의사소통이 가능한 시대가 벌써 성큼 다가온 듯 하다.

자연어 처리 (NLP: Natural Language Processing)는 인공지능의 오랜 연구분야 중의 하나이다. 그동안은 컴퓨터를 활용하기 위해서는 인간이 컴퓨터의 언어를 익혀야 했다. 하지만자연어 처리 분야가 발전하면서 인간의 언어로 컴퓨터와 소통하는 것이 점차 가능해지고 있다. 2018년등장한 BERT는 자연어 처리 분야에서도 인공지능 기술을 적용할 수 있다는 가능성을 보여주었고, 다양한 시도를 통해 엄청난 발전을 이루어내고 있다. BERT에 도입된트랜스포머 모델은 자연어 처리 분야를 넘어 다른 분야에서도 활용되고 있다.

‘구글 BERT의 정석’은BERT를 기반으로 자연어 처리 어플리케이션을 구축하고자 하는 전문가 및 데이터 과학자를 위한 기본서로, BERT를 중심으로 사전 학습된 언어 모델에 대한 기본 개념을 소개하고 응용 예를 제시하고 있다. 또한 ALBERT, RoBERTa 와 같은 BERT의 다양한 파생 모델을 다룬다.

이 책은 크게‘BERT 시작하기’,’BERT 파생 모델’,’BERT 적용하기’의 3개파트로 구성되어 있다. 첫번째 파트인 ‘BERT 시작하기’에서는 트랜스포머 기술에 대해 소개하고, 이를 바탕으로 BERT를 이해하고 활용하는 방법에 대해 다룬다. 두번째 ‘BERT 파생모델’에서는 ALBERT,RoBERTa, ELECTRA,SpanBERT 등 BERT의 다양한 파생 모델 및 지식증류에 대해서 자세히 소개한다. 마지막 세번째 파트인 ‘BERT 적용하기’에서는 텍스트 요약을 위한 BERTSUM 모델, 다른 여러 언어별 BERT, Sentence-BERT,Domain-BERT, VideoBERT, BART에 대해 살펴보고, 한국어 언어모델인KoBERT, KoGPT2, KoBART를 사용하는 방법에 대해 다루고 있다. 각 장에는 직접 실습을 할 수 있는 다양한 예제를 제시함으로써 개념 이해를 돕고 있다.

이 책은 BERT에 관심이 있는 자연어처리 전문가 및 데이터 과학자에게 추천하며, 이 책의 내용을효과적으로 활요하기 위해서는 NLP의 개념과 딥러닝에대한 기본적인 이해가 필수적이다.

**한빛미디어 <나는 리뷰어다> 활동을 위해서 책을 제공받아 작성된 서평입니다.

#BERT #버트 #인공지능 #자연어 #트랜스포머 #언어모델 #BERT변형 #KoBERT #BioBERT #RoBERTa #ALBERT

그동안 딥러닝 자연어 공부를 하면서 트랜스포머를 중심으로 BERT로, 그다음에는 BERT의 파생 모델로 계속 공부를 이어나갔다. 하지만 생각보다 어떤 순서로 공부해야 할지 막막했고, 하나하나의 내용도 어렵다 보니 정리가 되지 않았다. 

이런 상황에서 이 책은 정말 핵심 개념을 깔끔하게 정리해 준 트랜스포머와 BERT의 교과서가 아닌가 생각된다. 

아마, 목차를 보시면 얼마나 체계적으로 기초 개념부터 정리해 주고 있는지 바로 확인할 수 있을 것이다. 

우선, 첫 장에는 BERT에 적용된 기본 아키텍처인 트랜스포머에 대해서 정말 상세하고 이해하기 쉽게 설명해 주고 있다.

이렇게 트랜스포머에 대한 개념을 쌓은 후에 2장에서 BERT의 기본 동작 방식을 설명해 준다.

3장에서는 BERT를 활용하기 위해서 사전 학습된 BERT에서 임베딩을 추출하는 방법과 다운스트림 태스크를 위한 BERT 파인 튜닝 방법을 정리해 준다.

이렇게 파트 1에서는 BERT의 원조인 트랜스포머, BERT의 기본 개념 및 활용 방법에 대해서 기초를 다져준다. 

파트 2에서는 BERT의 다양한 파생모델에 대해서 2가지 종류로 정리해서 설명해 주고 있다. 4장에서는 가장 많이 인용되고 있는 ALBERT, RoBERTa, ELECTRA, SpanBERT 4가지 모델에 대해서 각각의 특장점을 잘 분석해 준다. 

5장에서는 적은 리소스에서도 탁월한 성능을 보여 주는 지식 증류 알고리즘에 대해서 설명한다. 그리고, 가장 많이 활용되고 있는 DistilBERT와 TinyBERT에 대해서 소개해 주고 있다. 

파트 3에서는 BERT를 다양하게 활용하는 사례와 대표 알고리즘을 보여준다. 6장에서는 텍스트 요약을 위한 BERTSUM에 대해서 설명해 주고, 7장에서는 다국어 표현을 위한 M-BERT와 XLM의 작동 원리를 정리해준다. 

8장에서는 sentence-BERT로 문장 표현 배우는 방법과 지식 증류를 이용한 다국어 임베딩 학습방법으로 domain-BERT에 대해서 자세하게 설명해 주고 있다. 

9장에서는 VideoBERT로 언어 및 비디오 표현 학습을 하는 방버을 설명해 주고, 페이스북 AI에서 도입한 흥미로운 모델인 BART를 정리해준다. 

마지막 장인 10장에서는 대표적인 한국어 언어 모델인 KoBERT, KoGPT2, KoBART에 대해서 정리해서 설명해 주고 있다. 

아마, 목차만 흝어보더라도 BERT를 중심으로 체계적으로 정리를 정말 잘해 놓은 교과서라는 생각이 들 것이다. 특히, 매 장 마무리에서 연습 문제를 내어서, 각 장에서 명확하게 정리해서 이해해야 하는 개념들을 스스로 정리하게 한다. 

책의 마지막 부록 부분에 각 장의 연습 문제에 정답을 정리해 놓았는데, 이 부분을 명확하게 자신의 언어로 표현할 수 있도록 숙달시켜 놓는다면 딥러닝 자연어를 본인의 전공분야로 커리어를 쌓으려는 분들에게는 교과서 같은 도움을 줄 수 있을 것이라고 생각된다. 

그동안에 트랜스포머와 BERT를 제대로 이해하기 위해서 정말 많은 시간과 노력을 들였는데, 이 책을 보면서 이렇게 일목요연하게 정리된 것을 보면서 다시 한번 그동안 공부한 것들을 돌아볼 수 있었고, 비어있었던 부분을 발견할 수 있어서 매우 유익했다. 

이제 딥러닝 자연어에 입문하려는 분들에게는 트랜스포머를 중심으로 BERT에 대해서 완벽하게 꿰뚫어 보고, 자신의 것으로 만들 수 있도록 도움을 주는 최고의 교과서라고 생각된다. 

[PART I BERT 시작하기]

CHAPTER 1 트랜스포머 입문

1.1 트랜스포머 소개
1.2 트랜스포머의 인코더 이해하기
1.3 트랜스포머 디코더 이해하기
1.4 인코더와 디코더 결합
1.5 트랜스포머 학습
1.6 마치며
1.7 연습 문제
1.8 보충 자료

CHAPTER 2 BERT 이해하기

2.1 BERT 기본 개념
2.2 BERT의 동작 방식
2.3 BERT의 구조
2.4 BERT 사전 학습
2.5 하위 단위 토큰화 알고리즘
2.6 마치며
2.7 연습 문제
2.8 보충 자료

CHAPTER 3 BERT 활용하기

3.1 사전 학습된 BERT 모델 탐색
3.2 사전 학습된 BERT에서 임베딩을 추출하는 방법
3.3 BERT의 모든 인코더 레이어에서 임베딩을 추출하는 방법
3.4 다운스트림 태스크를 위한 BERT 파인 튜닝 방법
3.5 마치며
3.6 연습 문제
3.7 보충 자료

[PART II BERT 파생 모델]

CHAPTER 4 BERT의 파생 모델 I: ALBERT, RoBERTa, ELECTRA, SpanBERT

4.1 ALBERT
4.2 ALBERT에서 임베딩 추출
4.3 RoBERTa
4.4 ELECTRA 이해하기
4.5 SpanBERT로 스팬 예측
4.6 마치며
4.7 연습 문제
4.8 보충 자료

CHAPTER 5 BERT 파생 모델 II: 지식 증류 기반

5.1 지식 증류 소개
5.2 DistilBERT: BERT의 지식 증류 버전
5.3 TinyBERT 소개
5.4 BERT에서 신경망으로 지식 전달
5.5 마치며
5.6 연습 문제
5.7 보충 자료

[PART III BERT 적용하기]

CHAPTER 6 텍스트 요약을 위한 BERTSUM 탐색

6.1 텍스트 요약
6.2 텍스트 요약에 맞춘 BERT 파인 튜닝
6.3 ROUGE 평가 지표 이해하기
6.4 BERTSUM 모델의 성능
6.5 BERTSUM 모델 학습
6.6 마치며
6.7 연습 문제
6.8 보충 자료

CHAPTER 7 다른 언어에 BERT 적용하기

7.1 M-BERT 이해하기
7.2 M-BERT는 다국어 표현이 어떻게 가능한가?
7.3 XLM
7.4 XLM-R 이해하기
7.5 언어별 BERT
7.6 마치며
7.7 연습 문제
7.8 보충 자료

CHAPTER 8 sentence-BERT 및 domain-BERT 살펴보기

8.1 sentence-BERT로 문장 표현 배우기
8.2 sentence-transformers 라이브러리 탐색
8.3 지식 증류를 이용한 다국어 임베딩 학습
8.4 domain-BERT
8.5 마치며
8.6 연습 문제
8.7 보충 자료

CHAPTER 9 VideoBERT, BART

9.1 VideoBERT로 언어 및 비디오 표현 학습
9.2 BART 이해하기
9.3 BERT 라이브러리 탐색
9.4 마치며
9.5 연습 문제
9.6 보충 자료

CHAPTER 10 한국어 언어 모델: KoBERT, KoGPT2, KoBART

10.1 KoBERT
10.2 KoGPT2
10.3 KoBART

지난 5월 네이버의 검색 랭킹 알고리즘에 작은 변화가 있었습니다. 바로 사용자의 검색 의도를 파악하여 의도에 맞는 검색 결과를 보여준다는 것인데요, 여기에 바로 BERT가 활용됩니다. 기존의 자연어 처리와는 달리 BERT는 앞뒤 문맥을 활용하여 단어의 의미를 파악하기에 정확한 번역 결과를 보여줄 수 있습니다. 

책에서는 이 내용을 설명하기 위해 '그는 파이썬에게 물렸다' 와 '내가 좋아하는 프로그래밍 언어는 파이썬이다'라는 두 문장을 소개합니다. BERT는 문맥상 의미를 이해하기 위해 각 단어를 다른 단어들과 연결시켜 이해하게 되는데요, 첫 문장에서는 '파이썬' 이라는 단어와 '물렸다' 라는 단어의 연결 관계를 통해 파이썬이 뱀이라는 것을 파악하고, 두 번째 문장에서는 프로그래밍 이라는 단어와 함께 사용되고 있으므로 프로그래밍 언어를 의미한다는 것을 파악하게 됩니다. 이것이 바로 문맥을 파악하여 번역하는 BERT입니다. 같은 방법으로 네이버에서도 사용자가 '상하이'를 검색했을 때 중국의 지역 이름인 상하이를 의미하는지, 중국음식점 '상하이'를 의미하는지를 파악하여 최대한 그 의도에 맞는 검색 결과를 보여준다는 것입니다. BERT는 이미 다양한 자연어처리 애플리케이션에서 활용되고 있으며, 많은 BERT 파생 모델이 개발되었고, 자연어 처리 영역에서도 인공지능 기술을 적용할 수 있다는 가능성을 보여주는 계기가 되었습니다.

이 책은 BERT를 정확하게 이해하기 위해 트랜스포머 모델에 대해 먼저 자세히 설명하고, 이어서 마스크 언어 모델링(MLM)과 다음 문장 예측(NSP) 태스크를 사용해 BERT 모델을 사전 학습 시키는 방법, 사전 학습된 BERT 모델을 사용하는 방법 등을 설명하고 있습니다. 또한 영어가 아닌 다른 언어에 BERT를 적용하는 방법과 한국어 언어 모델인 KoBERT, KoGPT2, KoBART 의 사용방법을 다루고 있습니다. 또한 예제를 통해 영화 리뷰를 분석하거나, 챗봇을 생성하고 문서를 요약하는 작업을 직접 따라해볼 수도 있어 유익합니다. 그리고 영상과 언어의 표현을 동시에 배우는 VideoBERT에 대해서도 설명하고 있습니다. 자연어 처리 전문가와 데이터 과학자를 위한 책이므로 일반인이 읽기에는 상당한 어려움이 있지만, 모든 식을 직접 풀어나가려는 욕심을 버린다면 오히려 자연어 처리에 대해 더 정확하게 이해할 수 있는 책이기도 합니다.

BERT는 트랜스포머 모델의 양방향 인코더 표현으로 먼저 트랜스포머 모델에 대한 이해가 중요합니다. 이 책에서는 매우 상세하게 트랜스포머 모델에 대하여 설명하고 있는데요, 간단한 문장의 번역 과정을 통해 트랜스포머가 어떻게 동작하는지 이해할 수 있습니다.

예를 들어 A dog ate the food because it was hungry. 라는 문장에서 it이 의미하는 단어가 무엇인지 파악하는 과정이 중요합니다. it의 의미를 파악하기 위해 각 단어의 표현들은 문장 안에 있는 다른 모든 단어의 표현과 연결하여 의미를 이해하게 됩니다. 이 때 인코더 안에 포함된 셀프 어텐션이 단어와의 연결 작업을 수행하는데 각 단어에 대한 벡터값을 추출하고 이 값들의 행렬 계산을 통해 연관성을 파악하는 것입니다. 그런데 의미가 맞지 않은 단어의 벡터값이 높을 경우에는 문장의 의미가 잘못 해석될 수 있겠지요? 그래서 어텐션 결과의 정확도를 높이기 위해 멀티 헤드 어텐션을 사용하고 그 결괏값을 더하는 형태로 진행을 합니다. 이 내용을 설명하는 동안 벡터값들로 이루어진 행렬, 행렬 계산, 그리고 위치 정보를 파악하기 위한 사인 함수와 코사인함수 등이 등장하기도 하는데요, 대부분의 자연어 처리 책의 설명이 코딩 과정에 집중되어 있어 이렇게 자세하게 원리를 설명해주지 않았기 때문에 이 부분이 더 고맙고 재미있게 느껴졌습니다.

매 단원이 끝나면 연습 문제를 통해 단원의 내용을 정리할 수도 있고, 더 자세한 내용을 알고 싶다면 책에 소개된 보충 자료를 참고할 수도 있습니다.

본격적인 BERT의 원리와 활용법을 배울 때는 코드를 따라하며 익힐 수 있습니다.

전체적으로 책의 구성이 매우 알차다는 느낌입니다. 요즘 매우 중요해지는 자연어 처리, 그 중에서도 가장 핫하다는 BERT를 이렇게 자세히 설명한 책도 없지만, BERT 이전에 자연어 처리의 트랜스포머 모델에 대해 자세히 배울 수도 있었고 그 원리를 이해할 수 있어서 정말 좋았고, 다양한 활용방법을 익힐 수 있어 좋았습니다. 또한 내용은 어렵지만 책의 구성이 답답하지 않아 좋습니다. 또한 역자의 자세한 주석이 공부하는데 많은 도움을 줍니다. 자연어 처리를 다루시는 분이라면 꼭 읽어야 할 책입니다.

"한빛미디어 <나는 리뷰어다> 활동을 위해서 책을 제공받아 작성된 서평입니다."

자연어처리 분야에서 트랜스포머의 BERT는 굉장히 핫한 모델 중 하나이다. 유명세와 다르게 아직 국내에서는 BERT를 다룬 서적은 찾아볼 수 없었다.  그러던 중 이번 11월 한빛미디어에서 국내 최초로 BERT 번역서를 출간하였다.

transformer는 기존에 존재하던 RNN , LSTM의 장기 의존성 문제를 해결하는 훨씬 더 좋은 성능을 자랑하는 모델이다. 해당 아키텍쳐의 출현으로 인해 BERT, GPT 등 혁신적인 모델들이 등장하면서 NLP 분야가 더 발전할 수 있는 계기가 되었다. 

transformer의 아키텍쳐를 이해하기 위해서는 'attention'의 개념이 중요하게 작용한다. 실제로 transformer를 발표한 논문의 이름 역시, 'Attention Is All You Need' . 졸업 논문 작성을 위해 GPT 모델을 찾아보던 중 transformer를 마주치게 되었는데 attention과 encoder, decoder 등 낯선 개념들로 인해 며칠을 헤맸던 기억이 난다. ;;; 구글링을 해보면 transformer, BERT 를 다룬 블로그, 강의들이 많이 등장하지만, 수박겉핥기식 설명이나 단순 튜토리얼 포스팅이 대다수였다. 

<구글 BERT의 정석>은 transformer에서 시작해 BERT의 원리, 활용 , 파생모델, 한국어 모델 등 BERT를 공부할 때 알아야하는 전반적인 내용들을 담고 있다. 동작방식을 설명할 때 수식과 그래프를 이용해 독자의 이해를 높여주려는 지은이의 수고로움이 느껴졌다. 실제로 모델을 활용할 수 있게 예제 코드도 같이 제공하고 있다. 

BERT를 공부하면서 가장 어렵다고 느껴졌던 부분은 아무래도 수식이 많이 등장하는 동작원리에 대한 부분이었는데 이 책에서는 이런 내 마음이 알았는지 동작 원리 및 방식에 대해 자세하게 설명을 해주고 있다. (원리설명 부분만해도 책의 절반 정도를 차지한다. )

이 책이 정말 괜찮다고 느껴졌던 점은, BERT계열의 파생모델과 이외 한국어 언어모델(KoBERT , KoGPT2, KoBART) 에 대한 설명 및 코드 활용 부분이었다. 이 책 한 권으로 다양한 모델들을 많이 접해볼 수 있다는게 가장 큰 매력으로 다가왔다.  한국어 언어모델 말고도 다른 언어(독일어, 중국어, 프랑스어 등등)의 BERT 모델도 같이 실려있어 외국의 BERT 모델이 궁금한 사람들에게도 좋은 책이 될 것 같다.

책의 전체적인 내용은 친절하고 자세한 설명으로 독자의 이해를 도와주고 있지만, 초보자가 보기엔 난이도가 있고, 더 전문적인 느낌이 강하다. 실제 자연어 처리 분야에 일을 하고 있는 실무자나 선수 지식을 보유하고 있는 사람들에게는 더할나위없이 추천하고 싶은 책이다. 

한빛미디어 <나는 리뷰어다> 활동을 위해서 책을 제공받아 작성된 서평입니다.

출처: https://growingarchive.tistory.com/228 [growing archive]

한빛미디어의 제공으로 구글 BERT의 정석 이라는 신간을 읽어보게 되었다.

책에 대한 제 생각을 한마디로 해보자면, 트랜스포머와 버트 구조에 관심 있는 초심자분들께서 꼭 읽어보셨으면 하는 책" 이다.

요즘 트랜스포머 구조가 자연어처리를 벗어나서, 이미지, 음성과 같은 다양한 분야에서도 사용되고 있기 때문에, 책의 독자층도 단순하게 자연어처리에 관심이 있는 분으로 한정되지도 않는다.

시중에 나와있는 많은 자연어처리 책들을 읽었는데, 이 책에 실려있는 트랜스포머와 버트의 설명이 가장 쉽게, 좋은 예시와 설명으로 쓰여 있었다. 

위의 설명을 보면, 각 행렬들의 예시를 실제 값으로 채워넣고 그 값들이 어떻게 변하는지와, 각 용어들에 대한 설명들이 꼼꼼하게 들어가있다.

책의 구성 또한 옹골차다고 느껴진 것이. 기본 개념 이해와 알고리즘(트랜스포머, 버트) 동작 설명 후에 버트를 어떻게 finetuning해야하는지에 대한 내용이 들어가있다. 이 내용이 PART1 의 내용이고, 그 다음의 PART2,3는 버트의 파생방식들에 대해 다루는데, 모든 파생방식을 설명하진 않고, 꼭 필요하다고 생각되는 Roberta, Albert, Electra, Spanbert, 경량화 기법을 다룬다. 또한 PART 3 끝자락에 한국어 모델의 사용법도 설명해주고 있다.

책에 쓰여있는 문체와 단어들도 간단하게 쓰여있었어서 읽기도 쉬웠다. 

​

안녕하세요 괴짜 개발자 namedboy 입니다. 

인공지능을 공부하다 보면 자연어 처리에 대해 한번쯤 관심을 가지게 됩니다. 딥러닝을 이용한 자연어 처리에는 워드투벡터, 글로브가 많이 이용되는데 BERT 역시 이러한 임베딩 방법중 한가지이다.

책에서는 BERT를 이해하기 위해서 필요한 내용 그리고 그 이전에 자연어 처리 모델에 대한 내용을 먼저 다루고 실질적인 BERT가 동작하는 방식을 다루며 독자가 좀 더 쉽게 이해할 수 있도록 했다.

뮬론 기본적인 딥러닝의 개념에 대해서 모른다면 다른 딥러닝의 이해를 돕는 기본 책들을 먼저 찾아보고 읽어본 후에 이 책을 읽기를 권한다.

이 책에서는 기본적으로 딥러닝이 어떤식으로 동작하는지에 대한 이해가 뒷받침 된 상태에서 읽는 것을 전제로 하고 있다.

책의 초반에 대상독자에 대해서 소개하는데 이미 머신러닝 업무를 수행하고 있는 사람이나 BERT를 기반으로 NLP 업무를 하고자 하는 사람들이 적합하다고 서술하고 있다.

딥러닝에 대해 알지 못한다면 어려울 것으로 생각될만큼 일반적인 내용보다는 BERT를 동작 시키기 위해 필요하거나 좀 더 BERT에 대해 집중적으로 설명하고 있다.

기본 이해가 있는 사람들에게는 BERT를 쓰기 위해 필요한 기본적인 내용과 활용할 수 있도록 충분한 내용을 다루고 있기에 BERT를 사용하여 NLP를 구축하는데는 많은 도움이 될꺼라 생각된다.

추가적으로 한국어 언어 모델인 KoBERT, KoGPT2, KoBART에 대해서도 다루고 있어 단순히 BERT를 사용해 NLP 처리가 아니라 한국어 언어에 대한 처리를 하기 위해서도 도움이 될만한 부분이 책의 한 챕터로 구성되어 있다.

구글 BERT 외에도 다른 자연어 처리 모델도 있는데 앞으로도 계속 발전해 나가는 영역인 만큼 NLP 처리 모델 중 한가지인 BERT도 한번 살펴보면 좋겠다는 생각이 든다.

이 리뷰 내용은 한빛미디어 <나는 리뷰어다> 활동을 위해서 책을 제공받아 작성된 서평입니다.

책의 내용이 궁금하다면 이곳을 통해 확인할 수 있다.

​

https://www.hanbit.co.kr/store/books/look.php?p_code=B2201215526

구글 BERT는 2019년 10월에 최신 알고리즘 업데이트 BERT(Bidirectional Encoder Representations from Transformers)를 발표했습니다. 이는 최근 5년간 구글의 가장 큰 변화라고 지칭할 정도입니다. 구글은 BERT 모델 도입을 통해 그 어느 때보다도 사용자들의 검색 의도를 잘 이해할 수 있을 것입니다.

BERT는 검색 문장의 단어를 입력된 순서대로 하나씩 처리하는 것이 아니라 한 문장의 모든 단어의 연관성을 이해하며 검색 문장을 처리하는 모델입니다. 그러므로 BERT는 검색 문장의 전체적인 맥락을 고려하기 때문에 검색 문장에 담겨있는 사용자의 진짜 의도를 이해하는 능력이 뛰어납니다. BERT 알고리즘은 자연어 처리와 관련된 딥 러닝 알고리즘입니다. 기계가 문장의 단어가 의미하는 바를 이해하는 데 도움이 됩니다. 

알고리즘이 자체적으로 대략의 데이터를 스스로 읽고 학습하는 방식으로 단어의 문맥, 관계 등을 판단하고 예측하는 자연어 처리 언어 모델에 대해 자세하게 담고 있는 구글 BERT의 정석을 소개합니다.

인간보다 언어를 더 잘 이해하고 구현하는 고성능 AI 언어 모델 BERT에 대한 내용을 담고 있는 구글 BERT의 정석은 인공지능, 자연어 처리를 위한 모든 것을 알려줍니다. 가장 먼저 사전 학습을 개선하여 성능을 향상하는 ALBERT, BART, SpanBERTa, RoBERTa, VideoBERT와 같은 BERT 변형 모델을 간단한 언어로 잘 풀어서 친절하게 설명합니다.

다음으로 BioBERT 및 ClinicalBERT와 특정 도메인에 해당하는 BERT 모델을 배우고, BERT의 재미있는 변형 모델인 VideoBERT도 살펴볼 수 있습니다. 그리고 이 책의 가장 매력적인 부분은 본문 맨 뒤에는 한국어에 잘 동작하는 한국어 언어 모델 KoBERT, KoGPT2, KoBART를 추가 집필되어 있는데요. 책의 순서대로 따라 모든 학습을 마치고 나면, BERT와 변형 모델을 활용해 여러 자연어 처리 태스크를 수월하게 처리할 수 있을 것입니다.

PART1에서는 BERT 시작하기로 트랜스포머 입문, BERT 이해하기, BERT 활용하기 통해 기초적인 부분에 대해 배울 수 있는데요. 1장은 트랜스포머 모델에 대해 자세히 설명합니다. 트랜스포머의 인코더와 디코더의 구성요소를 자세히 살펴보면서 어떻게 작동하는지 배울 수 있습니다.

2장 마스크 언어 모델링(MLM)과 다음 문장 예측(NSP) 태스크를 사용해 BERT 모델을 사전 학습시키는 방법을 설명합니다. BERT 모델 자체를 이해하고, 하위 단어 토큰화 알고리즘에 대한 내용을 배울 수 있습니다.

3장 사전 학습된 BERT 모델을 사용하는 방법을 설명합니다. 사전 학습된 BERT 모델을 사용해 문맥을 고려한 단어 및 문장 임베딩을 추출하는 방법을 익힐 수 있습니다. 그리고 질문 응답, 텍스트 분류 등과 같은 다운 스트림 태스크에 맞춰 사전 학습된 BERT를 파인튜닝하는 방법에 대해 담고 있습니다.

PART 2에서는 BERT 파생 모델인 ALBERT, RoBERTa, ELECTRA, SpanBERT, 지식 증류 기반 종류에 대해 알아 볼 수 있습니다.

PART 3는 BERT 적용하기로 텍스트 요약을 위한 BERTSUM 탐색, 다른 언어에 BERT 적용하기, sentence-BERT 및 domain-BERT 살펴보기, VideoBERT, BART, 한국어 언어 모델인 KoBERT, KoGPT2, KoBART 등에 대해서 배울 수 있습니다.

자연어 처리에 대해 익힐 수 있는 책은 많이 있는데요. BERT의 알고리즘을 통해 큰 텍스트 본문에 사용할 수 있는 자연어 처리 사전 훈련 방식을 궁금한 독자분들에게 구글 BERT의 정석 책을 추천합니다.

구글 BERT의 정석의 핵심은 당신이 알아야 할 BERT의 모든 것을 다루며, BERT의 기본 개념부터 다양한 변형 모델과 응용 사례까지 모두 담고 있습니다. 그리고 원서에 없는 친절하고 상세한 역자 주석으로 부족함 없이 가득 채워져 있는데요. 구글 BERT 자연어 처리 실력 향상을 위해 연습 문제와 해답을 제공하고 있습니다.

이 책은 자연어 응용 분야에서 상당한 성능 향상을 이뤄 주목받고 있는 BERT 모델을 기초부터 다양한 변형 모델, 응용 사례까지 한 권으로 담은 실무 지침서입니다.

책의 예제 소스 코드는 저자의 깃허브에서 다운로드 할 수 있습니다.

https://github.com/packtpublishing/getting-started-with-google-bert

"한빛미디어 <나는 리뷰어다> 활동을 위해서 책을 제공받아 작성된 서평입니다."

[나의 한줄 추천사]

BERT 라이브러리 써봤는데, 동작방식이 궁금하다. 나만의 "BERT" 모델을 만들고 싶을때 이 책을 보라

​

[책 추천 이유]

자연어처리(NLP)를 공부하다 보면 무조건 1번 이상은 보게 되는 "BERT" 에 대해서 하나씩 짚어보면서 이해할 수 있도록 설명 해주고 있다. 그리고 연습문제를 하나씩 풀어보면서 머리속에서 정리가 되어서 더 좋다. 필요할때, 막힐때 꺼내보면 좋은 책이다.

​

[내가 찾고자 했던 질문들]

1. BERT 동작 방식은?

- MLM (Mask Language Model) : 자동 인코딩 모델로, 예측을 위해 문장을 양방향으로 읽는다. 주어진 입력 문장에서 전체 단어의 15%를 무작위로 마스킹하고 마스크된 단어를 예측하도록 모델을 학습시킨다. 마스크된 단어를 예측하기 위해서 모델은 양방향으로 문장을 읽고 마스크된 단어를 예측하려 시도한다.

- NSP (Next Sentence Prediction) : 다음 문장 예측은 이진 분류 테스트다. BERT에 두문장을 입력하고 두번째 문장이 첫번째 문장의 다음 문장인지 예측하려 시도한다.

​

2.BERT 종류 및 활용은?

- BERT light 버전 : ALBERT

- BERT 효율적 사용 버전 : RoBERTa, ELECTRA,

- 질문-응답, 관계 추출 : SpanBERT

- 지식증류 방식

(1) 대형 BERT -> 소형 BERT 지식이 이전되는 '교사 - 학생' 새로운 모델 생성됨 (DistilBERT)

(2) 대형 BERT -> 다양한 데이터 증식(data augmentation) 새로운 모델 생성됨 (TinyBERT)

- 두 문장 유사도 계산 : Sentence-BERT

- domain-BERT

(1) 대규모 생물 의학 코퍼스 사전학습 (BioBERT) : 생물의학 질의 응답, 개체명 인식(NER)

(2) 임상문서 사전학습 (ClinicalBERT) : 재입원 예측, 체류 기간, 사망 위험 추정, 진단 예측

- 영상과 언어 동시에 학습 : VideoBERT

​

3. 한국어 BERT는?

- 한국어 위키피디아 약 500만개 문장과 5,400만개 단어 학습으로 좋은 성과를 내고 있음 : KoBERT, KoGPT2, KoBART

​

4.참고할 만한 소스 코드는?

- 원서인 Packt 출판사에서 아래의 깃헙 제공하고 있다.

https://github.com/packtpublishing/getting-started-with-google-bert

​

"한빛미디어 <나는 리뷰어다> 활동을 위해서 책을 제공받아 작성된 서평입니다."

"한빛미디어 <나는 리뷰어다> 활동을 위해서 책을 제공받아 작성된 서평입니다."

구글, 자연어 두개의 키워드와 함께 이번에 읽을 책으로 픽한 책이다.

대학원 전공이 자연어 처리다 보니 관심의 끈을 놓지 못하고 간간히 이렇게 책을 보거나 세미나를 듣거나 하게 된다

머신러닝책을 꾸준히 리뷰하다 보니.. 이런저런 것들을 볼 수 있었는데, 책으로만 접해도 확실히 기술들이 점점 변하고 있는 것이 느껴진다.

BERT 라는 용어는 이 책이 아니었다면 알지 못하지 않았을까? 국내 유일의 책이라는 소개라는 말이 거짓이 아닐지도.

책의 구성은 굉장히 친절하다. 하나하나 따라 갈 수 있도록 단계적이고 친절한 설명과 설득력 있는 그림들이 시스템을 이해하고 수식을 이해 할 수 있도록 도와 준다.

하나 하나 정말 친절하다. 대학교 강이 이후 이렇게 친절한 설명은 처음인 느낌이다.

​

수식의 이해도 아래와 같이 예제와 함께 하나하나 계산해 나가는 과정을 설명하고 보여주며 수식을 이해할 수 있게 한다.

각각의 용어의 의미와 실제 값과 계산의 과정과 결과를 보여 주면서 이해할 수 있도록 도와 준다.

다양한 종류의 BERT 라이브러리의 사용법 또한 Python 코드로 설명되어 있고, 하나 하나 따라 해볼 수 있도록 되어 있다.

​

그리고 마지막으로 연습 문제라는 이름으로 타이틀이 되어 있지만 결국 앞서 설명한 내용에 대한 키워드 정리의 개념으로 이해할 수 있다. 질문의 내용의 답이 결국 앞서 읽은 내용을 정리 할 수 있는 기회가 될 수 있도록 한다.

물론 정답도 책의 제일 마지막에 정리되어 있다.

(해당 포스트에서 소개하고 있는 "구글 BERT의 정석" 책은 한빛 미디어로부터 제공받았음을 알려드립니다.)

인공지능이 적용되고 있는 생활 분야는 다양하게 있지만, 가장 큰 체감이 느껴지는 분야는 역시 자연어처리(Natural Language Processing, NLP)가 아닐까 싶다. 어느 순간부터 상점 웹페이지에 들어가면 챗봇이 상담을 대신해주기도 하고, 집에도 이제는 어느새 스마트 스피커가 하나쯤은 존재한다. 나같은 경우에는 구글 어시스턴트에 루틴을 만들어서 출근할 때와 퇴근할때 스마트 플러그 제어를 하게끔한다. 참으로 편리한 세상이다. 

다양한 NLP 기술들을 회사에서 제공하고 있지만, 이 기술의 원천을 개발하는 양대 산맥은 역시 구글과 아마존이다. 우스개소리로 우리 회사 사람들도 10년을 파고 연구해도 구글이나 아마존이 지배하고 있는 기술은 이길 수 없다고 하는데, 실로 구글과 아마존이 NLP 분야에 미치고 있는 영향력은 관련 학회에 발표되는 논문만 봐도 알 수 있다. 사실 내가 제일 신기했던 것은 2018년 Google Summit에서 발표된 Duplex였다.

기존의 기계음이라고 딱 인지되는 예약대응 시스템이 사람의 음성을 모사한 시스템이 자연스럽게 답변하고, 예약을 해주는 것을 확인할 수 있다. 이 기술의 내면에도 구글에서 발표한 WaveNet이라는 기법이 있었기에 가능했다. (참고로 KT도 작년에 이런 능동대응형 솔루션을 상용화했다. 아마 AICC라고 하는 것 같은데..)

아무튼 구글이 발표한 기술 중 몇가지 대표적인 것이 있는데, 그 중 하나가 BERT라는 것이고, 이번에 다룰 책도 이 BERT의 내부 구조에 대해서 소개한 책이다.

모르는 사람을 위해서 잠깐 소개하자면 BERT는 Bidirectional Encoder Representations from Transformers 의 약자로 역시 구글에서 제안한 Transformer 기반의 환경에서 양방향 인코더를 적용시켜 표현하는 방식을 나타낸다. 사실 아는 사람은 알겠지만, 자연어처리는 다른 분야보다도 훨씬 복잡한 전처리 방식과 시계열 데이터를 처리하기 위한 RNN 구조의 복잡한 신경망이 필요하다. 간단히 생각해봐도, 전세계에는 다양한 언어들이 존재하고, 언어별로도 문장의 배치나 형태가 제각각이다. 또한 각 언어로 표현되는 기술적인 부분도 제각각이다. 분명 이런 기술들을 포괄하고자 하는 언어 표현 모델을 만드려는 시도가 있었고, 이 시도 중에 만들어진 것이 BERT이다.

책의 내용이 전개되는 방향은 BERT를 처음 접한 사람이 구조와 동작원리를 이해할 수 있도록 처음에는 기반 기술인 Transformer를 설명하는 것을 시작으로, BERT의 다양한 응용 기술들, 실제로 NLP에서 BERT를 사용해 처리하는 기법까지 말그대로 수학의 정석을 보는 것처럼 커리큘럼화되어 있다. 물론 배경 내용이 NLP를 조금 다뤄봤던가, 그래도 뭔지는 안다는 사람에게 익숙한 내용을 다루지만. 처음 다루는 사람이라도, 구현하면서 이해할 수 있는 방식으로 내용 전개가 이뤄진다. 책에서 다뤄지고 있는 상세한 내용은 다음과 같다.

• Transformer 모델
• BERT의 동작원리
• Masked Language Model(MLM)과 Next Sentence Prediction (NSP)를 활용한 사전학습
• 상황에 맞는 단어 및 문장 임베딩
• BERT Fine Tuning
• ALBERT, RoBERTa 등 BERT의 파생 모델
• Knowledge Distillation BERT
• XLM, XLM-R
• KoBERT, KoGPT-2, KoBART 모델

사실 이 책이 등장하기 전까지는 BERT가 무엇인지 파악하기 위해서는 논문을 살펴보던가, 공개된 최근 NLP 강의에서 살짝 언급된 내용만 가지고 대충 동작이 이렇구나를 유추하는 정도였는데, 나름 예시와 도식화를 통해서 BERT의 동작원리가 잘 설명되어 있어서, 살짝 맛만 보았던 기술에 약간 간을 맞추는 형식이 될 수 있었다. 특히 BERT의 파생형을 소개하는 부분에서는 다양한 분야에 걸쳐서 적용한 방식들이 소개되고, 이를 실습해볼 수 있는 환경이 구성되어 있어서, 실무적으로 접근해보고자 하는 사람도 선호 분야에 맞춰서 읽을 수 있는 부분이 좋지 않았나 생각한다.

무엇보다도 짧긴 하지만 원서에는 없는 KoBERT나 KoGPT2같은 한국어 언어 모델에 대한 내용도 살짝 다뤄지고 있기에, 관련 연구를 하는 사람에게는 뭔가 시작해볼 수 있는 이정표가 딱 생겼다고 할 수 있겠다. 사실 나는 이 원저자가 쓴 책 중 하나(Hands-on Deep Reinforcement Learning)를 옛날에 읽은 적이 있었는데, 너무 수박 겉핥기 식으로만 기술이 설명이 되어 있어서, "이 사람이 진짜 알고리즘을 이해하고 책을 쓴건가..." 하는 의구심을 가지고 있었고, 더불어 원 저서의 출판사(Packt)에 대한 선호도가 떨어져있었던 상태에서, 기대감 반 호기심 반 심정으로 이 책을 선택했었다. 하지만 역자분들의 배경지식이나 원서의 내용이 BERT의 기본 동작을 충실하게 설명해놓아서 읽기 좋았다. 아무래도 BERT를 심층적으로 다룬 책으로 거의 유일하기에 아마 많이 찾아보지 않을까 하는 생각이 든다.

참고1: 책 표지가 나름 이쁘다!

참고2: 책에 대한 github이 있으니 참고하면 좋을 것 같다.

출처: https://talkingaboutme.tistory.com/entry/Book-Getting-Started-with-Google-BERT [자신에 대한 고찰]

요즘 자연어처리에서 압도적인 인기를 끌고 있는 BERT 만을 다룬 책이 나왔다고 해서 관심이 갔는데 한빛미디어의 "나는 리뷰어다"를 통해 운 좋게 읽어보게 되었다.

자연어처리 관련된 경진대회를 보면 BERT를 사용한 모델이 종종 등장하는데 이 책은 트랜스포머 모델을 설명하며 BERT의 작동 원리 부터 BERT 모델이 사전학습 되는 방법과 BERT를 파인튜닝해 다운스트림 태스크에 활용하는 방법 등을 다루고 있다.

딥러닝, 텍스트 임베딩 등에 대한 사전 지식이 있는 상태에서 봐야하는 책이며, 초보적인 내용은 설명하고 있지 않기 때문에 자연어처리에 대한 기본 지식을 습득한 상태에서 읽어보는 것을 추천한다.

하지만 어느 책이든 요즘은 깃헙 소스코드를 친절하게 제공하고 있기 때문에 소스코드를 통해 이 책이 어떤 책인지 먼저 감을 잡을 수 있을것이다.

PacktPublishing/Getting-Started-with-Google-BERT: Getting Started with Google BERT, published by Packt

BERT만을 다룬 책도 없었고 BERT를 이렇게까지 자세하게 다룬 책도 없는데 KoBERT, KoGPT2, KoBART 모델을 개발한 역자분이 번역한 책이라 더 신뢰가 가는 책이다. 그래서 원서에는 없는 KoBERT, KoGPT2, KoBART 모델까지 다루고 있다는게 이 책의 큰 장점이기도 하다.

• BERT는 다른 임베딩 모델과 어떻게 다른가?
• BERT-base 모델과 BERT-large 모델의 차이점은 무엇인가?
• 세그먼트 임베딩은 무엇인가?
• BERT는 어떻게 사전 학습되는가?
• MLM 태스크는 어떻게 동작하는가?
• NSP 태스크는 어떻게 동작하는가?
• 마스크 언어 모델과 다음 문장 예측 태스크를 활용한 사전 학습
• BERT를 활용해 상황에 맞는 단어 및 문장 임베딩 생성
• 다운스트림 태스크를 위한 BERT 파인 튜닝

BERT를 다루며 알아야할 기본적인 내용부터 다양한 모델을 다루고 있다.

• ALBERT, RoBERTa, ELECTRA, SpanBERT 모델
• 지식 증류 기반 BERT 모델
• XLM 및 XLM-R 언어 모델
• sentence-BERT. VideoBERT, BART 모델

그리고 마지막으로 KoBERT, KoGPT2, KoBART 모델을 다룬다.

koBART에 대한 문서 요약과 관련된 소스코드와 예시를 아래 깃헙 링크에서 볼 수 있는데 사람보다도 문서요약을 더 잘 한다는 느낌이 들 정도로 엄청난 성능을 보여준다.

SKT-AI/KoBART: Korean BART

이 책은 자연어처리에 대한 기초가 없다면 읽기에 어려움이 있을지도 모른다. 하지만 이런 내용의 책을 이렇게 잘 번역된 한국어 예제로 만날 수 있어서 많은 도움이 되었다.

트랜스포머의 양방향 인코더 표현(Bidirectional Encoder Representations from Transformers, BERT)는 자연어 처리 분야에서 좋은 성능을 발휘하며 혁명을 일으켰다. 이 책을 통해 구글 BERT 아키텍처를 이해하는 데 도움을 받을 수 있다.

​

이 책에서는 BERT를 fine-tuning하여 활용하는 방법이 나오며, BERT의 다양한 변형을 소개하고 있다. 또한, 한국어 언어 모델인 KoBERT, KoGPT2, KoBART를 설명하고 있기도 하다.

​

이 책의 대상 독자는 BERT를 기반으로 한 언어 이해 NLP 태스크를 수행하려는 NLP 전문가 및 데이터 과학자이다. 이 책을 활용하기 위해서는 NLP 개념과 딥러닝에 대한 기본적인 이해가 필요하다.(초보자에게는 권장하지 않는다.)

* 한빛미디어 <나는 리뷰어다> 활동을 위해서 책을 제공받아 작성된 서평입니다.

이 책은 자연어 응용 분야에서 상당한 성능 향상을 이뤄 주목받고 있는 BERT 모델을 기초부터 다양한 변형 모델, 응용 사례까지 한 권으로 담은 실무 지침서다. 가장 먼저 사전 학습을 개선하여 성능을 향상하는 ALBERT, BART, ELECTRA, SpanBERT, RoBERTa, VideoBERT와 같은 BERT 변형 모델을 간단한 언어로 잘 풀어서 친절하게 설명한다.

​

다음으로 BioBERT 및 ClinicalBERT와 같은 특정 도메인에 해당하는 BERT 모델을 배우고 BERT의 재미있는 변형 모델인 VideoBERT도 살펴본다. 특별히, 본문 맨 뒤에는 한국어에 잘 동작하는 한국어 언어 모델 KoBERT, KoGPT2, KoBART를 추가 집필하여 붙였다. 이 책을 따라 모든 학습을 마치고 나면 BERT와 변형 모델을 활용해 여러 자연어 처리 태스크를 수월하게 처리할 수 있을 것이다.

​

추천독자

· BERT 시작하는 NLP Engineer

· 복잡한 BERT와 Transformer를 쉽게 이해하고 싶은 학생

· BERT와 변형 모델을 활용하여 적은 양의 데이터로 강력한 NLP 모델을 훈련 시키고 싶은 프로그래머

​

BERT 변형 모델을 실무에 적용하도록 돕는 최고의 가이드를 담은 도서라고 생각합니다.

"한빛미디어 <나는 리뷰어다> 활동을 위해서 책을 제공받아 작성된 서평입니다."

이 책을 3장까지 읽고 든 생각은 '아이고, 수학공식이 별로 없는 수학책이구나'였습니다. 어쩐지 BERT부터 허깅페이스에 BERT의 파생 모델, BERTSUM 등 세세한 내용을 다루다가, 막판에는 한국어 모델인 KoBERT, KoGPT2까지 한 권에 죄다 다룬다고 해서 덥석 클릭했습니다만, 이걸 장점으로만 여겨서는 안 되었습니다.

그렇다 해도 몹쓸 책은 아닙니다. 제가 속한 팀에서는 이런 저런 자연어처리를 하는데 팀원들이 실제로 운영 서비스에 쓰는 기술들이 이 책에 많이 담겼습니다. 그래서 이 책을 고르기도 했던 것입니다. 다만 이 책을 잘 소화하려면 책만 읽어서는 힘들 거라고 봅니다. 책 초반에 소개하는 아래 GitHub 프로젝트를 꼭 방문하여 코드를 열어 보길 바랍니다.

https://github.com/PacktPublishing/Getting-Started-with-Google-BERT 

코드와 같이 읽으면 훨씬 낫습니다. 그런데 코드를 잘 읽으려면 PyTorch를 먼저 알아둬야 합니다.

https://www.hanbit.co.kr/search/search_list.html?keyword=Pytorch

이걸 알아야 실습을 해보겠지요.

물론 수학적사고가 체화된 독자라면 술술 읽힐 거라 봅니다. 그렇더라고요. 부럽습니다.

마지막으로, 본문의 연습문제 해답은 부록으로 있습니다. 참 다행입니다. 그러고 보니 학부 교재로 써도 좋을 분량이 아닐까 합니다. 자연어처리 II 정도 되는 과정에 알맞겠습니다. 다시 말해 자연어처리를 처음 공부하는 참이라면 자연어처리 입문서를 먼저 읽는 게 좋습니다. Word2Vec을 모르는 채로 이 책을 읽어서는 놓치는 부분이 많을 겁니다. 기왕이면 PyTorch를 활용하는 자연어처리 입문서가 낫겠습니다.

https://www.hanbit.co.kr/store/books/look.php?p_code=B1231887279

싫은 소리를 먼저 하기는 했지만, 인공지능 주제로는 입문서만 범람하는 와중에 아주 소중한 심화서입니다. 이런 책이 아니면 인터넷 바다를 정처 없이 헤매야 합니다.

"한빛미디어 <나는 리뷰어다> 활동을 위해서 책을 제공받아 작성된 서평입니다."

이 책은 오픈소스에 기여중인 수다르산님이 쓰고 전희원님, 정승환님, 김형준님이 번역한 책이다. 1부, 2부, 3부로 나뉘어져 있는걸로 보아서 각 한 부씩 맡아서 번역한 듯 하다. 개인적으로는 2부가 오타도 있고 분량도 가장 적고 번역이 매끄럽지 못하다고 느꼈다.

BERT는 Transformer기반의 양방향인코더이다. 다양한 변종이 나올 정도로 상당히 인기있는 모델이다. 이 책에서는 그 중에서 BART나 M-BERT나 Roberta나 Albert처럼 유명한 모델들을 소개하고 있다. 그리고 ROGUE평가지표 등도 소개하고 있고 지식증류나 제로샷 전이나 데이터 증강에 대해서도 소개하고 있다.

이 책의 장점은 BERT관련 많은 내용을 소개하고 있고 연습문제와 참고문헌이 모든 챕터마다 제공되고 연습문제 정답도 있는 점이다. 그리고 NLP나 KTRAIN등의 라이브러리를 소개해주고 있고 실제 COLAB에서 실습가능한 코드들도 있고 한국어 처리용 모델들도 소개하고 있다.

이 책의 단점은 계속 반복적으로 파라미터 개수나 위키피디아를 언급하고 있음에도 불구하고 전문용어가 많아 초심자가 접근하기에는 어려울 수 있다.

최근에 밀키트가 유행인데 딥러닝도 밀키트처럼 만들어진 모델을 다운받아 사용하면 되는 시대이다. 하지만 TV홈쇼핑의 대량패키지처럼 규모가 커서 아직은 좀 부담스럽다. 책 소개 문구처럼 인간보다 언어를 더 잘 이해하고 구현하는 모델의 종류는 알 수 있지만 이 책을 읽고 그 내용을 이해하기에는 시간이 필요하다. 즉, 대부분의 사람들 입장에서 생각을 해봐도 많은 시도를 해보기 전에는 이 책을 소화하기가 쉽지 않을 거라고 예상한다.

"한빛미디어 <나는 리뷰어다> 활동을 위해서 책을 제공받아 작성된 서평입니다."