한빛출판네트워크

클라우드 환경에서 데이터베이스 저장 방식에 대한것에 관심이 있는 도중에 이번에 구글 빅쿼리를 학습할수 있는 좋은 책(이야기로 배우는 구글 빅쿼리)이 나와서 읽어보게 되었다.

우선 해당 책을 선택하여 읽게 된 이유는 클라우드 환경에서 데이터베이스를 사용하는 방법은 알고 있지만 구글 빅 쿼리가 무엇이지 기존의 데이터베이스와는 얼마나 다른지 그리고 어떻게 프로젝트에 도입될 수 있는지 마지막으로 비용(가장 중요) 에 대한것에 대한 관심이 있었는데 이 책을 읽으므로써 어느정도 관련 질문을 해결하게 되었다고 생각한다.

이 책은 구글 빅쿼리를 처음 학습하는 사람에게 구글 빅쿼리가 어떤건지 알수 있게 하는 가이드 설명서라고 생각한다. (쉬운 가이드)

그냥 기술적인 접근 방식의 책이 아니라 왜 구글 빅쿼리를 쓰는지 그리고 어떤 진행절차로 접근할 수 있는지 대화형식(선배, 후배)간의 대화 형식과 기술적인 설명으로 접근하는 책이었다.

이 책의 장점은

1. 대화형식의 접근 방식(선배, 후배(나))

- 회사에서 구글 빅쿼리를 도입하면서 여러 의견과 그리고 접근방식 그리고 해결방법을 대화형식으로 흥미가 있게 쓰여져 있고 그리고 꼭 회사에서 업무 협의를 통해 발생하는 사례처럼 이야기하고 있으면서 끝까지 책을 읽을 수 있도록 흥미로운 구성

2. 기술적인 접근 방식에서 중요한 핵심만 학습가능

- 이책은 총 6 Chapter 구성

CHAPTER 01 등장인물 소개와 프로젝트 개요

CHAPTER 02 빅쿼리를 이용한 데이터 분석

CHAPTER 03 빅쿼리 기본 구조와 특징

CHAPTER 04 성능과 비용

CHAPTER 05 데이터 수집 자동화

CHAPTER 06 스트리밍 처리에서의 데이터 수집

로 구성되어 각 CHAPTER의 세부 챕터에서 대화형식으로 요구사항, 기술에 대한 설명을 하고 후에 해당 기술의 핵심적인 내용을 설명하는 구성으로 책이 쓰여있음

3. 그림으로 아키텍처에 대한 설명

- 명령어 옵션 , 빅쿼리 역할 권한, 스트리밍 처리를 위한 아키텍처 등등 책 여러 곳에서 구글 빅쿼리의 핵심을 잘 설명하고 있고 학습할 수 있게 쓰여져 있음

다른 책을 읽어보지는 않았지만 기본 빅쿼리에 대한 개념을 알수 있게 쉽게 쓰여져 있었고 대화형식의 접근 방식으로 인해 끝까지 흥미롭게 읽을 수 있는게 이 책의 가장 큰 장점이라고 생각한다.

다만 아쉬운 점은 구글 클라우드(GCP)를 알지 못한다면 해당부분에 대한 공부는 선헹되어야 실습을 할 수 있을거라고 생각한다.

하지만 구글 빅쿼리를 학습하고 이 책을 구입 한다면 구글 클라우드(GCP)또는 관련 계정도 있을거라고 생각한다.

이 책 개념서, 기본서를 학습했으니 좀더 고급 구글 빅쿼리 책 또는 관련자료를 읽어봐야 할것 같다.

"한빛미디어 <나는 리뷰어다> 활동을 위해서 책을 제공받아 작성된 서평입니다."

IT서비스를 이용하는 사람이라면 구글이 제공하는 서비스를 이용해 본 경험이 있을 것입니다. 특히 검색 엔진인 구글과 유튜브, 메일 서비스는 하루에도 몇번씩이나 이용하고 있어 이젠 우리 일상에서 빼놓을 수 없는 서비스이며 IT업계에서는 마이크로소프트의 Azure, 아마존의 AWS와 더불어 3대 클라우드라고 불리우며 필수적으로 많이 사용되고 있는 서비스입니다. 그래서 이시대에는 빅데이터를 많이 사용하며 개발자도 빅데이터를 다루는 개발자를 많이 뽑고 있어 빅데이터를 아는 것이 매우 중요하고 선호도가 높아 빅데이터 학습이 많아지고 있는 추세입니다.

제가 이 책을 선택한 이유는 페타바이트급 데이터세트 처리 리소스를 의식하지 않고 초고속으로 쿼리를 실행할 수 있는 완전 관리형 데이터 분석 플랫폼인 빅쿼리가 빅데이터 분석에 있어 기업의 다양한 요구사항을 충족하고 가상 시뮬레이션을 통해 해당 과제를 해결할 수 있다는 점을 알기 쉽게 독자들에게 설명하며 클라우드를 활용한 데이터 분석에 익숙하지 않은 사람에게도 좋은 안내서가 될 수 있을거라 생각하기 때문입니다.

이 책의 특성은 책 내용이 단순히 기술적 요소만 설명하는 흐름이 아니라 소설처럼 이야기가 진행되는것 같은 흐름으로 진행되어 기존의 책들보다 좀더 부드럽게 읽으실 수 있다는 점과 일종의 프로젝트처럼 전반부의 빅쿼리에 대한 지식 및 기본적인 사용법부터 시작해 후반부 실제 데이터 플랫폼 개발에 사용되는 기법에 마지막 보고서 작성까지 하는 탄탄한 내용 구성을 가지고 있다는 점입니다.

현대 시대는 이제 빅데이터 및 클라우드 서비스를 이용해 기업의 제품 정보 및 직원들 개인정보, 고객정보에 더불어 기업의 프로젝트 및 기밀 정보같은 중요정보까지 이러한 기본 TB단위의 막대한 정보들을 기업이 자체적으로 보유한 DB에 저장하여 관리하는 시대입니다. 이것은 IT업계만 해당되는 것이 아닙니다. 과일, 의류, 전자제품등 상품 판매업이 주사업인 기업들, 식자재 판매 기업, 음식을 개발 및 판매하는 기업등이 고객의 구매정보를 바탕으로 개별적 판매 추천 및 선호도 조사등 마케팅수단으로도 많이 사용하고 있습니다. 따라서 이제는 중기업 및 대기업들은 자체 클라우드를 소유하기 위해

빅데이터 및 클라우드 분야 투자에 많은 지원을 하고 있어 개발자라면 필수로 알아야 하며 개발자가 아니더라도 알아 두시면 많은 도움이 될것입니다.

구성

Chapter 1: 등장인물 소개와 프로젝트 개요

Chapter 2: 빅쿼리를 이용한 데이터 분석

Chapter 3: 빅쿼리 기본 구조와 특징

Chapter 4: 성능과 비용

Chapter 5: 데이터 수집 자동화

Chapter 6: 스트리밍 처리에서의 데이터 수집

파트별로 나누어 봤을때 1~3장은 기본 데이터 분석 요구사항 및 빅쿼리에 대한 지식 및 기본적인 사용법에 대해 설명하고 있고 4~6장은 데이터 처리 및 가공, 스트리밍 상태에서의 데이터 처리 및 가공 그리고 빅쿼리 보안등에 대해 설명하고 있습니다.

개인적인 생각으로 학습은 빅데이터 및 클라우드서비스 개발자로 취업 및 이직을 희망하시는 분들이나 이제 막 개발자로 시작하시는 초보자이신 분들께서는 1장부터 시작하시면 좋을것 같고 어느정도 경험이 있으신 분들(개발자 경력 3~n년차 or n년차 서버관리자)부터는 1~3장은 쭉 한번 보시면서 구조 및 원리부분을 습득하시고 4장부터 시작을 하시는 것이 좋을것 같습니다.

그리고 초보자분들 중에 내용 이해가 어려워서 책을 읽는것이 지루하거나 힘드신 분들은 개발지식도서를 읽는다고 생각하지 마시고 한편의 소설을 읽는다고 생각하시면서 읽으시면 좀더 편하게 읽으실 수 있을거라 생각합니다.

그리고 개인적으로 약간의 단점이 어쩌면 욕심일수도 있는게 좀더 많은 실습 예제가 담겨있으면 더 좋았지 않았을까라는 아쉬움과 Chapter 5번이 이 책에서 중요한 내용이니 좀더 세세하게 단락이 나눠져 있었으면 더 좋았을 것 같다는 아쉬움이 있습니다.

"한빛미디어 <나는 리뷰어다> 활동을 위해서 책을 제공받아 작성된 서평입니다."

최근, 많은 업무들과 분석들이 늘어나면서 

데이터분석이 많이 필요한데요! 

구글 빅쿼리를 이용한 빅데이터 분석의 기초부터 

분석 플랫폼을 활용할 수있는 구체적인 예와함께 실전에서 활용 할 수있는 공부를 알려주는 교재입니다. 

완전 초보분들에게는 어렵겠지만 실전을 앞두고있는 분들에겐 꼭 강추합니다

구글 스프레드시트의 데이터 용량 제한 때문에 빅쿼리의 사용을 고려해봤지만 그 때마다 익숙하지 않은 UI와 개념때문에 포기하곤 했습니다. 그래서 얇은 두께로 빅쿼리를 소개하는 책을 만나게 되어 매우 반가웠습니다.

책은 빅쿼리의 기본적인 사용법과 지식을 소개하는 전반부와 실제 데이터 분석 플랫폼 개발 기업을 다루는 후반부로 구분됩니다. 샘플 코드들도 제공이 되며 비용에 대한 이야기를 놓치지 않고 비용-성능 튜닝에도 많은 비중을 할애하고 있습니다. Cloud Composer를 통한 워크플로 조정에 대한 내용도 포함하고 있습니다.

책의 분량이 많지 않기 때문에 기초적인 내용들은 모두 알고 있다고 가정하고 생략되는 경우가 많습니다. 이미 다른 데이터베이스를 능숙하게 사용하고 클라우드 DB의 지식을 충분히 갖추고 있는 사람들을 대상으로 하는 책이라고 생각됩니다.

이미 충분한 지식을 갖춘 사람이라면 짧은 시간 안에 GCP와 빅쿼리의 기능을 습득하기에 적합한 책으로 보입니다.

"한빛미디어 <나는 리뷰어다> 활동을 위해서 책을 제공받아 작성된 서평입니다."

한빛미디어 <나는 리뷰어다> 활동을 위해서 책을 제공받아 작성된 서평입니다.

서평

• GCP 대표 서비스 중 하나인 BigQuery, 그리고 이를 이용한 데이터 웨어하우스 구축에 대한 기본 지식을 쌓을 수 있는 책.
• 마케팅 부서에 입사한 신입 사원이 다양한 경험을 통해 데이터 엔지니어로 성장하게 되는 스토리 형식으로 내용이 정리되어 있다.
  • 평소 일본 기술서 특유의 떠먹여 주는 구성(?)을 선호하는지라 데알못 초심자임에도 부담없이 읽어 내려갈 수 있었다.
• 전반부에서는 빅쿼리의 기본 개념과 사용법을 배우며, 후반부는 어느정도 빅쿼리 사용 경험이 있는 사람들을 위한 실용적인 기법들을 설명한다.
  • 특히 데이터 웨어 하우스 구축 파트부터 그동안 어렴풋이 이해했던 빅데이터 관련 서비스에 대한 개념을 쉽게 이해할 수 있게 되어 좋았다.
• 실습시 필요한 예제 코드는 출판사인 한빛출판네트워크 사이트에서 다운로드 받을 수 있다.

대상 독자

• 빅쿼리에 대한 기초적인 개념을 어렴풋이나마 알고 있는 사람
• 클라우드를 활용한 데이터 분석에 익숙하지 않은 주니어 엔지니어
• GCP 빅데이터 분석 플랫폼 기본기를 다지고 싶은 사람
  • BigQuery 뿐만 아니라 Data Studio, Cloud Storage, Cloud Composer, Dataflow 등 다양한 관련 서비스 기본 개념 숙지 가능

한빛미디어 <나는 리뷰어다> 활동을 위해서 책을 제공받아 작성된 5월 서평입니다.

5월의 선택대상 책 중에 최근 관심이 많았던 구글의 빅쿼리가 있어서, 묻지도 따지지도 않고 선택하게 됩니다.

GCP의 구글빅쿼리 온라인 교육도 들어봤는데, 조금은 어려운 감이 있었는데, 이야기를 통해서 풀어간다는 내용이라 감이 왔습니다.

최근 클라우드가 대세에다, 각 클라우드 공급처마다 자신들의 DB를 제공하고, 거기에 빅데이터 활용에 맞춤형 서비스를 제공하고 있는 것도 사실입니다. 그래서 구글은 솔루션 느낌보다는 서비스 느낌이 강한 빅쿼리 대용량데이터도 유연하게 쿼리를 할 수있다는 개념의 서비스로 이름을 붙인거 같습니다.

5월의 책과 한빛미디어 패킹

구글 빅쿼리의 목적은 쉽고 빠르게 빅데이터를 분석해 비즈니스 인사이트를 도출하는 것입니다.

대상독자입니다.

책의 구성은 이야기입니다.

협업에 투입되어, 분석업무 데이터 업무를 하게 된 주인공의 등장으로 이야기가 시작됩니다.

"선배님, 모르는 것이 너무 많지만 이제부터 잘 부탁드립니다!"

클라우드온에어 활용

빅퀄리는 열지향 스토리지입니다. 열 단위로 실행되므로 한 번에 끝나 높은 효율의 처리가 가능하다는 겁니다.

특별히 요새 화두가 되는 데이터 수집 자동화입니다.

데이터 웨어하우스 구축

아키텍처

실측값과 예측값

빅쿼리 스트리밍 인서트

스트리밍 처리, Pub/Sub

데이터 수집 및 분석 플랫폼

범용적인 구성

아키텍처

ELT

 일반 테이블과 분할 테이블

 Airflow

Cloud Composer 아키텍처

한빛미디어 미리보기 서비스

https://preview2.hanbit.co.kr/books/yekc/#p=1

신입사원과 선배 그리고 사내 시스템에 대한 분석에 대한 이야기를 구글 빅쿼리로 풀어갑니다.

여러모로 접근 방법들에 도움이 됩니다.

이책은 구글 빅쿼리를 이용하여 쉽고 빠르게 빅데이터를 분석해 비즈니스 인사이트를 도출하고자 빅쿼리에 대해 자세한 설명과 방법에 대해 기술하고 있다. 이책을 읽으면, 먼저, 빅쿼리의 기본적인 사용법과 지식을 배울 수 있다.

그 다음으로 빅쿼리를 이용한 빅데이터 분석의 기초를 배울 수 있어 도움이 될 것이다. 

그리고, 빅쿼리로 어느 정도 개발 경험을 쌓은 사람이 실제 데이터 분석 플랫폼을 개발하는데 필요한 요소를 익힐 수 있도록 실제 적용할 수 있는 기법을 구체적인 예와 함께 설명한다. 

이책은 구글 빅쿼리를 지지하고 좋아하는

일본의 4명의 엔지니어가 만든 책이다.

빅쿼리는 구글이 방대한 데이터를 효율적이고 빠르게 분석하기 위해

구축한 데이터 분석 플랫폼을 일반에 공개한 서비스다. 

구글이 지향하는 빅데이터 처리의 트렌드가 무엇인지

이해할 수 있도록 예를 들어 잘 설명되어 있다.

이책은 특히 저자의 회사(TOPGATE)에 입사하는 신입사원의 입문서로도 활용할 수 것을

감안하여 작성했다고 한다.

클라우드를 활용한 데이터 분석에 익숙하지 않은 사람에게도

좋은 안내서가 될 거라 생각한다. 

서평맵은 아래 링크에 올려져 있다.

https://plmis.tistory.com/1235

데이터분석에 대한 수업을 하면서 항상 데이터에 대한 요구사항이 많이 있었습니다. 

그러던 차에 이야기로 배우는 구글 빅퀴리를 읽을 수 있는 기회가 되었고, 간단하게 클라우드를 통해 데이터분석을 수집에서부터 처리하고 분석까지 과정을 간단하게 알아 볼 수 있는 책이었습니다. 

일본책이 원저인 책답게 가상인물이 있고 각 챕터에서 상황을 설명하는 방식으로 되어 있었습니다. 편하기도 하지만.. 심도있는 지식이라고 느끼기는 조금 어려운 면이 있지 않았을까 하는 생각입니다. 책을 통해 느낀 빅쿼리와 GCP를 이용한 데이버 수집/분석은 구글에서 만들어진 다양한 프로그램들을 통해 데이터를 분석할 수 있는 기회가 되어서 좋았습니다. 

학교에서 Google Workspace를 쓰고 있는데 이것을 적절히 활용해서 수업을 구성할 수 있겠구나 하는 생각이 들었습니다. 

또한 단순하게 빅쿼리만 다루지 않고, 데이터 처리를 위해 필요한 다른 여러가지 기능들도 소개 하고 데이터 처리에 대한 전반적인 프로세스를 간접경험해 볼 수 있어서 좋은것 같습니다. 

전체적인 데이터 수집/처리/분석을 맛볼 수 있는 간단한 소개서 정도인것 같습니다. 또한 간단한 샘플코드들이 제공되어 쉽게 따라해 볼 수 있는 장점이 있는듯 합니다. 단지 클라우드에 대한 기본지식이 필수로 요구되고, 파이썬 및 데이터분석 기본지식을 갖춘 학생들에게 교육해야 하는 것 같아서 조금 부담되기는 합니다. 

"한빛미디어 <나는 리뷰어다> 활동을 위해서 책을 제공받아 작성된 서평입니다."



대표 사진 삭제

 

사진 설명을 입력하세요.



오늘 볼 책은 <이야기로 배우는 구글 빅쿼리> 입니다.

상대적으로 빅쿼리는 AWS에 비해 인지도가 밀리는 부분이 있었습니다.

현재에는 빅쿼리를 많이 활용하게 되고 아마존, MS와 함께 대표적인 클라우드 서비스가 되었습니다.

저 또한 빅쿼리를 활용하면서 저에게 편한 UI와 구글에 최적화된 서비스와 함께 사용하면서 굉장한 시너지를 경험했었습니다.

그래서 아직도 저는 빅쿼리를 좀 더 좋아하는 면이 있습니다.

편리한 UI와 데이터웨어하우스, 다양한 쿼리 기능, 적합한 쿼리 비용, SQL에 대한 적용까지 빅쿼리는 파워풀한 기능으로 대기업과 스타트업에서 다양하게 활용되고 있습니다.

그러면 본격적으로 책을 살펴봅시다.

먼저 이 책은 300쪽도 되지 않습니다.

꽉찬 책입니다.

만약에 빅쿼리를 처음 활용하시는 분들이라면 이 책과 구글 빅쿼리에서 제공하는 레퍼런스를 함께 보신다면 반드시 시너지를 얻을 것입니다.

우리가 빅쿼리와 같은 서비스를 활용하는 이유를 생각해야 합니다.

바로 현업에서 얼만큼 활용할 수 있냐입니다.

더군다나 빅쿼리는 일반 MySql과는 다르게 비용도 청구되는 구독서비스와 비슷합니다.

때문에 우리는 빠른 시간 내에 압축된 지식을 활용할 줄 알아야 합니다.

그런면에 있어서 이 책은 적합도가 높습니다.

실무에서 바로 활용하고 어떻게 레퍼런스를 통해 고도화시킬 수 있을지 이 책을 통해 전반적인 부분을 볼 수 있기 때문입니다.

무엇보다 좋은 부분은 바로 케이스 스터디입니다.

이 책에서는 단순히 SQL활용뿐만 아니라 데이터 웨어하우스 구축, 파이프라인, 스트리밍 데이터 처리 등 빅쿼리의 전반적인 주요기능을 말해주고 있습니다.

이러한 부분이 실제 실무에서 반드시 필요한 부분인데 빅쿼리에 대한 책은 사실 많이 없던 것이었습니다.

이 책을 시작으로 빅쿼리에 대한 활용도 및 버전, 서비스 적합도도 높아졌으면 하는 바램입니다.

회사에서 클라우드 업무를 수행하면서, 간단한 스몰 데이터분석을 하고 있는데
대용량 데이터들에 대한 처리와 분석에 대해 항상 궁금해 하고 있던 차에
좋은 기회로 "이야기로 배우는 구글 빅쿼리" 책을 읽게 되었습니다.

- 한줄요약

클라우드를 통한 데이터 처리를 수집/처리/분석까지 일련의 과정을 간단하게 훑어볼 수 있는 책입니다.

- 책의 내용/구성

책에서는 특정상황을 가정하여 가상인물(등장인물)들이 나와 각 챕터의 시작 전에
상황이나 필요요건에 대한 설명을 진행하며 책이 진행됩니다.
위와 같은 포맷으로 조금 더 책을 읽는데 재미도 있고 편안하게 읽히는 것 같습니다.

책을 통해 느낀 빅쿼리와 GCP를 이용한 데이버 수집/분석은

구글 플랫폼의 생태계 환경에서 연계되어

제공되는 기능들이(구글드라이브,구글Docs,구글클라우드 및 스토리지 연계)
IT 전문가가 아니여도 데이터를 분석하는데 있어
충분히 누릴 수 있는 장점이 많다는 것을 느낄 수 있습니다.

이 책에서는 단순하게 빅쿼리만 다루지는 않습니다.
데이터 처리를 위해 필요한 다른 여러가지 기능들도 소개 하고 있습니다.
대표적으로 Google Composer (Airflow 기반) 에 대한 소개 및 예제소스도 포함하고 있어
빅쿼리 외에도 데이터 처리에 대한 전반적인 프로세스를 간접경험해 볼 수 있습니다.

아쉬운 점은 빅쿼리를 이용한 빅데이터 분석이 구글이 제공하는
여러가지 플랫폼 기능을 연계하여야 사용가능한 만큼
한 권에서 각 기능을 상세하게 배우기에는 제한되는 점이 많다는 점입니다.

전체적인 데이터 수집/처리/분석을 맛볼 수 있는 간단한 소개서 정도로 생각됩니다.
책도 얇아 순식간에 읽을 수 있었습니다.

- 책읽기 필요사항

클라우드에 대한 기본지식이 필수
파이썬 및 데이터분석 기본지식

- 추천 독자

클라우드를 이용하여 데이터 분석을 하고자 하는 초보분석자

"한빛미디어 <나는 리뷰어다> 활동을 위해서 책을 제공받아 작성된 서평입니다."

국내에는 GCP( Google Cloud Platform )와 관련된 책이 워낙 귀하다 보니 이번에 한빛미디어에서 발간된 "이야기로 배우는 구글 빅쿼리"는 반가울 수밖에 없다. 게다가 빅쿼리에 포커싱 된 책이라니! 빅쿼리는 위키백과에 아래와 같이 정의되어 있다.

빅쿼리는 페타바이트급 이상의 데이터에 대해 스케일링 분석을 가능케 하는 완전 관리형 서버리스 컴퓨팅 데이터 웨어하우스이다. 빅쿼리는 2010년 5월 발표되었으며 2011년 11월 일반에 공개되었다

데이터 다루는 일을 업으로 하는 사람이 아니라면 어쩌면 생소할 수 있는 기술이지만 BigQuery는 빅데이터 플랫폼으로 AWS의 Redshift와 함께 양대산맥을 이루고 있다. 더욱이 Google Cloud 하면 빅쿼리가 연상될 정도의 GCP의 대표적인 서비스이고, 일각에서는 Redshift를 이미 압도하고 있다는 평이 내려진다. 자, 그럼 이 책을 읽기 위해 어떤 배경지식이 필요할까? 

• GCP, 빅쿼리는 잘 모르지만 AWS의 Redshift가 무엇인지 대충의 개념을 알고 있다
• Apache Airflow, Beam 이 뭔지 아주 대충이라도 알고 있다
• 파이썬 문법을 해석하는데 어려움이 없다

 위에 두 가지는 대충이라고 적었지만 파이썬 문법은 이것들보다 조금 더 중요하다. 모든 예제가 파이썬으로 이루어졌기 때문인데... 개념만 익힐 목적이라면 훌훌 넘겨버려도 상관은 없다. 하지만 책은 빅쿼리 뿐만 아니라 데이터 웨어하우스를 구축하는 그 주변의 기술인 Airflow까지 설명하고 있는데 DAG( Directed Acyclic Graph )을 기술할 때 파이썬을 사용하고 있기 때문에 언어를 잘 알고 있다면 Airflow를 이해하는데 더 큰 도움이 될 것이다. ( 사실 배경지식이 없으면 어떠한가. 조금은 더 고될 뿐, 배움에서 즐거움을 찾고 재밌게 읽으면 된다 )

책은 독특하게 구성되어 있다. 신입사원이 선배에게 GCP의 여러 서비스를 배워가며 데이터 웨어하우스를 구축하는 컨셉으로 구성되어 있다. 웨어하우스 구축 미션을 단계적으로 수행하는 과정을 서술하고 있다고 보면 된다. 여기서 함께 공부하는 느낌을 받을 수 있다 (웃음)

앞서 이야기한 것처럼 책은 단순히 빅쿼리만 다루는 책은 아니다. 데이터 웨어하우스라는 거대한 시스템을 구축하기 위한 여정이 기록되어 있는데 BigQuery에 데이터를 로딩하는 방법부터 시작된다. 그리고 본격적으로 빅쿼리의 기본 구조와 특징을 알아보게 되는데 여기서는 Dremel 쿼리 엔진이라고 불리는 아키텍처와 열 지향 스토리지에 대해서 배우게 된다. 열 지향 스토리지 이야기가 나오면 AWS Redshift가 왜 비교되었는지 이제 이해가 될 것이다. 빅쿼리는 Dremel 쿼리 엔진과 더불어서 Colossus File System에 의해 대규모 분산 처리로 쿼리를 실행한다. 용어들이 좀 어려울 수 있는데 Dremel 쿼리 엔진은 스캔 고속화를 목적으로 개발됐고 1 테라바이트 이상의 테이블을 1초 이내로 스캔하는 것을 목표로 한다. 벅차오르지 않나? 빅쿼리를 통해 구글의 강력한 인프라를 마음껏 활용해보자!

빅쿼리 아키텍처에 대한 설명 이후에는 사용되는 자료형과 파티션, 클러스터까지 다룬다. 그리고 클라우드의 fully-managed 서비스를 사용하는 사용자의 가장 큰 걱정거리인 비용과 제약 사항에 대해서도 다루기 때문에 조금은 더 안심하고 쿼리를 날릴 수 있는 지식을 쌓게 된다. 빅쿼리의 경우 탐색한 데이터의 용량에 따라 비용이 청구되기 때문에 자칫 쿼리 한번 잘못 날리면 눈 깜짝할 사이에 페타바이트를 스캔하고 비용이 청구되지 않겠는가. 성능이 너무 좋아도 초보 사용자에게는 문제다(웃음). 하지만 비용 제한과 쿼리 제약을 걸어놓는다면 이런 문제들을 어느 정도 해소할 수 있게 된다.

빅쿼리 튜닝과 보안, 사용자 권한인 IAM까지 다루고 나면 본격적으로 데이터 웨어하우스 구축에 나선다. 이 책에서는 ETL( Extract, Load, Transform )이 아닌 ELT로 아키텍처를 구성하는데, 차이라면 1차 가공을 할 때 사용하는 데이터가 어디 있는지 보면된다. 통상 ETL의 경우 GCS에 있는 데이터를 Dataflow( GCP의 fully-managed Apache Beam )를 이용해서 변환해서 빅쿼리에 로드하는 반면, ELT는 GCS의 데이터를 가공하지 않고 빅쿼리로 로드한다. 이후 SQL을 통해 변환작업을 수행하게 된다. 어떤 아키텍처를 구성할지는 크게 중요하지 않다. 아무튼, GCS에 있는 데이터를 자동으로 빅쿼리에 로드하기 위해 GCP의 Composer( fully-managed Apache Airflow )가 사용된다. Apache Airflow의 구조부터 Composer 아키텍처, 예제까지, 책 지면의 상당한 부분을 할애하고 있는데 그만큼 데이터 수집은 데이터 웨어하우스 구축의 핵심으로 볼 수 있다. 

이 책 한권으로 데이터의 고수가 될 수는 없다. 하지만 columnar database의 아키텍처에 대해 고민해볼 수 있는 지식을 쌓고, 데이터 웨어하우스 구축을 위해 어떤 기술이 필요한지, 또한 퍼블릭 클라우드 시장에서 빠른 성장을 하고 있는 GCP의 여러 서비스를 맛볼 수 있다는 점에서 데이터를 다루는(다루게 될) 분들께 이 책의 일독을 권한다. 

한빛미디어 <나는 리뷰어다> 활동을 위해서 책을 제공받아 작성된 서평입니다.

빅데이터 중급엔지니로 가는 가장 빠른길

이 책을 여러번 반복해서 읽고 실습한다면 빅데이터 중급엔지니가 될수 있을거 같아요!!

구축해보고, 원하는 데이터를 추출할수 있으면 전문가 바로 전단계.

많이 해보시고 전문가가 되어 돈 많이 버세요~

빅데이터 중급 엔지니어로 만들어 주는 책

구글 클라우드를 이용해 빠르게 전문가로 만들어 주는 책이다.

이 책으로 반복해서 공부하고  원하는 데이터를 분석해 보라.

빠르게 중급 엔지니어가 될 수 있게 된다.  추천서.



데이터를 빠르고 효율적으로 분석하는 방법

이야기로 배우는 구글 빅쿼리

시대가 변화하면서 데이터베이스의 중요성이 강조되고 있다.

마케팅을 하면서 언어를 사용해서 데이터를 효율적으로 분석하는 이들이 늘고 있고,

그러한 인재들이 각광박는 세상이다.

데이터소스를 수집하고 분석하여 자신의 것으로 만들면 남들보다 앞서갈 수 있다.





이 책은 빅쿼리를 이용한 빅데이터 분석의 기초를 배울 수 있다.

후반부에는 분석플램폼을 개발하는데 필요한 요소를 익힐 수 있도록 실제 적용할 수 있는 구체적인 예와 함께 설명해준다.





지금 시대는 빅데이터를 다룰 수 있는 인재가 필요하다.

정보를 어떻게 효율적으로 다룰 수 있느냐는 남들보다 빠르게 갈 수 있는 지름길을 만드는 것과 같다고 생각한다.





구글 클라우드 플랫폼을 이용한 구글 빅쿼리를 활용해

데이터를 이해하고 분석하여 활용할 수 있도록 도와준다.





초보자들은 언어에 대한 막연한 거부감이 느끼는게 당연하다.

대학때 맛을 살짝 본 나도 언어만 보면 까막눈이 되어 앞이 깜깜해진다.

이 책은 만화책 보듯이 등장인물들이 대화하는 형식으로

문제를 해결해 나가는 과정을 그린다.





구글 클라우드는 3개월간 무료로 사용가능하다.

휴대폰인증을 해야 하고, 신용카드도 등록해야 한다.

무료체험판 종류 후 돈이 청구되지는 않지만

현업에 종사하지 않는 이들은 여기서 진입장벽을 느낄 수 있을거라 생각한다.





구글을 많이 사용하시는 분이라면 GCP는 플랫폼이 친숙하고 보기 편할 듯 하다.

등장인물의 대화로 친숙하게 책을 볼 수 있으며 그림으로 실제 화면과 비교해가면서 공부할 수 있다.



빅쿼리를 이용한 데이터 분석을 시작으로 빅큐리 튜닝, 데이터 수집 자동화, 스트리밍 처리에서의 데이터 수집 등을 공부한다.

데이터분석에서 빅쿼리는 매우 높은 가성비를 발휘하는데, 이는 비즈니스 현장에서 클라우드 제공자 설정에서 빅쿼리를 사용하는 첫번째 이유다 .



구글 클라우드 플랫폼 GCP는 현재 가장 성장하고 발전하고 있는 클라우드다

데이터 분석 플랫폼 구축 지식을 배운 후에는 실제로 GCP를 활용하여 압도적인 생산성,

비용대비성능, 구글 기술의 선진성을 체감할 수 있을것이라 저자는 말한다.



상황극처럼 진행하는 책을 통해서 구글 빅쿼리를 이해하고 실무에 적용 할 수 았는 방법을 배울수 있는 빅쿼리 입문 서적이다.

"한빛미디어 <나는 리뷰어다> 활동을 위해서 책을 제공받아 작성된 서평입니다."

0. 도서 정보

 - 도서명 : 이야기로 배우는 구글 빅쿼리

 - 저자 : 구도 마사토, 스즈키 다쓰히코, 우에노야마 아키라, 다카기 도모하루

 - 옮긴이 : 정인식

 - 구매링크 : 교보문고

1. 서평

 온프레미스 환경에서 데이터 추출 / 정제 등의 업무를 하던 '나' 가 GCP 를 도입하면서 발생하는 고민 / 문제 / 해결 방법을 '선배'와 '부장' 과 풀어가는 내용이다. 풀어가는 방식은 각 절 앞에서 아래와 같이 상황이 주어지면서 문제가 발생하게 되고 그것을 GCP를 통해 풀어나간다. 개인적으로 생각하기에 일본 기술서적에서 이런 특징이 많이 보이는 거 같다.

읽기 전에 기대했던 내용은 책의 제목처럼 '구글 빅쿼리'에 관한 내용(어떻게 접속하나.... 쿼리를 어떻게 치나... 구글 빅쿼리 문법... 등)에 집중이 되어 있을 것으로 생각을 했었는데 '구글 빅쿼리' 를 도입하기 위한 의사결정에서부터 데이터 파이프라인 구성에 대한 총체적인 내용을 다루기에 생각했던 내용과 달라 실망(?)을 하기도 하였지만, 오히려 예상치 못한 정보들을 얻을 수 있었다.(Airflow Dag 사용법, 데이터 파이프라인 구성도) 책의 완성도 측면에서는 옮긴이 분께서 저자들의 쿼리를 직접 수행하면서 스크린 샷을 첨부하여 보여주도록 하였으나, 군데군데 원본(일본어) 스크린샷이 첨부되어 조금 당황하게 만들기도 한다.(하지만 읽는 것에 문제가 되지는 않는다.) 많은 내용을 담고 있으나 책이 두껍지 않아(256 페이지) 백과사전이라는 느낌보다는 필요한 내용만을 뽑은 요약본의 느낌이다.

2. 추천 드리는 분 / 추천 드리지 않는 분

 1) 추천 드리는 분

  - GCP 를 도입하려고 하는 데이터 플랫폼 팀(의 입문서 용도)

  - 데이터 엔지니어를 꿈꾸는 분들

  - 구글 빅쿼리를 시작하고 싶으신 분들

 2) 추천 드리지 않는 분

  - SQL 을 배우고 싶으신 분들(SQL 문법은 알려주지 않음)

  - 구글 빅쿼리 문법을 배우고 싶으신 분들(이 책은 표준 SQL로 진행)

  - 데이터 분석 방법을 배우고 싶으신 분들(분석을 위한 플랫폼을 만드는 것을 도와주는 책)