2년 전 이 책의 1판을 처음 접했을 때 큰 감동을 받았다. 다만 딱 한 가지 아쉬웠던 점은, 당시 Spark가 2.x 버전을 발표하고 API의 패러다임을 RDD에서 DataFrame으로 바꿔가고 있었는데 반해 1판은 주로 RDD API를 사용했다는 점이었다. 이번에 새로 출간된 2판은 불가피한 경우를 제외하고는 모든 예제를 DataFrame 기반으로 변경하였는데, 1판과 2판을 모두 읽은 입장에서는 사실상 다른 책이라고 느껴질 정도로 또다른 감동을 받았다. 그 감동을 공유하고자 한다.
이 책에는 엔지니어링 관점에서 Spark 클러스터를 어떻게 구성하고 데이터 처리 성능을 어떻게 높일 수 있는지에 대한 내용은 거의 없다. (이런 내용은 창시자들이 직접 쓴 Spark: The Definitive Guide를 참조하는 것이 좋겠다.)
그보다는 오로지 데이터 분석가의 관점에서 Spark를 이용해서 가치를 만들어내는 과정을 아주 소상히 담아냈다. 어찌나 소상한지 마치 ‘어느 데이터 분석가의 하루'라는 에세이처럼 느껴질 정도다. 데이터를 적합한 포맷으로 불러와서 기본 통계를 살펴보며 이상 데이터를 제거하고, 분석에 편리한 형태로 가공한 뒤 해결하고자 하는 문제에 맞는 모델을 만들고 평가하고, 다시 개선해서 평가하고, 또 다시 개선해서 평가하고, 그리고 마지막으로 다시 개선해서 평가하고… 얼마나 현실적인지 한 챕터에서는, 수십페이지 분량의 코드로 데이터를 이리저리 구워삶아 모델을 만들어 내고서는 아래와 같이 마무리한다. 얼마나 현실적인가? 데이터 분석가가 어떤 일을 하는지 작은 단면을 들여다보고 싶다면 이 책을 추천한다. 물론 모든 것이 가능하다고 말할 수 있겠지만, 이를 직접 보여주기는 쉽지 않다. 이 책에서는 음악 추천, 식생 분포 예측, 네트워크 이상 탐지, 위키백과 숨은 의미 분석, 의학 논문 인용 그래프 분석, 택시 운행 데이터 분석, 금융 리스크 추정, 유전체학 데이터 분석, 신경 영상 데이터 분석 이라는 9가지 주제로 시연을 한다. 최대한 Spark의 다재다능함을 보여주기 위해 기본 DataFrame API를 이용해 평균, 표준편차를 구하고, 카이 제곱 통계량을 계산해서 요소간의 독립 사건인지를 확인한다. 또 교차 테이블을 만들어 False Positive와 False Negative의 수를 확인하고 AUC를 계산한다. 나아가서 Spark MLlib를 이용해 Matrix Factorization으로 추천 모델을 만들고, 회귀분석도 시행한다. Decision Tree와 Random Forest 기법도 손쉽게 수행한다. Spark GraphX를 이용해서 네트워크 평균 군집계수를 계산한다.
Spark가 JVM 기반으로 작동한다는 사실을 이용해 Scala, Java 생태계에 만들어져 있는 라이브러리도 잘 가져다 사용한다. Apache Commons Math 라이브러리를 이용해 몬테카를로 시뮬레이션과 회귀분석을 시행한다. GeoJSON 관련 라이브러리를 가져다 지리정보 분석도 한다.
대충 들춰보며 찾아본게 이정도이고, 지식 부족으로 전혀 이해하지 못한 여러가지 개념들을 Spark를 이용해 구현하는 과정을 책을 통해 생생하게 목격할 수 있다. 몇몇 주제들은 예제 데이터의 크기가 워낙 커서 로컬 환경에서 따라해보기가 쉽지 않았다. (아예 실패하기도 했다.) 또 금융 데이터는 아예 구할수가 없게 되어 깃헙에 따로 포함을 시켜줬지만 책과는 다른 형태의 데이터라 별도의 주의가 필요하다.
그리고 모든 예제가 spark-shell 기반으로 작업한다는 것을 전제로 하는데 이 많은 코드를 정말 shell 기반으로 작업한게 맞는지 의심이 든다. 몇 번 순서를 실수해서 처음부터 다시 작업해야 하는 상황을 겪었다면 분명 웹에서 Notebook 기반으로 쉽게 작업할 수 있는 Apache Zeppelin을 소개해줬을 것이다.
그래서 어렵게 클러스터 환경을 구해서 Apache Zeppelin을 기반으로 실습을 진행했는데, 뒤로 갈수록 클러스터를 직접 수정할 수 없는 상황에서는 실습을 위한 의존성 관리가 쉽지 않았다. 그리고 3판이 나온다면 Spark 기반의 Deep Learning 분석 내용을 꼭 포함해줬으면 한다. 유난히 생소한 통계 개념이 많이등장해서 정독하는데 오래 걸렸지만 즐거운 시간이었다. 학습 자료가 인터넷에 넘쳐나는 세상에서, 이렇게 양질의 내용이 잘 구조화된 묶음이 책의 존재 이유가 되었으면 한다.
데이터 분석가는 어떤 일을 하는가?
우리 모델은 관측된 현실에는 잘 맞지 않는다. 더 개선해야 할 필요가 있어 보인다.
Spark로는 어떤 분석이 가능한가?
그럼 아쉬운 점은?
4.2점 (9명)
좋아요 : 11
다양한 현실 세계 예제로 스파크 2의 진면목을 경험한다.
이 책은 독자에게 대량의 데이터셋을 가지고 스파크 2를 활용해 복잡한 분석과 머신러닝 학습을 실제로 해보는 생생한 느낌을 전달한다. 단순히 모델을 구축하고 평가하는 데 그치지 않고, 데이터 정제부터 전처리, 데이터 조사, 실제 제품을 만들기까지의 전체 파이프라인을 보여준다. 이러한 과정을 다양한 분야에서 가져온 현실 예제에 맞게 교차 최소 제곱 추천 알고리즘, 의사 결정 나무, K-평균 군집화, 숨은 의미 분석, 세션화, 몬테카를로 시뮬레이션 등의 기법을 동원해 풀어본다.
스파크 2 실전편! 실무와 가장 가까운 경험을 제공한다.
이 책은 기능과 API를 단조롭게 나열하지 않는다. 현실과 동떨어진, 예제를 위한 예제를 따라 하지도 않는다. 대신 우리 주변에서 찾을 수 있고 우리 삶과 밀접한 실제 데이터를 가져와 함께 분석하고 다듬어본다. 그것도 하나가 아니라 9가지다. 음악 추천부터 이상 탐지, 교통, 금융, 영상 데이터 등 관심 가는 장을 먼저 봐도 좋고, 차례대로 천천히 따라 해도 좋다. 그럼 가장 진보한 분석 도구인 스파크 2로 다 함께 데이터의 바다를 항해해보자!
2판에 관하여
1판이 출간된 이후 스파크의 메이저 버전이 올라가면서 완전히 새로운 핵심 API가 도입되고 MLlib이나 Spark SQL과 같은 하위 컴포넌트들도 크게 바뀌었다. 이러한 변화들이 반영되다 보니, 이 책 초판의 많은 부분이 의미가 없게 되었다. 이번 2판은 새로운 스파크 API를 사용하기 위해서 모든 장을 수정하였다.
주요 내용
1. 오디오스크로블러(AudioScrobbler) 데이터셋으로 음악 추천하기
2. 의사 결정 나무로 산림 식생 분포 예측하기
3. K-평균 군집화로 네트워크 이상 탐지하기
4. 숨은 의미 분석으로 위키백과 이해하기
5. 그래프엑스(GraphX)로 동시발생 네트워크 분석하기
6. 뉴욕 택시 운행 데이터로 위치 및 시간 데이터 분석하기
7. 몬테카를로 시뮬레이션으로 금융 리스크 추정하기
8. BDG 프로젝트와 유전체학 데이터 분석하기
9. 파이스파크(PySpark)와 썬더(Thunder)로 신경 영상 데이터 분석하기
1장. 빅데이터 분석하기
1.1 데이터 과학의 어려움
1.2 아파치 스파크란
1.3 이 책에 관하여
1.4 2판에 관하여
2장. 스칼라와 스파크를 활용한 데이터 분석
2.1 데이터 과학자를 위한 스칼라
2.2 스파크 프로그래밍 모델
2.3 레코드 링크
2.4 스파크 셸과 SparkContext 시작하기
2.5 클러스터에서 클라이언트로 데이터 가져오기
2.6 클라이언트에서 클러스터로 코드 보내기
2.7 RDD에서 Data Frame으로
2.8 DataFrame API로 데이터 분석하기
2.9 데이터프레임에 대한 빠른 요약 통계
2.10 데이터프레임의 축 회전과 형태변환
2.11 데이터프레임을 결합하고 특징 선택하기
2.12 실제 환경을 위한 모델 준비하기
2.13 모델 평가
2.14 한 걸음 더 나아가기
3장. 음악 추천과 Audioscrobbler 데이터셋
3.1 데이터셋
3.2 교차 최소 제곱 추천 알고리즘
3.3 데이터 준비하기
3.4 첫 번째 모델 만들기
3.5 추천 결과 추출 검사하기
3.6 추천 품질 평가하기
3.7 AUC 계산하기
3.8 하이퍼파라미터 선택하기
3.9 추천 결과 만들기
3.10 한 걸음 더 나아가기
4장. 의사 결정 나무로 산림 식생 분포 예측하기
4.1 회귀로 돌아와서
4.2 벡터와 특징
4.3 학습 예제
4.4 의사 결정 나무와 랜덤 포레스트
4.5 Covtype 데이터셋
4.6 데이터 준비하기
4.7 첫 번째 의사 결정 나무
4.8 의사 결정 나무 하이퍼파라미터
4.9 의사 결정 나무 튜닝하기
4.10 범주형 특징 다시 살펴보기
4.11 랜덤 포레스트
4.12 예측하기
4.13 한 걸음 더 나아가기
5장. K-평균 군집화로 네트워크 이상 탐지하기
5.1 이상 탐지
5.2 K-평균 군집화
5.3 네트워크 침입
5.4 KDD 컵 1999 데이터셋
5.5 첫 번째 군집화하기
5.6 k 선정하기
5.7 R에서 시각화하기
5.8 특징 정규화
5.9 범주형 변수
5.10 엔트로피와 함께 레이블 활용하기
5.11 군집화하기
5.12 한 걸음 더 나아가기
6장. 숨은 의미 분석으로 위키백과 이해하기
6.1 문서-단어 행렬
6.2 데이터 구하기
6.3 파싱하여 데이터 준비하기
6.4 표제어 추출
6.5 단어빈도-역문서빈도(TF-IDF) 계산하기
6.6 특잇값 분해
6.7 중요한 의미 찾기
6.8 낮은 차원 표현에 대한 의문과 고찰
6.9 단어와 단어 사이의 연관도
6.10 문서와 문서 사이의 연관도
6.11 문서와 단어 사이의 연관도
6.12 여러 개의 단어로 질의하기
6.13 한 걸음 더 나아가기
7장. 그래프엑스로 동시발생 네트워크 분석하기
7.1 네트워크 분석 사례: MEDLINE의 인용 색인
7.2 데이터 구하기
7.3 스칼라 XML 라이브러리로 XML 문서 파싱하기
7.4 MeSH 주요 주제와 주제들의 동시발생 분석하기
7.5 그래프엑스로 동시발생 네트워크 구성하기
7.6 네트워크의 구조 이해하기
7.7 관련성 낮은 관계 필터링하기
7.8 작은 세상 네트워크
7.9 한 걸음 더 나아가기
8장. 뉴욕 택시 운행 데이터로 위치 및 시간 데이터 분석하기
8.1 데이터 얻기
8.2 스파크에서 서드파티 라이브러리로 작업하기
8.3 지리 데이터와 Esri Geometry API, 그리고 Spray
8.4 뉴욕 택시 운행 데이터 준비하기
8.5 스파크에서 세션화 작업 수행하기
8.6 한 걸음 더 나아가기
9장. 몬테카를로 시뮬레이션으로 금융 리스크 추정하기
9.1 전문 용어
9.2 VaR 계산 방법
9.3 우리의 모델
9.4 데이터 구하기
9.5 전처리하기
9.6 요인 가중치 결정하기
9.7 표본추출
9.8 실험 실행하기
9.9 수익 분포 시각화하기
9.10 결과 평가하기
9.11 한 걸음 더 나아가기
10장. BDG 프로젝트와 유전체학 데이터 분석하기
10.1 모델링과 저장소를 분리하기
10.2 ADAM CLI를 이용한 유전체학 데이터 처리
10.3 ENCODE 데이터로부터 전사인자 결합 부위 예측하기
10.4 1000 지놈 프로젝트에서 유전자형 질의하기
10.5 한 걸음 더 나아가기
11장. 파이스파크와 썬더로 신경 영상 데이터 분석하기
11.1 파이스파크 소개
11.2 썬더 라이브러리 개요와 설치
11.3 썬더로 데이터 읽어 들이기
11.4 썬더로 신경 세포 유형 분류하기
11.5 한 걸음 더 나아가기
자료 다운로드시 유의사항
▶ 부록/자료 관련 FAQ
| 자료명 | 등록일 | 다운로드 |
|---|---|---|
 예제소스 |
2024-01-04 | 다운로드 |
오탈자 등록
