사람마다 다르겠지만 

저는 데이터 분석을 하며 시간이 가장 많이 소비되는 부분은 

디버깅 즉, 틀린 부분 찾기를 수행할 때 입니다. 

디버깅에서 파이썬은 다른 언어들과 비교하여 굉장한 장점을 가지고 있습니다. 하지만 디버깅이 다른 언어에 비해 편하다는 장점을 가지는 대신 다른 언어에 비해 느립니다. 

파이썬의 한계라 생각하고 

그럼 이런 단점을 느림의 미학으로 치부하고 넘어가야 하느냐?

좋은 장비를 사용하면 어느정도 커버가 가능하겠지요..

그러기에는 주위 환경이 받쳐 주질 않습니다. 내 연봉 보다도 비싼 장비를 구입 할 순 없잖아요.

그럼 어찌 해야 할까?

결국 제가 공부해야 합니다. 

내가 작성한 코드에서 어느 부분이 느린지, 왜 느린지, 어떻게 수정하여 최적화하면 좋을지를 스스로 해보고 알아야 합니다. 소위 삽질이라 하죠. 삽질을 통해서 고성능을 뽑아낼 경험이 쌓여야 합니다.

이 책은 저자의 경험의 결과를 잘 설명하고 있습니다.

그것도 재밌는 예시들을 들며(줄리아 집합, 크롤링, 클러스터링, 베이지안 등) 설명하고 있습니다. 

어느 부분이 느린지, 왜 느린지를 따져가며 알려줍니다. 

그리고 코드도 오픈되어 있어서 따라하며 연습하기 좋습니다. 

1장에서 6장 까지는 파이썬의 여러 자료형에 대해 살펴봅니다. 

자료형에 따라 데이터가 어떻게 이동하고 사용 되는가를 설명하고 있어서 읽고 나서 출퇴근 시간에 생각해보기 좋습니다.

저는 이 부분을 읽으면서 내가 정말 아무것도 모르고 코드를 작성하였구나 라는 느낌을 받았습니다. 실질적인 도움이 많이 되었습니다. 

나머지 챕터는 파이썬에 사용할 수 있는 스킬들에 대해 설명하고 있습니다.

Cython, PyPy, Numpy, DAWG(Directed Acyclic Word Graph) 등을 설명하고 있어 참고하기 좋습니다.

하지만... 단점도 있습니다. 완벽한 비급서란 존재하지 않죠. 

책의 단점으로는 한권에 많은 내용이 담겨 있는 반면에 한 내용에 대해 깊지 않습니다. 

중간중간 음영처리가 되어있는 NOTE 부분이 생각할 거리를 던져주는데 좀 부족합니다.

어느 정도 맛을 보여준 후 '나머지는 너가 공부해봐' 느낌이 납니다. 뒷부분으로 갈 수록 그런 느낌이 많이 듭니다.

하지만 이건 제가 "파이썬 애송이" 이기 때문에 생기는 단점이라 생각합니다.

이제 한줄 평으로 정리하겠습니다.

만약 당신이

파이썬이라는 언어가 있다던데 한번 배워볼까? 라는 생각을 가지고 있다면 추천드리지 않습니다.

하지만 만약 당신이

파이썬 내가 써보니깐 편하고 좋은데 뭐가 부족하단 말야.. 라는 생각을 가지고 있다면 적극 추천드립니다.

감사합니다.

파이썬의 매운맛을 보여주겠어!!

라고 외치는듯 한 표지가 심상치 않다. 

나날이 파이썬의 인기가 늘고 있는 것 같다. 

서점을 가면 파이썬 기초 책들이 우후죽순으로 늘어나고 있는것만 봐도 알 수 있다. 

파이썬은 처음 프로그래밍을 접하는 사람들에게는 충분히 쉽고 충분히 재미를 느끼게 해줄만한 언어다.

이러한 파이썬에도 약점?은 있으니 바로 성능(Performance)부분이라고 말할 수 있다. 

<고성능 파이썬(High Performace Python)> 도서는 악점으로 손 꼽히는 성능에 대한 고민을 해결해주기 위한 책이다. 

이 책은 "성능상의 병목 지점을 파악"하고 "더 빠르고 확장성이 뛰어난 해법"을 위한 실용 지침을 제공한다.

* <경고!!> 도서에 대한 리뷰를 하기 전에 당부의 말을 적어본다. 

이 책은 특수목적을 가진 책으로 파이썬을 충분히 사용해봤고, 현재 파이썬을 활용한 시스템에서 성능문제로 고민하고 있는 독자를 대상으로 하고 있다. 만약, 파이썬의 기초정도의 수준 또는 성능문제 해결에 대한 고민이 없다면 이 책을 읽어나가는데 무척 힘든 여정이 될 것이라 생각한다. 

* 고성능 파이썬의 구성은 알차다!

고성능 파이썬은 총 12챕터로 구성되어 있으며 챕터1과 챕터2는 꼭 읽어 보길 추천한다. 

- [챕터1] 고성능을 위한 파이썬 이해하기 에서는 파이썬을 최적화하기 위해서는 결국 컴퓨터 하드웨어 연산에 대해서 알아야 한다고 강조하고 있다. 결코 성능을 논하려면 하드웨어 직접 제어까지도 논할 수 있어야 한다고 생각한다. 

- [챕터2] 프로파일링으로 병목지점 찾기에서는 시스템의 어느 부분이 느린지? 어디서 과도한 I/O작업이 발생되는지 측정한다. 

그 외 나머지 챕터들은 순차적으로 읽지 않고 자신이 필요한 부분을 먼저 읽어도 될 것 같다는 생각을 해본다. 

* 내용은 어려웠지만 몰입하게 되더라!

나는 [챕터 7] C 언어로 컴파일하기 부분이 제일 궁금했는데 다양한 라이브러리들을 제공하여 파이썬 코드를 C 코드로 변환하여 최적화를 하는 내용으로 핵심적으로 잘 요약되어 있던 느낌을 받았다. 

* 편집에 신경썼구나?

- 각 챕터 시작 시 "이 장에서 배울 내용"이라는 학습목표를 나열하여 독자가 어떤 내용이 나올지 마음의 준비를 할 수 있게 해서 좋았다. 

- 내용 중간중간 "NOTE"를 제공하여 중요 핵심포인트, 꿀팁 등을 제공하여 읽으면서 놓칠 수 있는 부분을 챙겨주는 듯한 느낌을 받았다.

정리하면, 파이썬 초심자가 보기에는 독사같은 책이 될 것 같으며 파이썬의 성능에 목말라 있는 사람이 보면 보약이 될 그런 책으로 정의하고 리뷰를 마친다.  

파이썬은 쉬운 접근성으로 인하여 생산성이 높은 언어의 대표로 많이 소개되는 편이다.

비 전공자들의 프로그래밍 입문으로도 많이 활용되며, 교육용으로도 많이 이용되고 있는 편이다. 

또한 코드가 간결하고 다양한 곳에서 활용하기 편하기 때문에 많이 사용하는 언어이다.

웹에서도 쓸수 있고 웹 이외에서도 사용할 수 있는 범용언어다.

들여쓰기를 활용하는 특별한 구조로 인해 코드를 읽기 쉽고 모양도 다른 언어에 비해서

덜 복잡한 편이다.

그러나 느리다고 정평이 나있는데, 예전 자료지만 참고했으면 좋겠다.

ruby, python, java, c 등의 여러 언어들의 성능 비교자료

http://www.timestretch.com/article/mandelbrot_fractal_benchmark

The Computer Language Benchmarks Game

http://benchmarksgame.alioth.debian.org/u64q/python.html

그리고 여러 블로그들을 참고 해보면,

스크립트 언어의 특성상 한줄한줄 작성하긴 편하기 떄문에 개발시간은 단축할 수 있지만,

그 한줄한줄 작성된 바이너리 코드를 해석하는 부분에서 시간을 잡아 먹는다고 한다.

C와 비교하면 대략적으로 100배 정도 차이 나는 듯 하다.

ps. 저렇게 오래걸리는 코드는 안짜니까 그냥 편한 Python 을 씁니다.^^;;

아무튼 이러한 여러가지 파이썬 이야기들이 있는데, 재미있는 미션 책이 나와서 선정하게 되었다.

바로 바로

파이썬에서는 감히 얘기할 수 없었던.

고.성.능!

바로 고성능 파이썬 이다.

고성능 파이썬 국내도서 저자 : 미샤 고렐릭(Micha Gorelick),이안 오스발트 / 오현석,김영근역 출판 : 한빛미디어 2016.08.10 상세보기

이 책은 감히 접근해본적도 없는 로우 레벨까지의 아키텍처를 찾아보며 최적화를 통해 성능을 높히고자 한다.

메모리를 어떻게 할당해야하는지, 그리고 가장 보편적으로 많이 쓰는 방법인

C언어로 컴파일하는 Cython 이라던지, pypy 라던지 일반적인 내용에 대해서는 이미 어느정도 접해본 부분이라 이해하기 쉬웠다.

결국 모든 처리의 기본은 IO 이기 때문에 그런 부분을 해소하기 위한 부분들이 많이 있었다.

단순 개발만 공부해보신 부분들은 좀 어려울수도 있다.

실제 클러스터 구축이라던지, 레디스 등의 활용은 언어만 공부하고자 하는 부분에서는 어려울 듯하지만,

이 책을 보는 구독자 층을 생각하면 크게 문제 되지 않을듯 하다.

책을 보면서 실제 이정도의 처리 성능이 필요한 개발이 있을까 싶긴 하지만,

파이썬으로도 이러한 고민들을 꾸준히 하고 있다는 데에 다시 한번 놀라움과 대단함을 표한다.

저를 비롯한 파이썬 쪼렙들에겐 엄청 어려울듯 하지만,

한번쯤은 경험해보고 싶은 부분이라서 좋은 경험이라고 생각한다.

파이썬을 사용하는 사람들에게 “왜 파이썬입니까?”라고 묻는다면, 십중팔구는 “쉬워서요”라고 대답합니다. 파이썬이 쉬울 수 있는 이유는, 프로그래머가 코드 이면에 숨겨져있는 복잡한 아키텍처들을 신경쓰지 않아도 어쨌든 ‘작동’하게 만들 수 있기 때문입니다. 

그런데 이 책은, 사뭇 다른 시각으로 파이썬에 접근합니다. 파이썬의 ‘쉬움’에만 만족하지말고, ‘잘 써보자'는 것이죠.

따라서 그냥 ‘쉬워서’ 파이썬을 처음 접하신 분들에게는, 이 책이 처음엔 다소 어려울 수 있습니다.

이 책은 어셈블리 레벨 혹은 그 이하의 아키텍처의 흐름까지 아우르며 파이썬의 성능을 최적화하는 일에 몰두합니다.

기존에 C언어나 어셈블리 언어에 대한 배경지식을 가지고 계신 분이라면 굉장히 흥미롭게 이해하실 수 있을 것입니다.

(만약 이 책을 통해 파이썬을 '처음' 접하시는 분들이라면, 우선 다른책을 먼저 보시는게 좋겠어요 ^^;)

이 책은 먼저  파이썬의 성능 개선에 대해 논의하기 이전에, 기본적으로 숙지해야 할 컴퓨터 아키텍처에 대한 쉽고 가벼운 설명을 담고 있습니다. 컴퓨터공학에 대한 전반적인 배경지식이 없이 프로그래밍 관점으로만 업무를 진행해오신 분이라면 첫번째 챕터를 반드시 이해하실 필요가 있습니다. 이후 두 번째 장에서부터는, 병목 지점을 찾기위한 일명 '프로파일링'기법을 제시하며 본격적으로 성능향상을 위한 방법을 제시합니다. 컴퓨터 프로그래밍에서 ‘프로파일링(Profiling)’이란 프로그램의 시간 복잡도 및 공간(메모리) 복잡도, 함수 호출의 주기와 빈도등을 측정하여 프로그램의 성능을 분석하는 행위를 말합니다. 이번 챕터에서는 CPU, 메모리, 네트워크 대역폭, 디스크 I/O 등 다양한 측정기준을 제시하고, 이를 효율적으로 측정할 수 있는 도구를 알려줍니다.

제 생각에 저자인 미샤 고렐릭(Micha Gorelick)과 이안 오스발트(Ian Ozsvald)는 틀림없이 완벽주의자적인 성격의 소유자인 것 같습니다. 성능 프로파일링을 수행함에 있어서, 실험에 영향을 미칠 수 있는 다른 요소들(BIOS 의 터보부스트, CPU 온도, 배터리 사용, 백그라운드 작업 등)을 꼼꼼하게 나열한 후에, 실험 결과와 관련된 조건만을 유지하고, 나머지 요소들은 통제해야 한다는 것을 강조하고 있습니다.(일명 ‘변인통제’) 이렇게 꼼꼼하게 체크하면 반드시 성능상의 문제점이나 병목지점을 발견할 수밖에 없겠지요?