현업에서 high level의 시스템 영역을 개발하면서, 이따금씩 CPU, MEM 자체 불량의 이슈, 네트워크 레이턴시의 저하 등등

저의 책임영역과는 거리가 있지만 의존관계에 있기때문에 low level 계층에서 뭔가 이슈사항이 있다면

고스란히 영향이 오곤 했습니다.

이런 상황에서 top, syslog 등을 최대한 활용해 지속적으로 가정을 내리고 '만약 이렇다면..? 이렇지 않을까?'

란 자문자답을 거듭하며 문제점의 범위를 좁히고 오랜시간이 걸려 문제를 찾고 해결하곤했습니다. 

본 서적에 의하면, 이와 같은 방식은 observability 관점에서 질문을 던지고 답을 얻는 방식이라 합니다.

또한, 제 경험에선 metricbeat나 sar를 사용해 CPU, MEM의 자원모니터링과 같이 지표를 설정하고 이에 대해

임의의 이상치 임계값을 설정하는 등은 metric 기반의 방식이라 합니다.

무엇이 되었든, 저수준의 OS, kernel레벨에서 시스템콜과 같은 기록 들을 여과없이 남길 수 있다면

이 또한 큰 정보가 되겠습니다.

본 서적에서 소개하는 BPF는 저수준의 kernel레벨에서 다양한 추적방식을 제공하는 도구 입니다.

저에게는 좀 난이도가 있는 책이었는데요. 최소한 정보수집과 이벤트 추적에 있어서 넓은 가능성과 희망을

보여주었다는 점에 대해서는 BPF에 대해서 시간을 두고 더 깊이 파보고 싶은 생각입니다.

bpf를 기반으로 도움을 주는 유틸리티와 다양한 대상(소켓, k8s 노드, cgroups, runtime process, system call 등) 들에 대해 추적 데이터를 얻어내고 시각화하는 방법을 소개한 책입니다.

저수준에서 시스템을 면밀히 모니터링하고자 하는 분들에게 추천드립니다.

본 서적에서 소개하는 BPF는 저수준의 kernel레벨에서 다양한 추적방식을 제공하는 도구 입니다.

저에게는 좀 난이도가 있는 책이었는데요. 최소한 정보수집과 이벤트 추적에 있어서 넓은 가능성과 희망을

보여주었다는 점에 대해서는 BPF에 대해서 시간을 두고 더 깊이 파보고 싶은 생각입니다.

컴퓨터 기술이 발전하면서 관측의 중요성이 올라가는데요. 중요 정보가 있는 사이트의 경우 보안 부분에 민감한 경우들이 많이 있습니다. 일반 사이트 경우 보안이 취약할 경우 회원가입을 했는지 확인하기 위해 아이디를 쳐보고 확인합니다. 비밀번호만 틀렸다고 알려주는 창이 나오면 회원 가입한 아이디이기 때문에 아이디 정보를 얻을 수 있는 문제가 발생합니다. 그래서 보안을 유지하기 위해서는 아이디, 비밀번호 둘 중 하나라도 틀릴 경우 동일한 응답이 나오게 해야 됩니다.

응답은 아이디와 비밀번호가 틀렸다는 것을 응답하므로 추측을 못 하게 보완됐습니다. 이번에 알아볼 저서는 BPF로 리눅스 관측 가능성 향상하기입니다. BPF는 버클리 패킷 필터로 네트워크 트래픽을 분석하기 위해 사용되는 기술입니다. 이 저서에 가장 먼저 만나게 되는 문장은 비야네 스트롭스트룹의 “우리의 문명은 소프트웨어를 바탕으로 돌아간다.” 인용글을 볼 수 있는데요. 소프트웨어의 기반으로 현대 문명을 지탱하는 컴퓨팅 기반구조에서 큰 자리를 차지하고 있는 것이 바로 리눅스 커널입니다.

우리 사람에 직·간접적으로 영향을 미치는 수많은 소프트웨어가 리눅스 커널에 의존하며, 어떤 운영체제이든 커널은 극도의 성능과 보안이 요구되는 영역입니다. 리눅스 커널은 아무나 건드릴 수 없는 소수의 전문가에게만 허용되는 영역으로 간주하는데요. 그 점을 생각하면, 평범한 개발자도 스크립팅과 vm을 통해 편하고 안전하게 리눅스 커널 안에서 원하는 코드를 실행하게 하는 BPF의 기술은 흥미롭다고 생각합니다.

먼저 관측 가능성 접근 방식은 주어진 임의의 시스템에 대해 임의의 복잡한 질문을 던지고 그 응답을 얻을 수 있는 능력을 정의하는데요. 관측 가능성과 로그, 측정치 취합의 차이점은 각각이 수집하는 자료에 있습니다. 관측 가능성을 활용한다는 것이 임의의 시점에서 임의의 질문에 대한 답을 얻을 필요가 있다는 뜻이라고 할 때, 자료로부터 응용 프로그램의 행동을 추론하려면 시스템이 생성하는 모든 자료를 수집해야 하며, 그러면서도 질문에 대한 답을 얻어야 할 필요가 있을 때만 그 자료를 취합해야 합니다.

이 저서는 컴퓨팅 시스템의 관측 가능성을 높이는 데 도움이 되는 BPF의 여러 강력한 기능들을 제시합니다.

BPF 패킷 필터는 시스템 네트워크를 감시하는 데 사용하는데요. 커널과 사용자 공간 사이의 주된 자료를 교환할 때는 BPF 맵을 사용하며, BPF 확장되면서 커널 시스템의 변화 된 것도 볼 수 있습니다. eBPF는 기존 BPF 구현보다 최대 4배 빠르게 작동합니다. 예전 32bit 레지스터 2개에서 64bit 레지스터 열개로 확장됐습니다. BPF로 표기를 하지만 업그레이 된 부분으로 이해하고 개념을 배울 수 있습니다.

직접 자료를 취합하거나 분류할 수 있다는 점이다. 이는 수집한 자료를 손실 가능성 있는 대기열을 거쳐 사용자 공간에 보낸 후 거기서 취합, 처리해야 하는 기존 도구들에 비해 BPF의 확실한 장점을 볼 수 있습니다. 다양한 프로그래밍 언어로 BPF 프로그램을 작성하는 방법도 설명하고 있습니다. 또한 예제 코드를 https://oreil.ly/lbpf-repo에서 확인 할 수 있습니다.

BPF는 리눅스 4.18부터 도입된 기능으로 리눅스 기능을 확장해줍니다. 기능 확장을 통해 관측 가능성도 향상할 수 있으며, 관측하게 되면 시스템을 안정적으로 운영 가능합니다. BPF 학습을 통해 보안능력이 향상되시길 바랍니다. 이 저서의 주 독자층은 시스템 엔지니어와 네트워크 성능 분석 전문가, 리눅스 커널 개발자 등이 많을 거로 생각합니다. 이번 기회에 BPF를 이용해서 자신을 업글할 수 있는 추적 프로그램을 작성하는 방법을 추천합니다.

본 리뷰는 한빛미디어로부터 도서를 지원받아 작성되었습니다.

표지

올빼미책

따로 말 할 필요가 없다. 올빼기가 그려진 표지를 가지고 있다.

내용

BPF

Berkeley Packet Filter의 약자로, 대부분의 유닉스 계약 운영체제에서 사용 가능한 데이터 링크 계층의 원시 인터페이스를 제공한다.

리눅스 관측 가능성 향상

이 책은 리눅스에서 BPF를 어떻게 이용해야 커널 내에서 일어나는 일들을 효율적으로 분석하여 필요로 하는 정보를 얻을 수 있는지를 단계적으로 설명하고 있다. 기초적인 것 부터 차근차근 설명 해 주고 있기에 필자와 같이 BPF를 처음 잡하는 사람이라도 천천히 책의 흐름을 따라가며 공부한다면 어느새 BPF를 이용해 이전에는 상상도 못 하였던 다양한 작업을 할 수 있게 된다.

결론

이 책은 사실 개발을 위해 꼭 필요한 정보를 담은 책은 아니다. 하지만, BPF에 대해 알게 된다면 할 수 있는 것이 늘어난다는 사실에 변함은 없을 것이다. 리눅스를 이용하는 유저들은 이 책을 한 번쯤 읽어본다면 이전에는 알지 못 하였던 세상을 엿볼 수 있을 것이라 확신한다. 결론적으로, 이 책은 개발을 공부하는 데에 필수적인 요소라고 말할 수는 없지만 누군가에게 유용한 정보가 될 가능성을 가진 좋은 책이라 말하고 싶다.

책은 크게 3 부분으로 나뉜다.

기본적인 BPF 소개와 BPF 프로그램 유형에 따라 실행 추적과 네트워킹 부분으로 나뉜다.

BPF를 사용하는 방법을 소개한 후, 추적 및 네트워킹을 설명한다.

추적 부분은 BPF 프로그램을 이용해서 시스템에서 일어나는 일들을 추적하는 방법과 관련 툴에 대한 내용이고, 네트워킹은  BPF를 이용한 패킷 필터링과 툴에 대한 내용이다.

책의 설명은 주로 C 언어를 사용하고 Python과 GO도 쓰인다. 

책이 기본적으로 이미 BPF를 경험해 본 독자를 대상으로 작성된 책이기 때문에 처음 보는 사람 입장에서는 어려울 수 있다.

특히 리눅스 시스템에 대한 이해가 필요하며 예제 코드를 실행해보기 위해서는 준비도 해줘야 한다. 

책의 github에서 관련자료를 얻을 수 있지만 필요한데 의 경우도 설명이 친절히 일일이 돼있지 않아서 직접 찾아봐야 하는 것도 많다.



 



BPF 라이브러리가 갖는 각종 기능에 대해 여러 예제와 더불어 설명한 책

다만 책 자체의 목적 상 리눅스 시스템에 어느 정도 숙련된 경우가 아니라면 추천하기 힘들 것 같다.

종이책보다는 전자책이 활용에 더 도움이 될 것으로 보인다.

• 이 책은 한빛미디어의 «나는 리뷰어다» 이벤트로 받은 서적입니다.

1

혼자서 집에 있으면 라즈베리파이 커널 모듈, 리눅스 커널 모듈 등을 만지면서 여전히 리눅스 커널에 대해서 관심을 가지고 있어서, 잘 모르지만 ‘BPF’ 관련 서적 리뷰를 신청했다. 이 책은 단점과 장점이 공존하는데, 이 책의 장점 중 하나로 번역을 ‘류광’님이 해주셔서 읽는데 전혀 문제가 없다. 하지만 BPF 자체가 리눅스 커널과 관련된 내용이 많다보니 아무래도 책의 난이도가 높다.

프로젝트에서 Docker를 사용할 때, 모니터링 때문에 애를 먹었는데 이 기사를 참고하면서 처음으로 BPF에 대해서 알게되었다. BPF는 Berkeley Packet filter 의 약자로 이름에서 알 수 있듯이 네트워크 분석을 위해 사용되던 툴인데 지금은 마개조 되어서 어플리케이션 분석 및 프로파일링을 지원하는 툴로 발전하였다.

아마 이 책의 서평을 읽으시는 분들은 위에 기술한 내용은 대부분 알것으로 생각된다. 나도 BPF에 대해서 관심을 가지고 책을 찾아봤는데, 대부분 영문 서적이라서 약간 실망한 기억이 있고 국내에 BPF 관련 교재는 이 책이 처음이지 싶다.

2

이 책을 읽으면서 제일 기대했던 것은 Python 코드와 Go 코드를 사용해서 BPF를 활용할 수 있는 방법을 소개한다는 점이다. 제4장 BPF를 이용한 실행 추적을 보면 Python과 Go 코드를 사용하는 예제들이 많아서, BPF를 처음 시작할 때 오는 부담감을 조금 덜 수 있다. 그리고 실무적으로 사용하기엔 너무 간단하지만 기본적으로 C를 사용해서 프로젝트를 진행하기 힘든 환경의 경우 많은 참고가 된다. 예제를 참고해서 책을 구매하기 전에 확인해봐도 좋을 듯 싶다.

3

하지만 제8장 리눅스 커널 보안, 능력, seccomp에서 와 같이 실무에서 사용할 수 있는 예제는 C로 만들어져 있어서 C 언어가 익숙하지 않으면 약간의 부담감이 있다. 하지만 로우-레벨에서 작업하기 때문에 C언어 뿐만 아니라 커널에 관한 기본적인 지식이 필요해서 해당 교재만 가지고 쉽사리 접근하기 쉽진 않다. 하지만 BPF가 리눅스 프로파일링 분야에서 다양하게 사용되고 있기 때문에 기능이 엄청나게 확장되고 있다. Go언어도 적절히 사용할 수 있다는 점이 BPF의 또 다른 장점인 듯 싶다.

4

가격이 저렴하고, 번역이 잘 되어있기 때문에 커널이나 프로파일링 혹은 로우 레벨에 관심이 있으시면 한 번 질러봐도 좋을 듯 싶습니다.

목차

제1장 소개

제2장 생애 첫 BPF 프로그램

제3장 BPF 맵

제4장 BPF를 이용한 실행 추적

제5장 BPF 유틸리티

제6장 리눅스 네트워킹과 BPF

제7장 XDP 프로그램

제8장 리눅스 커널 보안, 능력, seccomp

제9장 실제 응용 사례

BPF 란 최초 Berkeley Packet filter 의 약자로 사용되었다. 리눅스 커널 네트워크 분석을 위해 사용되던 툴이 지금은 리눅스 커널과 어플리케이션 모두를 분석, 프로파일링 할 수 있는 유용한 툴로 발전하였습니다.

BPF를 온라인으로 학습하고 사용하다 처음 접한 도서가 Brendan Gregg가 작성한 'BPF Performance Tools' 란 책이였다. 외서로써 약 950페이지..? 정도의 책이였다. 스터디를 위해 공부하기 시작하였던 책이였는데, 이 책을 읽고 부족한 점을 느낀 분들은 해당 책을 읽어보는 것을 추천한다. 책은 매우 두껍고, 작가의 개인적인 내용도 있기에 필요한 부분만 찾아서 공부하는 것을 추천한다.

이 책은 내가 읽은 BPF에 관련된 두 번째 책이다. 솔직하게 말하자면, 이 책을 본다고 모두가 리눅스 성능 분석을 할 수 있는 것은 아니다. 분석은 분석하려는 시스템에 대한 이해도가 깊어야한다. 내가 분석하려는 시스템이 어떤 동작을 하는지, 적어도 분석하려는 특정 부분에 대해서는 이해하고, 트레이싱하려는 포인트 또한 알아야 한다. 간단한 예시로 시스템에서 특정 동작 중 파일 I/O 가 매우 느리다고 하자. 이 때 어디를 분석하겠는가? 이 책만 보고는 절대 알 수 없는 부분이다. 아니, Brendan Gregg가 작성한 'BPF Performance Tools' 책을 봐도 마찬가지 일 것 이다.

지금의 BPF 툴은 리눅스 프로파일링에서 점점 자리를 잡아가고 있으며 빠르게 다양한 기능이 확장되고 있습니다. 가장 좋은 건 제가 직접 코드를 작성하여 분석할 수 있다는 것입니다. 이 점은 dynamic tracing을 위한 다양한 기능과 더불어 매우 유용하게 사용될 수 있습니다.

프로파일링 업무를 하시는 분들에겐 BPF를 깊게 공부하는 것이 아닌, BPF가 이렇게 확장되서 사용되고 있구나 정도는 알 수 있는 책입니다. 좀 더 깊게 학습이 필요한 분들 Brendan Gregg 의 블로그나 github BPF 코드를 보는 것을 추천드려요!

감사합니다.

BPF(Berkeley Packet Filter) 즉 필터다.

최신 Linux에서 사용되는 네트워크 패킹 필터라고 할 수 있다.

책을 읽어봐도 Low Level 수준에 관련된 내용이 많이 나와서 잘 모르겠다.

처음에는 C언어를 활용해서 BPF예제를 만드는 내용이 좀 나오고,

GO언어를 활용하는 부분도 좀 나온다.

내 경우에는 직접 코드를 작성할 일은 별로 없을 뜻 하다.

하지만 Docker를 활용할 때 대부분 Linux 기반이기 때문에 tcpdump나 Sysdig정도는 알고 있으면

나중에 Docker를 사용할 때 풀리지 않는 문제가 있으면 활용해 볼 수 있을 듯하다.

결론은 Linux를 잘 모르는 독자에게는 몹시 어려운 책이다.

용어나 유틸리티 정도를 알아서 나중에 써 볼 수는 있을 듯하다.