Skip to main content
UploadLanguage (EN)Support
BusinessMobileSocial MediaMarketingTechnologyArt & PhotosCareerDesignEducationPresentations & Public SpeakingGovernment & NonprofitHealthcareInternetLawLeadership & ManagementAutomotiveEngineeringSoftwareRecruiting & HRRetailSalesServicesScienceSmall Business & EntrepreneurshipFoodEnvironmentEconomy & FinanceData & AnalyticsInvestor RelationsSportsSpiritualNews & PoliticsTravelSelf ImprovementReal EstateEntertainment & HumorHealth & MedicineDevices & HardwareLifestyle
Chanwoong Kim, profile picture
Uploaded byChanwoong Kim
PDF, PPTX2,687 views

[NDC18] 만들고 붓고 부수고 - 〈야생의 땅: 듀랑고〉 서버 관리 배포 이야기

NDC 2018, "만들고 붓고 부수고 - 〈야생의 땅: 듀랑고〉 서버 관리 배포 이야기" 발표 자료입니다.

Engineering◦
Download as PDF, PPTX
만들고 붓고 부수고 김찬웅 〈야생의 땅: 듀랑고〉 서버 관리 배포 이야기 넥슨 컴퍼니 왓 스튜디오
저작물 인용 저작권법 제35조의 3 ‘공정이용’ 조항에 따라 교육과 연구 목적으로 이용 하고 있습니다. 혹시 문제가 있을 경우, cwkim@nexon.co.kr 로 연락 주시면 적절한 조치를 취하겠습니다.
김찬웅 넥슨, 왓 스튜디오, 백엔드 엔지니어 자동화가 취미인 프로그래머 • NDC15 <그룹웨어에 새 에너지를> • NDC16 <Find My AndPhone> • NDC16 <Effective Git> • NDC17 <왓 스튜디오 서비스파트>kexplo https://chanwoong.kim cwkim@nexon.co.kr kexplo
만들고 붓고 부수고 〈야생의 땅: 듀랑고〉 서버 관리 배포 이야기
발표에서 다룰 내용 • 서버 인프라 관리 • 인프라 관리 변천사 • 변천 과정에서 도입한 도구 소개
발표에서 다루지 않는 내용 • 게임 서버 아키텍처 • 게임 플레이 프로그래밍
초기 〈야생의 땅: 듀랑고〉의 서버 인프라 관리
초기에 AWS를 사용할 때
초기에 AWS를 사용할 때 일단 웹 콘솔에 들어가서
초기에 AWS를 사용할 때 일단 웹 콘솔에 들어가서 EC2 인스턴스를 하나 만들고
초기에 AWS를 사용할 때 일단 웹 콘솔에 들어가서 EC2 인스턴스를 하나 만들고 IP 주소를 확인하고 SSH로 들어가서
초기에 AWS를 사용할 때 일단 웹 콘솔에 들어가서 EC2 인스턴스를 하나 만들고 IP 주소를 확인하고 SSH로 들어가서 필요한 걸 설치하고
초기에 AWS를 사용할 때 일단 웹 콘솔에 들어가서 EC2 인스턴스를 하나 만들고 IP 주소를 확인하고 SSH로 들어가서 필요한 걸 설치하고 원하는 작업을 수행
삭제도 수동으로
왜 안 되지? 뭘 빼먹었지? 이런 방식이면 언젠간..
전부 수동으로 관리하다 보면, 실수할 여지가 많고, 숙련되지 않으면 빠르게 수행하기도 어렵다.
자동화.. 흠..
자동화.. 흠.. 내가 안 하면 자동이지 남을 시킬까?
자동화 하면 빠질 수 없는게 바로.. Application Programming Interface
Boto 3 https://boto3.readthedocs.io/en/latest/guide/quickstart.html
EC2를 원하는 스펙으로 생성하는 CLI 프로그램을 제작 >_ Command line interface
http://click.pocoo.org/5/
시스템 설정, 배포는 Fabric으로 http://www.fabfile.org/
Fabric Fabric은 agent 없이 동작하는 (agentless) 배포 도구
Fabric Fabric은 agent 없이 동작하는 (agentless) 배포 도구
Fabric은 fabtools와 함께 사용하면 매우 효율적으로 사용할 수 있습니다
fabtools
fabtools fabtools는 많은 low-level 행동들을 인터페이스로 제공합니다
fabtools fabtools는 많은 low-level 행동들을 인터페이스로 제공합니다 덕분에 선언적인 배포 코드를 짤 수 있습니다
https://docs.gitlab.com/ee/ci/multi_project_pipeline_graphs.html
저장소에 코드 푸시 Fabric = 호스트
Fabric 저장소에 코드 푸시 CI 테스트 통과 = 호스트
Fabric CI 테스트 통과 저장소에 코드 푸시 = 호스트
Fabric 배포저장소에 코드 푸시 CI 테스트 통과 = 호스트
Fabric 배포저장소에 코드 푸시 CI 테스트 통과 = 호스트
인스턴스 식별
인스턴스 식별 인스턴스에는 식별할 수 있는 Tag 들을 달았습니다
인스턴스 식별 인스턴스에는 식별할 수 있는 Tag 들을 달았습니다 Fabric을 이용할 때, 이 Tag를 가지고 배포 대상을 추려낼 수 있었습니다
Limited Beta Test를 겪으며
= 호스트
자동화된 생성, 제거, 배포 자동화의 영역 수동의 영역 Name Type Count server1 m4.large 4 server2 m4.2xlarge 2 server3 m4.large 1 >_ 수동으로 관리되던 인프라 구성 관리
자동화의 영역 수동의 영역 Name Type Count server1 m4.large 3 server2 m4.2xlarge 2 1 server3 m4.large 1 server4 m4.large 1 >_ 자동화된 생성, 제거, 배포 수동으로 관리되던 인프라 구성 관리 인프라 구성이 바뀌면, 인프라 정보 동기화 필요!!
Fabric 배포저장소에 코드 푸시 GitLab CI 앱 배포 시, Git 저장소에서 필요한 코드를 복제
Fabric 배포저장소에 코드 푸시 셀프 DDoS Attack! 앱 배포 시, Git 저장소에서 필요한 코드를 복제 DDoS attack: Distributed Denial of Service attack GitLab CI
Fabric 배포저장소에 코드 푸시 큰 규모의 인프라가, 저장소 서버에 과부하를 야기!! 셀프 DDoS Attack! DDoS attack: Distributed Denial of Service attack GitLab CI 앱 배포 시, Git 저장소에서 필요한 코드를 복제
마일스톤 막바지가 되면.. ※ 설치형 GitLab EE를 사용하고 있습니다. GitLab 코드 푸시 GitLab 장애 코드 푸시를 못 함. (쌓임) GitLab이 살아남 배포 (DDoS를 야기)
앞의 문제들을 해결해야 했습니다 • 인프라 관리 자동화 • 배포 정상화
인프라 관리 대안
Infrastructure as code
Infrastructure as code
Infrastructure as code t2.micro
• 인프라(코드)의 버전 관리 가능 • AWS 제품별 API(boto)를 직접 만지지 않아도 됨 • 인프라의 모듈화 가능 • 인프라의 생성/복제/제거가 자유로워 짐 • 그 외 코드가 갖는 모든 장점 • Code review • Merge request
인프라 복제 develop
인프라 복제 develop nightly
인프라 복제 develop nightly canary
인프라 삭제 develop nightly canary $ terraform destroy
배포 저장소 과부화 대안
Debian Packaging
〈야생의 땅: 듀랑고〉의 게임 서버는 Python을 사용합니다
Python 프로그램을 배포하는 4가지 방법 • Git+pip • Docker • PEX • dh-virtualenv
pip은 Python 패키지를 설치하는 도구 Python Package Index(https://pypi.org/)로부터 패키지를 내려받아 설치하거나, Git 저장소에서 내려받아 설치할 수 있다. Git+pip
Docker는 컨테이너 가상화 도구 VM과 달리 컨테이너 단위로 환경을 격리해 준다 프로그램과 필요한 의존성을 모아 컨테이너화해서 사용할 수 있다 Docker
PEX (Python EXecutable)는 Python 의존성을 같이 패키징 한 .pex 라는 단일 실행 파일을 만들어주는 도구 PEX https://github.com/pantsbuild/pex
PEX (Python EXecutable)는 Python 의존성을 같이 패키징 한 .pex 라는 단일 실행 파일을 만들어주는 도구 PEX https://github.com/pantsbuild/pex
dh-virtualenv는 Python 의존성을 포함한 Debian 패키지 파일 을 생성하는 도구 Debian 패키지를 빌드하는 debhelper의 빌드 과정에 dh_virtualenv 빌드 시퀀스를 추가하여 동작하는 방식 dh-virtualenv https://github.com/spotify/dh-virtualenv
부끄럽지만.. pip으로 내부 Git 저장소를 통해 설치하는 방식으로 배포를 하고 있었고, 이게 GitLab에 부하를 일으켰던 원인
듀랑고의 서버를 이루는 노드는 모두 연결을 맺고 있는데
Docker를 사용하게 되면, 이 때 사용하는 ephemeral ports를 모두 “EXPOSE” 할 수 없었다
PEX로는 당시에 Cython등 의존하고 있는 몇 가지 요소를 미리 설치해 놓을 수 없었고 최종적으로 dh-virtualenv를 사용하기로 결정
Fabric 배포저장소에 코드 푸시 GitLab CI 패키지 빌드 S3 업로드 배포 과정에서 S3에 있는 패키지 설치
Fabric 배포저장소에 코드 푸시 GitLab CI 패키지 빌드 S3 업로드 배포 과정에서 S3에 있는 패키지 설치
Fabric 배포저장소에 코드 푸시 GitLab CI 패키지 빌드 S3 업로드 배포 과정에서 S3에 있는 패키지 설치
Fabric 배포저장소에 코드 푸시 GitLab CI 패키지 빌드 S3 업로드 배포 과정에서 S3에 있는 패키지 설치 S3는 높은 가용성을 가지고 있기 때문에 버틸 수 있다
추가적인 배포 최적화
OS 설정 의존성 AWS는 EC2 이미지인 AMI를 지원한다. AMI에는 각종 의존성과 OS 설정을 넣어 만들어 놓곤 했는데.. Amazon Machine Image
OS 설정 의존성 만들기가 번거롭다 보니, 쉽게 낡아 버리곤 했다 AWS는 EC2 이미지인 AMI를 지원한다. AMI에는 각종 의존성과 OS 설정을 넣어 만들어 놓곤 했는데.. Amazon Machine Image
Fabric 배포 GitLab
Fabric 배포 GitLab 그러다 보니 배포 과정에 추가 의존성 설치를 하고 있었다. 추가 의존성 설치
Fabric 배포 GitLab 그러다 보니 배포 과정에 추가 의존성 설치를 하고 있었다 배포 속도를 늦추고, 모든 의존성을 한눈에 볼 수 없었다 추가 의존성 설치
다양한 타입의 머신 이미지를 만들 수 있는 도구
Packer를 이용해 의존성을 한 곳에서 버전 관리 할 수 있었고, AMI를 만들어 사용하기도 편해졌다.
서비스 오픈을 앞두고
서비스용 인프라 구축 개발용 VPC
서비스용 인프라 구축 개발용 VPC 기존에는 개발용 VPC에 모든 인프라를 섞어서 쓰고 있었는데…
서비스용 인프라 구축 • 기존에는 개발 VPC에 모든 인프라가 뒤섞여 있었음 • 서비스에서는 서버가 개별 VPC에 분리되어야 함 • 개별 VPC는 운영에 필요한 요소도 전부 갖춰야 함
서비스용 인프라 구축 개발용 VPC
서비스용 인프라 구축 개발용 VPC module module module
서비스용 인프라 구축 개발용 VPC module module module 사실 모두 Terraform 모듈화 되어있었고
서비스용 인프라 구축 개발용 VPC module module module EC2가 아닌 인프라도 관리할 수 있게 되었다 사실 모두 Terraform 모듈화 되어있었고
서비스용 인프라 구축 개발용 VPC module module module 라이브용 VPC module module module
서비스용 인프라 구축 개발용 VPC module module module 라이브용 VPC module module module 덕분에 라이브용 VPC를 구축할 때, 원하는 요소를 원하는 규모로 복제할 수 있었다
참 쉽죠?
= 호스트 더 더 많아진 수량