[도구]메타, 초당 10억 건 처리하는 프록시 'ZGateway' 공개

무슨 일이야

메타 엔지니어링 팀이 ZippyDB와 클라이언트 애플리케이션 사이에 위치하는 프록시 계층 'ZGateway'를 구축했다고 밝혔습니다. ZippyDB는 메타 내부에서 가장 널리 쓰이는 키-값 저장소로, 각종 제품 메타데이터와 카운터, 설정값 등을 초당 수십억 건 규모로 처리하는 핵심 인프라입니다.

ZGateway는 초기 100만 대 이상의 클라이언트 호스트에서 분산 저장소로 직접 연결할 때 생기는 커넥션 폭증(connection sprawl) 문제를 해결하기 위해 시작되었습니다. 현재는 초당 10억 건(1 Billion) 이상의 작업을 감당하는 대규모 무상태(stateless) 프록시 계층으로 확장되어 트래픽을 안정적으로 통합하고 있습니다.

왜 중요해

대규모 분산 시스템에서는 클라이언트 수가 급증할수록 백엔드 스토리지 노드가 맺어야 하는 연결 수가 기하급수적으로 늘어나 시스템 부하와 장애 위험이 커집니다. 메타는 무상태 프록시 계층을 사이에 두어 연결을 집약하고 스토리지 백엔드를 보호하는 아키텍처를 구현했습니다. 초대형 서비스를 운영하며 분산 키-값 저장소의 커넥션 관리 문제를 겪는 엔지니어들에게 실질적인 참조 사례가 될 것으로 보입니다.

짚고 넘어갈 점

원문에는 ZGateway의 구체적인 구현 기술(사용 언어, 프로토콜 등)이나 오픈소스 공개 여부, 프록시 도입으로 인한 추가 레이턴시 수치 등 세부 아키텍처 내용은 포함되어 있지 않습니다. 메타의 전체 엔지니어링 블로그 글을 통해 상세 스펙을 확인할 필요가 있어 보입니다.

참고: MarkTechPost