연합학습 - 1. 핵심 구조: 허브-앤-스포크 토폴로지

연합학습의 핵심 구조: 허브-앤-스포크 토폴로지

연합학습(Federated Learning) 시스템의 가장 일반적인 구조는 허브-앤-스포크(Hub-and-Spoke) 토폴로지를 기반으로 합니다. 이는 중앙 서버(Hub)가 다수의 클라이언트(Spoke)와 연결되어 데이터 교환 없이 인공지능 모델을 훈련하는 분산형 학습 방식을 효율적으로 구현하는 핵심적인 구조입니다.

허브-앤-스포크 토폴로지란?

허브-앤-스포크는 원래 물류 및 운송 네트워크에서 효율성을 극대화하기 위해 사용된 모델입니다. 중앙 집중식 허브를 통해 모든 물품이 모이고, 각 목적지(스포크)로 분산되는 방식입니다. 이 개념이 연합학습에 적용되면서 다음과 같은 구성 요소로 이루어진 시스템 아키텍처를 의미하게 되었습니다.

• 허브 (Hub): 중앙 서버
• 전체 연합학습 프로세스를 조정하고 관리하는 중심적인 역할을 수행합니다.
• 초기 글로벌 모델을 생성하고 각 클라이언트에 배포합니다.
• 클라이언트로부터 학습된 모델 업데이트(가중치, 그래디언트 등)를 수집합니다.
• 수집된 업데이트를 종합하여 새로운 글로벌 모델을 생성하고 개선합니다. (예: Federated Averaging 알고리즘 사용)
• 업데이트된 글로벌 모델을 다시 클라이언트에 배포하는 과정을 반복합니다.
• 스포크 (Spoke): 클라이언트
• 개별 사용자 기기(스마트폰, 컴퓨터, IoT 장치 등) 또는 데이터가 저장된 로컬 서버(병원, 공장 등)를 의미합니다.
• 각 클라이언트는 자신만의 데이터를 보유하고 있으며, 이 데이터는 외부로 유출되지 않습니다.
• 중앙 서버로부터 글로벌 모델을 전달받아 자신의 로컬 데이터로 모델을 학습시킵니다.
• 학습을 통해 얻은 모델의 개선 사항(업데이트)만을 중앙 서버로 전송합니다. 원본 데이터는 절대 공유하지 않습니다.

연합학습에서 허브-앤-스포크 구조의 작동 방식

1. 초기화: 중앙 서버(허브)가 초기 글로벌 모델을 생성하고, 학습에 참여할 클라이언트(스포크)들을 선정합니다.
2. 모델 배포: 중앙 서버는 선정된 클라이언트들에게 현재의 글로벌 모델을 전송합니다.
3. 로컬 학습: 각 클라이언트는 전달받은 모델을 자신의 로컬 데이터셋을 이용해 학습시킵니다. 이 과정에서 각 클라이언트의 모델은 해당 데이터의 특성에 맞게 개별적으로 업데이트됩니다.
4. 업데이트 전송: 로컬 학습을 마친 클라이언트는 원본 데이터가 아닌, 학습을 통해 변경된 모델의 가중치(파라미터)와 같은 업데이트 정보만을 중앙 서버로 전송합니다.
5. 모델 집계 및 개선: 중앙 서버는 다수의 클라이언트로부터 수신한 모델 업데이트들을 집계합니다. 가장 보편적인 방법은 '연합 평균(Federated Averaging)'으로, 각 클라이언트의 업데이트에 가중 평균을 적용하여 하나의 개선된 글로벌 모델을 생성합니다.
6. 반복: 중앙 서버는 새로워진 글로벌 모델을 다시 클라이언트들에게 배포하며, 모델의 성능이 목표 수준에 도달할 때까지 2~5의 과정을 반복합니다.

허브-앤-스포크 모델의 장점과 단점

• 허브-앤-스포크 모델의 장점
• 데이터 프라이버시 강화: 각 클라이언트의 원본 데이터가 외부로 전송되지 않으므로 개인정보 및 민감 데이터 보호에 매우 효과적입니다.
• 효율적인 통신: 원본 데이터를 모두 전송하는 대신, 모델 업데이트 정보만 전송하므로 통신 비용과 대역폭 사용량을 크게 줄일 수 있습니다.
• 중앙화된 관리의 용이성: 중앙 서버가 전체 학습 과정을 통제하므로 모델 버전 관리, 참여 클라이언트 선정, 학습 스케줄링 등 관리가 용이합니다.
• 확장성: 새로운 클라이언트(스포크)를 중앙 허브에 연결하여 비교적 쉽게 학습 규모를 확장할 수 있습니다.
• 허브-앤-스포크 모델의 단점
• 중앙 서버 의존성: 중앙 서버가 다운되거나 공격받을 경우 전체 시스템이 마비될 수 있는 단일 장애점(Single Point of Failure)이 될 수 있습니다.
• 통신 병목 현상: 학습에 참여하는 클라이언트의 수가 매우 많아지면 중앙 서버로 업데이트가 집중되면서 통신 병목 현상이 발생할 수 있습니다.
• 데이터 불균형 및 이질성 (Non-IID): 각 클라이언트가 보유한 데이터의 양이나 분포가 크게 다를 경우(Non-IID), 글로벌 모델이 특정 데이터에 편향되어 학습 성능이 저하될 수 있습니다. 이를 해결하기 위한 정교한 집계 전략이 필요합니다.

'허브-앤-스포크'라는 용어를 사용하는 이유

역할과 관계의 강조

• 클라이언트-서버 (Client-Server): 이 용어는 매우 광범위합니다. 클라이언트가 서버에 '요청(Request)'하고 서버가 '응답(Response)'하는 모든 관계를 지칭합니다. 예를 들어, 웹 브라우저가 웹 서버에 페이지를 요청하는 것이 대표적입니다. 여기서는 서버가 자원이나 서비스를 '제공'하는 역할이 강합니다.
• 허브-앤-스포크 (Hub-and-Spoke): 이 용어는 단순히 서비스를 제공하고 받는 관계를 넘어, 중앙 허브가 전체 프로세스를 '조정(Orchestration)'하고 '통합(Aggregation)'하는 중심적인 역할을 강조합니다. 스포크(클라이언트)들은 단순히 서비스를 소비하는 수동적인 존재가 아니라, 공동의 목표(모델 개선)를 위해 각자의 위치에서 작업을 수행하고 결과를 허브에 다시 보내는 '능동적인 참여자'입니다.

정보 흐름의 시각적 묘사

'허브-앤-스포크'라는 이름은 자전거 바퀴처럼 중앙의 허브에서 여러 개의 바퀴살(스포크)이 뻗어 나가는 형태를 시각적으로 떠올리게 합니다. 이 비유는 연합학습의 정보 흐름을 매우 효과적으로 설명합니다.

• 중앙 집중적 흐름: 모든 정보(모델)는 허브에서 나와 스포크로 전달되고, 다시 스포크에서 허브로 모입니다. 스포크(클라이언트)끼리는 직접 통신하지 않는 것이 기본 원칙입니다.
• 순환적, 협력적 과정: 단순한 일회성 요청/응답이 아니라, 배포 → 로컬 학습 → 수집 → 통합 → 재배포라는 순환적인 과정을 통해 점진적으로 모델을 함께 만들어가는 협력의 그림을 더 잘 나타냅니다.

용어의 기원 (물류 시스템)

허브-앤-스포크 모델은 원래 항공이나 물류 시스템에서 효율성을 위해 사용되던 용어입니다. 모든 화물이나 승객이 중앙 허브 공항으로 모였다가 각각의 목적지(스포크 공항)로 흩어지는 방식을 생각하면 쉽습니다. 이처럼 '분산된 것들을 중앙에서 효율적으로 관리하고 재분배한다'는 원래의 의미가 연합학습에서 모델 업데이트를 관리하는 방식과 정확히 일치하기 때문에 이 용어를 차용한 것입니다.

정리

• 클라이언트-서버: 구조의 기술적 분류를 설명
• 허브-앤-스포크: 그 안에서 일어나는 상호작용의 방식, 정보 흐름의 형태, 그리고 중앙의 조정 역할을 훨씬 더 구체적이고 생생하게 묘사하기 때문에 연합학습 시스템을 설명하는 데 더 적합