[AI] 분산학습과 연합학습

🤔 분산학습과 연합학습

분산 네트워크 및 컴퓨팅 연구실 학부 연구생을 모집하는데 꼭 참여하고 싶다.

 

연구 주제는 온라인 게임 경기 분석을 위한 개인정보 보호 기반 분산학습을 시작으로 연합학습, 분할 학습 알고리즘 구현이다.

 

기존 딥러닝 기반 이미지 처리 알고리즘 또한 배워두면 도움이 될 것이다.

 

연구 지원도 빠방하기에.. 꼭 붙었으면 좋겠다.

 

이번 포스팅은 분산학습과 연합학습에 대한 정의를 알고 연구실 미팅에서 좋은 답변을 목적으로 작성하였다.

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

🔎 연합학습

기존의 인공지능은 데이터를 중앙 저장소에 저장하여 저장된 데이터를 기반으로 모델 학습을 진행했다.

 

그에 반해 연합학습은 개인의 모바일 기기와 같은 개인 디바이스에 저장된 데이터를 기반으로 모델 학습을 진행한다.

 

모델 학습을 진행하며 얻을 수 있는 가중치, 파라미터를 서버를 통해 가지고 와서 이를 인공지능 학습에 사용한다.

 

학습 정보만을 이용하기 때문에 속도가 빠를 뿐만 아니라 정보 보호에 있어 연합학습이 장점을 가지고 있다.

 

 

 

 

 

 

 

인공지능 학습의 문제점

인공지능이 학습을 하기 위해서는 방대한 데이터를 가지고 있어야 한다.

 

그렇기 때문에 방대한 데이터를 처리하기 위한 막대한 컴퓨팅 파워의 비용을 최소화 해야만 한다.

 

또한 수집하는 데이터가 사용자 개인 맞춤형이 되어야만 한다.

 

방대한 데이터를 수집하는 데에 개인정보보호는 필수적이다.

 

이를 해결할 수 있는 것이 연합학습이다.

 

 

 

 

 

 

연합학습이 이뤄지는 과정

연합 학습이 이뤄지는 과정은 아래와 같다.

 

1. 초기 인공지능 학습 모델이 사용자의 로컬 스마트폰에 배포되어 개인에게 맞게 자체 학습된다.

2. 학습된 결과는 사용자의 스마트폰에 계속되어 쌓인다.

3. 사용자 스마트폰에 쌓인 학습 결과는 새로운 모델이 되어 글로벌 서버로 전송된다.

 

위의 과정을 주기적으로 반복한다.

 

 

 

 

연합학습의 단점과 해결방안

연합학습의 단점은 크게 '통신 비용', '시스템 이질성', '통계적 이질성', '프라이버시 문제'로 나누어 볼 수 있다.

 

 

통신비용

- 로컬 단말과 중앙 서버 간의 통신은 연합학습을 위해 구성된 전체 네트워크(연합 네트워크)에서 중요한 병목 현상을 유발한다.

- 실제로 연합 네트워크가 수백만 대의 스마트폰으로 구성되는 경우, 네트워크 통신 속도는 로컬 컴퓨터보다 수십 배 느릴 수 있다.

- 글로벌 모델을 업데이트하고 단말과 서버간 데이터 전달 과정에서 통신 효율적인 방법을 개발해야 한다.

- 이때, 고려해야 할 두 가지 요소는 단말과 서버 간 통신 횟수와 회당 전송되는 데이터 크기를 줄이는 것이다.

 

 

시스템 이질성

- 연합학습에 참여한 로컬 단말인 스마트폰은 저장공간, 계산 및 통신 성능, 배터리 수준 등이 매우 다양하다.

- 각 단말의 시스템과 네트워크의 제약으로 인해서 특정 시간에 참여할 수 있는 단말의 수가 신뢰할 수 없거나 학습 과정에서 사라질 수 있다.

- 따라서 참여한 단말의 수의 변화, 이기종 하드웨어 등에 강인한 연합학습 메커니즘이 개발되어야 한다.

 

 

통계적 이질성

- 연합학습은 참여한 단말이 수집한 데이터가 독립적이고 동일한 확률 분포라고 가정한다.

- 그러나 스마트폰 사용자의 사용 언어, 데이터 연결점의 개수 등이 다를 수 있어 모델 생성 및 분석 과정에서 매우 복잡할 수 있다.

- 각 단말에서 수집하는 데이터의 통계적 이질성을 다룰 수 있는 연합학습 방법 연구가 필요하다.

 

 

프라이버시 문제

- 연합학습의 프라이버시 보호를 강화하기 위해서 차등정보보호, 동형암호, 안전한 다자간 계산 등의 알고리즘을 추가 사용하고 있으나, 이는 학습 모델의 성능 저하나 시스템의 효율성을 낮추는 문제를 발생한다.

- 이론적으로나 경험에 비춰 프라이버시 강화와 시스템 효율성 간 최적의 균형점을 찾는 방안 모색이 필요하다.

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

🔎 분산학습

분산학습은 학습해야 할 데이터가 많은 상황에서 학습 속도를 높이기 위해 나온 분산 학습 방법이다.

 

다른 노드에서 독립적인 학습을 통해 학습 모델을 구축하는 다중 노드 시스템이다.

 

분산 학습에는 데이터 병렬 처리와 모델 병렬 처리라는 두 가지 주요 유형이 있다.

 

쉽게 말해 학습에 있어 엄청난 양의 데이터를 얻기 위해 학습을 병렬화 하여 시간을 최적화 하는 것을 분산학습이라고 할 수 있다.

 

연합학습과는 달리 중앙 저장소에 데이터가 저장됩니다.

 

 

 

아래의 링크를 참고했다.

 

https://learn.microsoft.com/ko-kr/azure/machine-learning/concept-distributed-training

분산 학습이란? - Azure Machine Learning

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

🔎 Reference

https://blog.lgcns.com/2543

[보안동향] AI ‘연합학습’, 경제성·보안성 두 마리 토끼잡다