쉬엄쉬엄블로그

이 색깔은 주석이라 무시하셔도 됩니다. 오늘날의 딥러닝은 엄청난 데이터와의 싸움 엄청난 양의 데이터를 다루고 계산하기 위해 메모리가 크고 성능이 좋은 GPU가 필요함 여러 개의 GPU를 통해 더 좋은 성능을 얻을 수 있음 Multi-GPU 어떻게 GPU를 다룰 것인가 개념 정리 Single vs. Multi GPU vs. Node Node : system, 컴퓨터 1대 Single Node Single GPU Single Node Mulit GPU 보통 multi gpu를 사용하는 환경 Multi Node Multi GPU 활용이 많이 어려움 Model parallel vs Data parallel 다중 GPU에 학습을 분산하는 두 가지 방법 모델 나누기 데이터 나누기 Model parallel 모델을 ..