AI 리서치 컨설턴트 최득진 박사
[법학박사 | 사회분석 전문가 | 교육사회 전문가 | 평생교육사]
신경망 스케일링 법칙은 대규모 언어 모델(LLM)의 성능이 모델 크기(매개변수 수), 훈련 데이터셋 크기, 훈련에 사용되는 컴퓨팅 자원(컴퓨팅)과 같은 핵심 요소가 증가함에 따라 예측 가능하게 개선되는 방식을 설명합니다.10) 이러한 법칙은 초기에는 "더 나은 모델을 구축하기 위한 로드맵" 11)이자 근본적인 틀을 제공했습니다.
이 개념은 Kaplan et al. (2020)의 연구에서 시작되었으며, 이 세 가지 요소와 모델 성능 간의 멱법칙 관계를 확립했습니다.10) 이 연구는 더 큰 모델이 샘플 효율적임을 시사했으며, 이는 비교적 적은 데이터로 매우 큰 모델을 훈련함으로써 최적의 컴퓨팅 효율성을 달성할 수 있음을 나타냈습니다. 깊이와 너비와 같은 아키텍처적 변형은 최소한의 영향을 미치는 것으로 나타났습니다.14) Hoffmann et al. (2022)의 "친칠라 법칙(Chinchilla law)"으로 알려진 후속 개선 사항은 모델 크기만을 우선시하는 것에 반대하며, 고정된 컴퓨팅 예산 내에서 최적의 성능을 위해 모델 크기와 훈련 데이터의 균형을 맞추는 것이 중요함을 입증했습니다.11) 최근에는 Caballero et al. (2023)이 "매끄럽게 깨지는 신경망 스케일링 법칙(Smoothly Broken Neural Scaling Laws, BNSL)" 개념을 도입하여 이중 하강(double descent) 및 급격한 능력 전환과 같은 전통적인 멱법칙이 예측하지 못했던 현상을 설명하는 보다 미묘한 프레임워크를 제공했습니다.14) 다른 연구에서는 어휘 크기와 모델 매개변수 간의 멱법칙 관계를 보여주는 어휘 스케일링을 탐구했습니다 (Tao et al., 2024).14)
스케일링 법칙의 이러한 성숙은 내재된 복잡성과 한계를 드러냅니다. Kaplan의 단순한 멱법칙에서 "친칠라" 균형, 그리고 "매끄럽게 깨지는 신경망 스케일링 법칙"으로의 발전10)은 단순한 학술적 개선을 넘어 스케일링의 복잡성과 내재된 한계에 대한 더 깊은 이해를 의미합니다. 무한하고 비례적인 개선이라는 초기 가정은 "수익 체감"과 "미묘한 요인"10)의 관찰에 의해 도전을 받고 있습니다. 사실 회상 및 인컨텍스트 학습과 같은 다양한 능력들이 가지치기 또는 축소 시 다른 속도로 저하된다는 인식10)은 균일한 스케일링을 더욱 복잡하게 만듭니다. 이러한 발전은 초기 스케일링 법칙이 제공했던 "로드맵"이 덜 명확해지고 있으며, 성능 향상을 위한 더 복잡한 환경을 암시합니다. 이는 단순히 모델을 더 크게 만드는 것만으로는 "쉬운 이득"이 거의 소진되었음을 시사합니다. 이 분야는 "무차별적인 스케일링" 단계에서 보다 정교하고, 목표 지향적이며, 균형 잡힌 접근 방식이 필요한 단계로 전환하고 있습니다. 이러한 변화 자체가 현재 LLM 전략이 수익 체감 지점에 도달하고 있음을 나타내는 신호이며, 혁명적인 발전의 인지된 둔화에 기여합니다.
신경망 스케일링 법칙의 주요 비판 중 하나는 실제 관찰되는 수익 체감 현상을 설명하지 못한다는 점입니다. 모델이 확장됨에 따라 추가 데이터 및 컴퓨팅 자원으로부터 얻는 한계 이득은 감소하는 경향이 있으며, 이는 비효율적인 자원 할당으로 이어집니다.10) 이러한 현상은 2010년대 비전 모델에서도 이전에 관찰되었던 딥러닝 분야에서 새로운 것이 아닙니다.15)
전문가들은 "순수 스케일링(더 많은 매개변수, 더 많은 데이터, 더 많은 컴퓨팅)에 1000억 달러를 더 투자해도 2017년에서 2022년 사이에 우리가 보았던 질적으로 엄청난 개선을 반복할 가능성은 낮다"고 제안합니다.15) GPT-5의 "벤치마크에서의 실망스러운 성능"3)은 "현재 LLM 스케일링 접근 방식이 가용 자원의 한계에 도달하기 시작했다"는 증거로 인용됩니다. 연구에 따르면 사실 회상 및 인컨텍스트 학습과 같은 다양한 모델 능력은 가지치기 또는 축소 시 다른 속도로 저하되며, 이는 모든 요소에 대한 균일한 스케일링이 최적이지 않을 수 있음을 시사합니다.10) 데이터 병목 현상은 고품질 인간 생성 텍스트 데이터의 유한한 가용성으로 인해 수익 체감 현상을 악화시킵니다 (Villalobos et al., 2024).14) 신중한 필터링 및 중복 제거 전략에도 불구하고, 임박한 데이터 병목 현상은 보다 효율적인 데이터 활용을 필요로 합니다.14) 한계 성능 향상을 위해 기하급수적으로 더 많은 데이터를 요구하는 멱법칙 스케일링의 비효율성은 데이터셋 크기 대비 기하급수적인 모델 성능 향상을 달성하기 위한 데이터 가지치기의 필요성을 강조합니다 (Sorscher et al., 2023).14)
이러한 현상은 LLM 스케일링의 "S-커브" 전환점을 나타냅니다. 비전 모델이 수익 체감 현상에 부딪혔던 "2010년대 딥러닝"과의 유사점15)은 기술 발전의 "S-커브" 모델을 직접적으로 가리킵니다. 이 모델에서는 핵심 기술이 성숙하고 한계가 명확해짐에 따라 초기 급격한 기하급수적 성장 기간 이후에 정체기가 뒤따릅니다. 이전에 보았던 "질적으로 엄청난 개선"15)은 순수 스케일링으로는 반복되기 어려울 것이라고 명시적으로 언급되어, 현재 LLM 패러다임이 S-커브의 평평한 부분에 있음을 암시합니다. GPT-5의 "실망스러운" 반응3)은 이러한 정체기의 실제 지표 역할을 합니다. 이는 AI 개발의 중요한 전환점을 시사합니다. 순수 스케일링에 대한 지속적인 투자는 여전히 일부 이득을 가져오겠지만, 점점 더 비효율적이고 비용이 많이 들 것입니다. 전략적 명령은 진정으로 혁명적인 발전을 이끌어낼 "다음 S-커브", 즉 새로운 아키텍처 패러다임, 학습 방법론 또는 데이터 전략을 식별하고 투자하는 것으로 전환됩니다.
또한, 데이터 품질 한계는 궁극적인 스케일링 제약으로 작용합니다. 스케일링 법칙은 전통적으로 매개변수, 데이터 및 컴퓨팅의 균형을 맞추지만11), 수익 체감 현상에 대한 논의는 "고품질 인간 생성 텍스트 데이터의 유한한 가용성"14)을 명시적으로 강조합니다. 이는 컴퓨팅 자원이 무제한이라 할지라도, 고품질 데이터의 부족이 궁극적인 병목 현상이 된다는 것을 의미합니다. 단순히 더 많은 저품질 또는 중복 데이터를 추가하는 것은 비례적인 성능 향상을 가져오지 않으며, 오히려 모델을 방해할 수 있습니다.14) 데이터 품질과 수익 체감 현상 사이의 이러한 인과 관계는 근본적입니다. LLM 개발의 초점은 단순히 "더 많은 데이터"를 확보하는 것에서 "더 높은 품질의 데이터"를 확보하고 큐레이션하는 것으로 전환되어야 합니다. 이는 데이터 수집 전략, 윤리적 고려 사항, 그리고 고급 데이터 처리 기술(예: 합성 데이터, 지능형 필터링) 개발에 상당한 영향을 미칩니다. 입력의 품질이 모델 크기나 컴퓨팅 자원과 관계없이 출력 성능의 한계를 직접적으로 결정하기 때문입니다.
대규모 모델 훈련은 막대한 컴퓨팅 자원을 요구하며, 이는 상당한 탄소 배출로 이어집니다.10) 이러한 배출은 운영 비용(훈련 및 배포 중 에너지 사용)과 내재 비용(하드웨어 제조)으로 구성됩니다.14) 탄소 발자국은 LLM 크기 및 사전 훈련 토큰 크기에 비례하여 증가하는 반면, 테스트 손실(오류율)은 모델 크기 및 훈련 토큰 크기에 따라 로그적으로만 감소합니다.14) 이는 성능의 선형적인 개선을 달성하기 위해 탄소 배출이 기하급수적으로 증가해야 함을 의미합니다. 예를 들어, 성능이 10% 개선되려면 약 329% 더 많은 탄소 배출이 필요할 수 있습니다.14)
이러한 한계를 인식하여 LLM의 "다운스케일링"으로의 패러다임 전환에 대한 주장이 커지고 있습니다. 이 접근 방식은 리소스 요구 사항을 대폭 줄이면서 성능을 유지하는 것을 목표로 하며, 컴퓨팅 효율성, 환경 지속 가능성 및 배포 접근성을 우선시합니다.10) 다운스케일링 전략에는 스마트한 데이터 선택, 모델 가지치기, 더 작고 효율적인 모델의 앙상블 등이 포함됩니다.18)
환경 영향은 무제한 스케일링에 대한 강력한 제약으로 작용합니다. 탄소 배출량의 명시적인 정량화 10)와 기하급수적인 배출량 증가와 선형적인 성능 향상 사이의 직접적인 상관 관계14)는 LLM 성장에 대한 새롭고 비기술적이지만 중요한 제약을 도입합니다. 이는 단순한 효율성 문제가 아니라 환경 문제입니다. 기후 변화에 대한 규제 압력과 대중의 인식이 강화됨에 따라, 대규모 AI 훈련의 엄청난 에너지 소비는 지속적인 "무차별적인" 스케일링에 대한 주요 장벽이 될 수 있습니다. 이는 전략적 논의를 "스케일링할 수 있는가?"에서 "어떤 환경 비용을 지불하고 스케일링해야 하는가?"로 전환시킵니다. 환경 지속 가능성은 AI 개발 전략에서 점점 더 핵심적인 요소가 될 것입니다. 이는 에너지 효율적인 알고리즘, 하드웨어 및 데이터 센터의 혁신을 촉진하고, 장기적인 생존 가능성과 대중의 수용을 위해 "다운스케일링"을 비용 절감 조치뿐만 아니라 필요한 전략적 전환으로 만들 것입니다.
수익 체감 현상과 기하급수적으로 증가하는 비용(재정적 및 환경적)14)은 효율성에 대한 강력한 경제적 및 윤리적 요구를 만듭니다. 한계 이득을 달성하는 데 불균형적인 자원이 필요하다면, 순수 스케일링에 대한 투자 수익은 크게 감소합니다. 이는 전략적 재평강을 강요합니다. 목표는 단순히 "가장 큰" 모델을 구축하는 것에서 성능 요구 사항을 충족하는 "가장 효율적인" 모델을 구축하는 것으로 전환됩니다. "다운스케일링" 운동10)은 이에 대한 직접적인 반응으로, 보다 "지속 가능하고 효율적이며 접근 가능한" AI14)에 대한 열망을 강조합니다. 시장은 강력할 뿐만 아니라 자원 효율적이고 환경적으로 책임 있는 AI 솔루션을 점점 더 중요하게 여길 것입니다. 이는 모델 최적화, 전문화된 AI 및 지속 가능성을 우선시하는 "AI for good" 이니셔티브와 같은 분야에서 경쟁을 촉진하여 잠재적으로 더 다양하고 책임감 있는 AI 생태계를 조성할 것입니다.
다음 표는 LLM 스케일링 법칙의 매개변수와 그 영향을 요약합니다.
표 2: LLM 스케일링 법칙 매개변수 및 영향
스케일링 매개변수 | 초기 영향 (2022년 이전) | 수익 체감 현상 증거 (현재) | 환경 영향 | 경제적 영향 | 출처 |
모델 크기 (매개변수) | 예측 가능한 성능 향상, 일반화 능력 향상 | 한계 이득 감소, 비효율적인 자원 할당, 질적 개선 정체 ("S-커브" 효과) | 높은 에너지 소비, 상당한 탄소 배출 (운영 및 내재 비용) | 훈련/배포 비용 증가, 순수 스케일링 ROI 감소, 비용 최적화 압력 | 3 |
훈련 데이터셋 크기 (토큰) | 예측 가능한 성능 향상, 일반화 능력 향상 | 한계 이득 감소, 비효율적인 자원 할당, 질적 개선 정체 ("S-커브" 효과), 고품질 데이터의 유한한 가용성 | 높은 에너지 소비, 상당한 탄소 배출 (운영 및 내재 비용) | 훈련/배포 비용 증가, 순수 스케일링 ROI 감소, 비용 최적화 압력 | 3 |
컴퓨팅 (FLOPs) | 예측 가능한 성능 향상, 일반화 능력 향상 | 한계 이득 감소, 비효율적인 자원 할당, 질적 개선 정체 ("S-커브" 효과) | 높은 에너지 소비, 상당한 탄소 배출 (운영 및 내재 비용), 선형 성능 향상에 기하급수적인 탄소 증가 (예: 10% 성능 향상에 ~329% 탄소 증가) | 훈련/배포 비용 증가, 순수 스케일링 ROI 감소, 비용 최적화 압력 | 3 |
♦ 이 표는 초기 성장을 이끌었던 바로 그 메커니즘(스케일링 법칙)이 이제 상당한 한계에 부딪히고 있음을 보여줌으로써 "AI 성장 둔화 신호"라는 핵심 논제를 직접적으로 다룹니다. 이는 수익 체감 현상을 정량화하고 심각한 환경 및 경제적 지속 가능성 문제를 강조합니다. 이러한 요소들을 나란히 제시함으로써, 순수 스케일링에서 벗어나야 하는 전략적 필요성에 대한 구체적인 증거를 제공하고, 복잡한 상호 의존성을 명확히 하며, 현재 LLM 전략이 근본적인 제약에 부딪히고 있다는 주장을 뒷받침합니다. 표의 '출처'의 숫자는 참고자료의 번호를 의미합니다.
¶[참고자료]는 마지막편 "AI 성장 둔화 신호와 LLM 전략의 한계: GPT-5 사례 분석(4)"을 참고하십시오.
비대면진료 제도화 15년 만에 결실…의료법 개정안 국회 통과
손영수 칼럼 | 국가를 지키는 마지막 방어선은 국민이다
[특집] 주권형 AI 경쟁 본격화…각국 ‘AI 자립’ 전략 가속
할리우드 배우노조, 스튜디오 측에 새 반대 제안 테이블에 올리다
500조 논란 국회 동의 없는 협약
하나님의 축복 속에서 시작된 사랑… 특별한 결혼의 여정
목록
