AI 파라미터(Parameter)란?

 

• 위 표에서와 같이 각 영역에 대한 이해를 돕기 위해 설명하고 있습니다.
• 슥~ 보시고 아래로 내려가면서 천천히 읽어보시고 길을 잃으면 다시 올라와서 표 한번 보시면서 읽어보세요. 여러개 글 중 제일 설명이 쉽게 잘 되어있네요 :)

1. '버스 노선도' 비유로 보는 파라미터

• 노드 (정류장): AI 내부에 존재하는 계산 지점입니다. (예: 동네 버스 정류장)
• 파라미터 (버스 노선): 이 정류장에서 저 정류장으로 이동하는 '길'이자, 그 길을 달리는 '버스'입니다.
• 가중치 (버스 번호): 훈련을 통해 "사랑해"라는 정답 정류장으로 잘 찾아가는 버스 노선에 매겨진 '높은 번호(예: 9000번)'가 바로 가중치입니다.

여기서 잠깐! 가중치를 부여하는 방식은?
GPT의 경우 1750억 개의 버스 번호(파라미터)를 아무것도 모르는 상태에서 완벽한 노선도로 만들어가는 과정이 AI 학습의 핵심

 

1단계 : 처음에는 무작위로 번호 던지기(초기화)

• 어떤 버스가 정답으로 가는지 전혀 모름
• 1750억 개의 모든 버스(파라미터)에 0.13, -0.52, 0.87 같은 아무 무작위 숫자(난수)를 마구잡이로 부여

2단계 : 일단 목적지까지 달리기 (순전파, Forward Propagation)

• 무작위로 적힌 번호를 달고 버스들이 출발 정류장에서 종점까지 달린다.
• 인풋 정류장에서 출발한 데이터 --> 버스(파라미터)를 타고 --> 히든 영역의 정류장들을 거쳐 --> 아웃풋 영역(종점)까지 쭉 전진합니다.
• 도착했을때 정답과 얼마나 떨어진 오답에 도착했는지 오차(Loss)를 계산함, 이 공식을 손실함수(Loss Function)

3단계: 뒤로 돌아가며 번호 수정하기 (역전파, Backpropagation)

 

• 여기가 가장 중요한 핵심 알고리즘입니다.
• 종점에서 오차를 확인한 뒤, 이번에는 종점(아웃풋)에서 출발점(인풋) 방향으로 거꾸로 되돌아가며 버스 번호들을 고칩니다.
• 오답 정류장으로 가게 만든 노선은 번호(가중치)를 깎아내림
• 정답 정류장 근처로 가게 해준 고마운 버스 노선에는 '이길이 맞아'라며 번호(가중치)를 높여줌

1단계 -> 2단계 --> 3단계를 수억 번 반복(에포크,Epoch)

• [앞으로 달리기(2단계) ➡️ 오차 확인 ➡️ 뒤로 오며 번호 고치기(3단계)] 과정을 밤낮없이 무한 반복합니다.\

AI는 처음엔 아무 번호나 막 던졌다가(초기화), 일단 앞으로 달려보고 틀린 만큼(순전파),
뒤로 되돌아오며 번호를 조금씩 고치는(역전파) 피나는 반복 훈련을 통해 똑똑해집니다.

 

 

2. 왜 노드 수가 아니라 '파라미터 수'가 중요할까?

• 정류장(노드)이 몇 개 없어도, 그 정류장들을 서로 잇는 버스 노선(파라미터)은 엄청나게 많아질 수 있습니다.
• 1번 정류장에서 다음 동네의 모든 정류장으로 가는 길을 다 만들어야 하기 때문입니다.

그래서 AI의 크기를 말할 때 "GPT-3의 파라미터가 1750억 개"라고 하는 것은 정류장 수가 아니라, 뇌 속에 얽히고설킨 연결선(버스 노선)이 1750억 개라는 뜻입니다.

3. 결국 파라미터의 진짜 역할은?

• 사용자가 어떤 질문(입력)을 던졌을 때, 정답(출력)으로 가장 빠르게 갈 수 있도록 길을 안내해 주는 길잡이(변수) 역할
• 훈련 과정에서 이 버스 번호(가중치 값)들이 완벽하게 세팅되어야만 똑똑한 AI 모델이 완성

한문장으로 요약하자면
AI의 파라미터는 노드(정류장)를 잇는 연결선(버스 노선)으로, 이 연결망의 가중치가 정교하게 세팅될수록 입력에 대해 정확한 정답을 찾아내는 똑똑한 모델이 됩니다.

 

출처 : https://futures-studies.tistory.com/entry/%EC%9D%B8%EA%B3%B5%EC%A7%80%EB%8A%A5-AI-%ED%8C%8C%EB%9D%BC%EB%AF%B8%ED%84%B0parameter-%EC%89%BD%EA%B2%8C-%EC%9D%B4%ED%95%B4%ED%95%98%EA%B8%B0