Baseline / Ablation, 그리고 라벨링 이야기

e2e 딥러닝 실험을 제대로 설계하는 방법

오늘은 딥러닝 실험 문서에서 자주 등장하는 개념인 baseline, ablation, 그리고 라벨링과 npy label에 대해 정리해본다. 처음 접하면 의미가 모호하지만, 실제로는 실험의 신뢰도를 좌우하는 핵심 개념들이다.

---

1. Baseline이란 무엇인가

Baseline은 새로운 방법의 성능을 판단하기 위한 비교 기준이 되는 기본 실험이다.

예를 들어 STT 모델 학습을 기준으로 하면 다음과 같은 조건이 baseline이 된다.

• 기존 라벨링 방식 사용
• 기존 모델 구조 유지
• VAD 미적용
• 기존 학습 파이프라인 사용

이 조건에서 얻은 성능이 baseline 성능이며, 이후 모든 실험은 이 결과와 비교된다.

비교 대상이 없는 상태에서는 성능 개선 여부를 논리적으로 설명할 수 없다.

---

2. Ablation이란 무엇인가

Ablation은 모델이나 학습 파이프라인의 구성 요소를 하나씩 제거하거나 추가해 보며 각 요소가 성능에 기여하는 정도를 확인하는 실험이다.

예시는 다음과 같다.

실험VAD	사용	WER
Baseline	미사용	12.5
Ablation-1	사용	11.8
Ablation-2	미사용	12.4

이러한 실험을 통해 VAD 적용이 실제로 성능 개선에 기여하는지, 혹은 부작용은 없는지 명확히 설명할 수 있다. 논문이나 R&D 보고서에서 ablation 실험이 중요한 이유도 여기에 있다.

---

3. 라벨링은 사람이 직접 하는 것일까

라벨링은 반드시 사람이 처음부터 끝까지 직접 수행하는 작업만을 의미하지 않는다. 실무에서는 보통 다음 세 가지 방식이 혼용된다.

수동 라벨링

사람이 직접 음성을 듣고 정답 텍스트나 구간 정보를 입력하는 방식이다. 정확도가 높지만 비용과 시간이 많이 든다. 주로 기준 데이터셋이나 최종 평가용 데이터에 사용된다.

반자동 라벨링

기존 STT 엔진이나 정렬 도구를 사용해 1차 라벨을 생성한 뒤, 사람이 이를 검수하거나 수정하는 방식이다. 품질과 비용의 균형이 좋아 실무에서 가장 많이 사용된다.

자동 라벨링

VAD, 기존 모델, 규칙 기반 로직 등을 활용해 사람이 개입하지 않고 라벨을 생성하는 방식이다. 대규모 데이터 생성이 가능하지만 label noise가 발생할 수 있다. 따라서 보통 baseline 이후 실험용으로 활용된다.

---

4. npy label 생성이 의미하는 것

npy는 NumPy 배열을 그대로 저장하는 바이너리 포맷이다. 즉, 라벨을 사람이 읽기 좋은 형태로 저장하는 것이 아니라 모델이 바로 학습에 사용할 수 있는 숫자 배열 형태로 저장한다는 의미다.

STT 학습에서 npy label에는 다음과 같은 정보가 포함될 수 있다.

• 프레임 단위 음성/무음 라벨
• CTC 학습용 토큰 ID 배열
• alignment 결과

이 포맷은 PyTorch 학습 파이프라인에서 매우 일반적으로 사용된다.

 

---

5. 정리

• Baseline은 비교 기준이 되는 기본 실험이다.
• Ablation은 구성 요소별 성능 기여도를 확인하는 실험이다.
• 라벨링은 수동, 반자동, 자동 방식이 있으며 목적에 따라 선택된다.
• npy label은 모델 학습에 바로 사용 가능한 숫자 배열 형태의 라벨이다.

딥러닝 실험에서 중요한 것은 모델을 복잡하게 만드는 것이 아니라, 기준을 명확히 두고 각 변경 사항의 효과를 설명할 수 있는 실험 구조를 만드는 것이다.