DAgger 루프 측정하기: 개입률, 평가 프로토콜, 그리고 그 사이의 함정들

DAgger 라운드는 그 안에 있는 동안에는 생산적으로 느껴진다. 정책을 직접 주행시키다가 파지 동작에서 헤맬 때 제어권을 넘겨받고, 보정 내용을 저장한 뒤 재학습시키면, 다음 실행은 - 분명히 - 조금 더 매끄러워 보인다. 두 라운드가 지나고 나면 무엇이 바뀌었는지 말할 수 없게 되는데, “조금 더 매끄럽다”는 수치가 아니기 때문이다.

이 루프에는 라운드마다 숫자 하나가 필요한데, 사람이 제어권을 넘겨받는 방식의 루프에서는 그 숫자를 거의 공짜로 얻을 수 있다. 바로 정책 대신 당신이 제어권을 쥐고 있었던 실행 구간의 비율이다. 이 글은 두 사람이 계산해도 같은 값이 나오도록 이를 정의하고, 기록하는 법을 보여주고, 그렇게 나온 곡선을 읽는 법을 설명하며, 이 숫자 하나만 볼 때 오도되는 네 가지 방식을 짚는다. 이 글이 전제하는 이론에 대해서는 DAgger 설명 글 그리고 인간 게이트 방식 변형을 참고하라. 실습편에 해당하는 글은 SO-100에서 DAgger 루프 실행하기이다.

라운드에 왜 숫자가 필요한가

DAgger가 존재하는 이유는 분포 문제 때문이며, 분포 문제는 눈으로 보이지 않는다. Ross와 Bagnell은 모방 학습이 고정된 시연 집합에 대해 이루어질 경우 오차가 누적되고 후회(regret) 상한이 시간 지평에 대해 이차적으로 증가함을 보였다: 학습자가 시연자가 방문했던 상태를 벗어나는 순간, 데이터의 그 무엇도 되돌아오는 방법을 알려주지 않는다. DAgger는 이를 반복 절차로 해결한다 - 정책을 실행하고, 그것이 방문한 상태에 레이블을 붙이고, 데이터를 합치고, 재학습한다 - 이는 Ross, Gordon, Bagnell이 후회 없는(no-regret) 온라인 학습으로의 환원(reduction)으로 규정한 것이다.

이 틀에는 사람들이 놓치는 결론이 하나 있다. 이 보장은 반복에 걸친 정책들의 수열에 관한 것이지, 개별 실행 하나에 관한 것이 아니다. 당신의 세 번째 라운드가 도움이 되었는지에 대해서는 아무 말도 하지 않는다. 이를 알 수 있는 유일한 방법은 각 반복을 측정하는 것이다. Kelly와 동료들이 HG-DAgger를 도입한 이유는, 고전적 DAgger가 미숙련 학습자가 아직 제어권을 쥐고 있는 동안 전문가에게 행동 레이블을 요구하기 때문이며, 이 논문은 이것이 안전성을 떨어뜨릴 수 있고 사람 전문가의 경우 액추에이터 지연으로 체감되는 현상 때문에 레이블 품질이 저하될 가능성이 크다고 주장한다. HG-DAgger는 또한 모델 불확실성 기반 위험 지표에 대한 안전 임계값을 학습하며, 주행 과제에서 DAgger와 행동 복제보다 향상된 성능을 보고한다. 개입 횟수는 공개하지 않으므로, 이는 직접 만들어내야 한다.

두 사람이 같은 숫자를 얻도록 개입률 정의하기

정의는 한 줄이다: 개입 프레임을 실행의 전체 프레임으로 나눈 값. 어려운 부분은 전부 무엇을 프레임으로, 무엇을 실행으로 볼 것인가에 숨어 있다.

에피소드가 아니라 프레임

개입이 한 번이라도 있었던 에피소드 수를 세는 방식은 쓸모가 없다: 살짝 한 번씩만 건드린 에피소드 10개와, 80퍼센트를 직접 조종한 에피소드 10개가 똑같이 “10/10”으로 나온다. 프레임 단위로 세면 이 둘을 구분할 수 있고, 이는 기록이 이미 갖추고 있는 세밀도이기도 하다 - LeRobot 데이터셋 형식에서는 각 타임스텝이 하나의 행(row)이므로, 개입 플래그는 상태(state)와 행동(action) 옆에 놓인 하나의 불리언 열이 된다. 여기서는 제어권 전환(takeover)이 시작되는 순간부터 프레임마다 이 값을 기록하고, 제어권이 돌아오면 해제한다.

분모에는 보정 구간도 포함된다

분모로 정당화될 수 있는 두 가지가 있다 - 실행의 전체 프레임, 또는 정책이 자율적으로 주행한 프레임 - 그리고 이 둘은 개입 수준이 높을수록 크게 벌어진다. 1000프레임 중 400프레임을 개입했다면 전자는 40퍼센트, 후자는 67퍼센트가 된다. 한 라운드는 전자 방식으로, 다음 라운드는 후자 방식으로 측정해 비교하는 것이야말로 실제 개선이 감쪽같이 사라지는 방식이다. 전체 프레임을 기준으로 삼고, 시리즈 도중에는 이 선택을 절대 바꾸지 마라.

인계(handover) 프레임을 어떻게 처리할지 한 번만 정하라

항상 이음매(seam)가 존재한다. 제어권이 넘어갈 때, 일부 프레임은 어느 쪽에도 속하지 않는다: 팔이 붙들려 있거나, 리더 암이 정렬 중이거나, 녹화가 멈춰 있는 구간이다. 이 파이프라인에서는 이러한 인계 프레임이 원본 스트림에는 남아 있지만 정제된 에피소드에는 절대 들어가지 않는다 - 정책의 행동도 아니고 학습할 가치가 있는 보정도 아니기 때문이다. 이음매는 매 라운드 동일한 방식으로 세라: 30Hz에서 제어권 전환이 여섯 번, 매번 2초씩의 이음매라면 360프레임이며, 이는 백분율 포인트를 움직이기에 충분한 양이다.

세션이 끝나도 숫자가 남도록 기록하기

실행 중인 프로세스의 상태 패널에 뜨는 지표는 그저 화면 표시일 뿐이다: 재시작하면 사라지고 그래프로 그릴 수도 없다. 실행마다 한 줄씩 추가하기만 하면(append-only) 전체 시리즈를 담을 수 있다 - 어떤 체크포인트로 주행했는지도 포함해서인데, 이는 매 라운드 바뀌며 이를 헷갈리면 이후 모든 것이 무효가 되기 때문이다.

{"round": 2, "run_id": "inf-2026-08-24-1108", "checkpoint": "ckpt-8500",
 "frames": 5412, "intervention_frames": 611, "rate": 0.113,
 "takeovers": 7, "input": "keyboard", "denominator": "total_run_frames",
 "handover_frames": "excluded", "episodes_kept_as_correction": 5,
 "train_mix": {"base_demos": 120, "corrections": 41},
 "eval_protocol": "protocol-A", "eval_trials": 20, "eval_successes": 11}

두 필드가 핵심을 담당한다. train_mix은 다음 학습 작업에 무엇을 투입했는지를 나타내며, 이것이 없으면 결과를 어디에 귀속시킬지 알 수 없다. eval_protocol은 이후 실행한 고정 테스트를 가리키는 필드이며, 가장 자주 비워지는 필드이기도 하다. ay-robots 콕핏에서는 제어권 전환(takeover) 상태가 실행 중인 세션의 개입 프레임 수를 보고해 주므로, 기록 작업은 계측이라기보다 옮겨 적는 일에 가깝다. 데이터셋 문서에 프레임별 열이 어디에 저장되는지가 정리되어 있다.

곡선 읽기: 세 라운드, 하나의 결론

라운드 세 개가 읽어낼 수 있는 최소 단위인데, 점 두 개는 항상 직선이 되기 때문이다. 아래 표는 실제 실행에서 얻은 측정값이 아니라 자리표시자 숫자를 넣은 기록 양식이다. 여기서 찾아야 할 것은 고정 테스트에서의 성공률 상승과 짝을 이루는 단조 감소다.

라운드 1과 2는 효과가 있다. 라운드 3은 그렇지 않다: 11.3퍼센트 대 11.1퍼센트는 실제 로봇 팔로 측정할 때 나타나는 실행 간 변동 폭 안에 들어가며, 같은 종류의 보정을 네 번째 라운드로 더 모으는 것은 오후 한나절을 헛되이 쓰는 일이다. 곡선이 평평해진 구간은 구조적인 무언가를 바꾸라는 신호다.

• 남은 실패는 원격조작으로 고칠 수 있는 것이 아니다 - 물체가 손이 닿지 않는 곳에 있거나, 그리퍼 형상 문제거나, 관절이 한계에 걸린 경우다. 어떤 보정 데이터도 운동학적 한계벽을 고치지는 못한다.
• 보정이 기본 데이터셋에 비해 너무 적어 그래디언트를 움직이지 못하며, 이를 가중해 줄 장치도 없다.
• 보정들이 서로 모순되어, 정책이 두 전략을 평균 내어 그 중간 어딘가에 머문다.
• 실패의 원인은 더 앞단에 있다: 카메라가 움직였거나, 조명이 바뀌었거나, 손목 카메라 화면이 더 이상 학습 당시와 맞지 않는다.
• 이 하드웨어에서 이 정책 클래스가 낼 수 있는 한계에 이미 도달했으며, 다음 단계는 더 많은 기본 데이터다.

마지막 두 가지는 루프의 실패가 아니다. Sirius-Fleet에서는 사람에 대한 필요가 줄어드는 것 자체가 설계된 결과다: 로봇의 자율성이 향상됨에 따라 이상 탐지 예측기가 스스로 예측 기준을 조정하여, 인간 개입 요청이 줄고 시간이 지날수록 인간의 작업 부담이 점차 감소한다. 그곳에서는 그 기준이 의도적으로 조정된다. 수동 루프에서도 당신의 기준선은 조용히 똑같이 조정되고 있다 - 그래서 과제가 한계에 도달해 평평해진 개입률과, 조작자가 더 이상 알아채지 못해 평평해진 개입률은 겉보기에 완전히 똑같다. 이것이 다음 문제다.

함정 1: 개입률 하락이 곧 성공률 상승은 아니다

개입률이 측정하는 것은 정확히 하나뿐이다: 실행 중 당신이 직접 맡기로 한 비중이 얼마인가. 그 결정은 당신의 것이고, 실시간으로 내려지며, 계속 변한다. 라운드 0에서는 접근 각도가 조금만 나빠도 바로 제어권을 넘겨받지만, 라운드 3에 이르면 정책이 그런 상황을 수십 번 스스로 회복하는 것을 지켜본 뒤라 한번 맡겨보게 된다. 당신의 기준선은 움직였다; 정책은 그렇지 않았을 수도 있다. 어느 쪽이든 개입률은 떨어진다.

인간의 신뢰는 문헌에서 적어도 가정된 상수가 아니라 모델링되는 대상이다. Sirius는 근사된 인간 신뢰도로 학습 샘플에 가중치를 다시 매기고 가중 행동 복제로 정책을 최적화하여, 정책 성공률 기준 최신 기법 대비 시뮬레이션에서 8퍼센트, 실제 하드웨어에서 27퍼센트의 향상을, 수렴 속도는 두 배 빠르게 달성했다고 보고한다. 이는 신뢰를 데이터에 대한 가중치로 다루는 것이다. 라운드 0과 라운드 3 사이에서 당신 머릿속의 기준선을 바로잡아 주지는 못한다.

이 표류는 없앨 수 없으므로, 개입률을 당신의 기준선이 손댈 수 없는 것과 짝지어라: 전혀 개입하지 않는 고정된 시행 세트를, 라운드 전에 적어둔 기준으로 채점하는 것이다. 개입률은 떨어지는데 짝을 이루는 성공률은 그대로라면 이는 습관화의 징후다 - 루프 안에서는 그것이 마치 진전처럼 느껴지기 때문에 잡아낼 가치가 있다.

함정 2: 고정 프로토콜이 없으면 환경을 측정하게 된다

실제 로봇 평가는 비용이 크고 반복하기 어렵다. SIMPLER 저자들은 이러한 정책들의 실제 로봇 평가가 확장 가능하지 않으며, 정책이 다루는 과제 범위가 넓어질수록 재현성 문제가 더 악화될 가능성이 크다는 관찰을 근거로 시뮬레이션 평가의 필요성을 제시한다. RoboArena는 반대 방향에서 이 문제에 접근하여, 일곱 개의 범용(generalist) 정책에 걸쳐 600건이 넘는 쌍대(pairwise) 실제 로봇 평가 에피소드를 DROID 플랫폼 위에서 일곱 개 학술 기관의 평가자들이 수행하도록 했다. 이곳의 평가자들은 자신의 과제와 환경을 직접 고르지만 두 정책을 이중맹검(double-blind)으로 비교 평가해야 하며, 논문은 이러한 크라우드소싱 방식의 순위가 전통적인 중앙집중식 평가보다 범용 정책의 성능을 더 정확하게 반영한다고 보고한다.

한 대의 SO-100로 작업실에서 600건의 쌍대 에피소드를 실행할 일은 없을 것이다. 당신이 할 수 있는 일은 스스로 통제 가능한 변동 요인을 제거하는 것뿐이며, 이는 대개 너무 지루해서 건너뛰기 쉬운 목록이다.

그 다음은 산술의 문제인데, 작업실에서 감당할 수 있는 시행 횟수에서는 이 산술이 가혹하다. 정규근사 하에서, 20회 시행 중 60퍼센트 성공률은 약 11퍼센트포인트의 표준오차를 가지며 - 20분의 0.6×0.4의 제곱근이다 - 그런 두 라운드 사이의 차이는 약 15퍼센트포인트의 오차를 가진다. 따라서 60퍼센트에서 70퍼센트로의 상승은 아무 일도 일어나지 않은 것과 통계적으로 구별되지 않는다. 시행을 50회로 늘리면 라운드당 수치는 약 7포인트로 줄어들지만, 그러려면 오후 한나절이 든다.

이러한 비대칭이 바로 개입률을 써야 하는 근거다: 20개의 이진 결과가 아니라 수천 개의 프레임에 걸쳐 계산되므로, 더 일찍, 더 매끄럽게 움직인다. 다만 주의할 점은 한 에피소드 내의 프레임들이 서로 강하게 상관되어 있다는 것이다 - 파지 하나를 잘못하면 연속된 개입 프레임 백 개가 나온다 - 그래서 실질적인 표본 크기는 프레임 수보다는 제어권 전환(takeover) 횟수에 더 가깝다. 개입률은 초기 지표로, 성공률은 느리지만 확실한 근거(ground truth)로 취급하라.

함정 3: 보정 데이터만으로 학습하면 정책이 뒤틀린다

보정 데이터는 흥미로운 데이터이기 때문에 그것만으로 학습시키고 싶어지는 것이 자연스러운 본능이다. 그러지 마라. 보정 데이터는 그 구조상 정책이 이미 실패하고 있던 좁은 상태 공간 조각에서 나온 것이며, 잘 되고 있던 실행의 대부분에 대해서는 거의 아무것도 말해주지 않는다. 그 조각만으로 파인튜닝하면, 엉망이 된 접근을 회복하는 데는 능하지만 깔끔하게 접근하는 법은 잊어버린 정책을 얻게 된다.

Mandlekar와 동료들은 바로 이 지점을 중심으로 원격 개입 시스템을 설계했다. 그들의 문제 설정은 이렇다: 조작 과제에는 정밀한 행동의 연쇄를 요구하는 병목 구간이 존재하며 - 커피머신에 캡슐을 끼워 넣는 동작이 그 예시다 - 여기서 작은 편차만으로도 시연 데이터가 전혀 다루지 않은 상태로 빠지게 된다. 이들의 알고리즘은 새 데이터에 대해 반복적으로 학습시켜 정책이 이러한 병목 구간을 통과하는 법을 배우게 하며, 개입 데이터로 학습된 에이전트가 비개입 시연자로부터 얻은 동일한 수의 샘플로 학습된 에이전트를 능가한다고 보고한다.

혼합 비율은 하이퍼파라미터이며 기록해 둘 가치가 있다. 다음 데이터셋을 구성하는 단계에서 이것이 결정된다: 원본 시연에 보정 세트를 더하고, 이용 가능한 것을 조용히 끌어오는 규칙이 아니라 출처별로 명시적인 에피소드 선택을 한다. 여기서는 콕핏에서의 구성(compose) 단계 한 번으로 끝나며, 결과물은 평범한 데이터셋이다 - 학습 문서를 참고하라. 어떤 도구도 대신해 주지 않는 것은 어떤 비율이 어떤 곡선을 만들어냈는지를 기록하는 일이다.

함정 4: 인간은 일관된 전문가가 아니다

DAgger의 이론은 전문가의 존재를 전제한다. 당신은 기술적인 의미에서는 전문가가 아니다: 당신의 보정은 행동에 대한 고정된 조건부 분포에서 뽑힌 표본이 아니다. ACT 저자들은 정밀 조작의 장애 요인을 나열하면서 이를 언급한다 - 오차는 시간이 갈수록 누적되고, 인간의 시연은 비정상성(non-stationary)을 띨 수 있다. 그럼에도 이들의 시스템은 단 10분의 시연만으로 여섯 개의 실제 과제에서 80~90퍼센트의 성공률에 도달하므로, 이 문제는 다룰 수 없는 것이 아니라 다룰 만한 것이다.

robomimic 연구는 데이터 쪽에서 같은 지점을 짚는다. 다섯 개의 시뮬레이션 과제와 세 개의 실제 다단계 과제에 대해 여섯 가지 오프라인 알고리즘을 비교한 결과, 그 교훈에는 설계 선택에 대한 민감성, 시연 품질에 대한 의존성, 그리고 - 여기서 가장 뼈아픈 것으로 - 학습 목표와 평가 목표가 다르기 때문에 발생하는 종료 기준(stopping criteria)에 따른 변동성이 포함된다. 손실값이 가장 낮은 체크포인트가 성공률도 가장 높은 체크포인트라는 보장은 없다.

이것의 하드웨어 버전도 있다: 입력 방식이 보정의 형태를 결정한다는 것이다. 리더-팔로워 방식의 설정은 사람의 속도에 맞춘 연속적인 궤적을 만들어낸다. 키보드로 살짝 미는 입력은 서버가 강하게 제한한다 - 팔 관절은 호출당 2도, 그리퍼는 4도 - 그래서 같은 의도라도 작은 계단식 스텝들로 도달하게 된다. 슬라이더는 절대 목표값을 보내고 서버는 호출당 최대 6도씩 그쪽으로 움직인다. 세 가지 모드, 세 가지 행동 분포다; 이 셋을 하나의 보정 세트로 섞어놓고 나서 왜 접근 동작이 들쭉날쭉해졌는지 의아해하는 것은 자초한 일이다. 원격조작 문서에 각 모드가 무엇을 전송하는지 정리되어 있다.

개입에 가중치 주기: IWR과 그 이후

보정 데이터가 가치 있는 소수라면, 원칙에 맞는 해법은 배타적으로 다루는 것이 아니라 가중치를 주는 것이다. Intervention Weighted Regression(IWR)이 기준이 되는 구현이다: 데이터를 개입 샘플과 비개입 샘플로 나누고, 학습 중 이 두 파티션을 동일한 비율로 샘플링한다. 그러면 전체 프레임의 5퍼센트에 불과한 보정 세트가 그래디언트의 절반을 기여하게 되면서도, 정상 동작이 분포에서 사라지지는 않는다.

동일 비율은 출발점이지 절대 법칙은 아니다. Sirius는 이진 분할을 근사된 인간 신뢰도에서 나온 연속적인 가중치로 대체함으로써 이를 일반화하며, Sirius-Fleet은 시각적 세계 모델과 이상 탐지 예측기를 사용해 애초에 사람에게 물어볼지 여부를 판단하는 식으로 그 결정을 더 앞단으로 옮긴다. 공통된 맥락은 이것이다: 개입 플래그는 단순한 기록용 열이 아니라 학습 신호라는 것.

개입률 옆에 함께 기록할 만한 네 가지 지표

• 실행당 제어권 전환 횟수. 짧은 보정 스무 번과 긴 보정 한 번은 비슷한 개입률을 내지만 서로 다른 정책을 나타낸다 - 하나는 들쭉날쭉하고, 다른 하나는 사각지대가 하나 있는 것이다.
• 평균 개입 길이. 횟수는 줄어드는데 길이가 늘어난다면 남은 실패가 어려운 것들이라는 뜻이며, 이는 후반부 진전이 보이는 전형적인 모습이다.
• 첫 개입까지 걸린 시간. 도움이 필요해지기까지 더 멀리 가는 정책이라면, 전체 개입률이 평평해 보여도 실제로는 개선되고 있는 것이다.
• 개입이 몰리는 지점. 정규화된 에피소드 진행률 기준으로 플래그를 구간화하라; 라운드마다 같은 지점에서 안정적으로 나타나는 피크는 하나의 병목을 가리킨다.

실제로 실행할 수 있는 라운드 프로토콜

측정된 라운드는 여섯 단계로 이루어지며 로그에 한 행을 만들어낸다. 처음 네 단계는 루프 자체이고, 마지막 두 단계가 그것을 측정으로 만든다.

1. 1
   라운드 0 이전에 평가 프로토콜을 고정하라

   시작 자세, 물체 배치, 카메라, 시행 횟수, 타임아웃, 성공 판정 기준을 문서로 남겨라. 테이블을 사진으로 찍어두라. 이 문서를 바꿔야 한다면, 시리즈는 처음부터 다시 시작된다.

2. 2
   기준선을 측정하라

   개입 없이 프로토콜을 실행하여 성공 횟수를 기록한 뒤, 제어권 전환을 활성화한 계측 세션을 한 번 실행하여 개입률을 기록하라. 이 두 숫자가 라운드 0이다.

3. 3
   일관된 방식으로 보정을 수집하라

   라운드당 입력 방식은 하나, 가능하다면 조작자도 한 명으로 고정하라. 입 밖으로 말할 수 있는 기준으로 제어권을 넘겨받아라 - '접근 시 그리퍼가 2센티미터 이상 벗어남'과 같이 - 그리고 그 기준을 라운드 내내 유지하라.

4. 4
   그날 안에 모든 에피소드를 분류하라

   보정, 평가, 또는 폐기 중 하나로. 애매한 에피소드는 폐기하라. 데이터가 많을수록 도움이 된다는 논리로 남겨두지 마라 - 당신 스스로 실수한 보정은 에피소드가 아예 없는 것보다 못하다.

5. 5
   혼합 데이터를 명시적으로 구성하라

   원본 시연에 보정을 더하되, 출처별로 에피소드를 선택하라. 기본 데이터 개수, 보정 개수, 그리고 가중치가 있다면 그것도 기록하라 - 3주 뒤에 반드시 필요해질 정보다.

6. 6
   체크포인트에서 이어서 학습한 뒤, 다시 측정하라

   구성한 데이터셋을 기본 모델이 아니라 이전 체크포인트에서 이어서 학습시킨 뒤, 고정된 프로토콜과 계측 세션 한 번을 실행하고, 로그에 행을 추가한 다음, 이전 두 라운드와 비교하라.

이 읽기를 흔드는 두 가지 한계가 있다. 체크포인트에서 이어서 학습한다는 것은 그 지점에서 가중치를 초기화한다는 뜻이지, 옵티마이저 상태까지 이어받는 재개(resume)가 아니다. 그래서 스케줄이 처음부터 다시 시작되며, 이미 수렴한 체크포인트에서 짧게 돌리는 학습은 거의 아무것도 움직이지 못할 수 있다. 그리고 제어권 전환 시작 시점의 리더 정렬 동작은 이 사슬에서 실제 하드웨어 상 가장 검증이 덜 된 부분이다; 보정들이 모두 이상한 과도 현상으로 시작한다면, 혼합 데이터를 탓하기 전에 먼저 그곳을 살펴봐라.

숫자가 말해주지 않는 것

이 중 어느 것도 완전히 해결된 문제가 아니며, 깔끔한 곡선 하나가 그 반대를 설득해서는 안 된다. 개입률은 정책, 하드웨어, 조작자, 환경(room)을 아우르는 결합 시스템을 측정할 뿐, 그 자체로는 어느 것 덕분인지 알려주지 않는다. 보정이 실제로 좋았는지 판단할 수 없고, 3주에 걸쳐 물체가 2센티미터 더 가까워져서 과제가 쉬워진 경우에도 아무렇지 않게 떨어질 것이다.

개입률이 하는 일은 막연한 인상을 놓고 따질 수 있는 하나의 열(column)로 바꿔주는 것이다. 대안은 더 나은 지표가 아니라, 곡선이라면 세 번째 라운드 이후 그만두라고 알려줬을 보정 수집을 3주 더 계속하는 것이다. 서베이 문헌은 인터랙티브 모방 학습을 로봇 실행 도중 간헐적으로 주어지는 인간 피드백으로 정의하며, 이를 통해 행동을 온라인으로 개선할 수 있다고 본다; 이 계열은 폭이 넓지만, 라운드당 숫자 하나 없이 제대로 작동하는 방식은 그중 어디에도 없다. 다음도 함께 참고하라: SO-100 모방 학습 가이드은 혼합의 기준이 되는 기본 데이터셋에 대해, 정책 실행하기는 추론 쪽에 대해, 그리고 DAgger 루프 페이지는 구현된 파이프라인에 대해 다룬다.

로그는 노트가 아니라 저장소(repository)에 남겨라: 라운드는 며칠씩 간격을 두고 진행되고, 하드웨어는 다시 조립되며, 10월에 이 곡선을 읽는 사람은 8월을 기억하지 못하는 바로 당신이다. 문서 FAQ에 여기서 다루지 않은 운영상의 세부 사항이 정리되어 있다.