과제 2 · 논문 발표 후보 1 · 재현 데모

CAD-Coder: 텍스트에서 CAD 코드까지,
그리고 기하 보상으로 학습하기

설명 L → CadQuery 코드 C → 형상 M = Execute(C) → Chamfer Distance 보상 → GRPO. 논문의 강화학습 환경을 직접 구현하고, 공개 체크포인트로 실험을 다시 돌려 본 결과를 보여 주는 페이지입니다.

논문 한눈에

제안 기법: SFT → CoT 콜드스타트 → GRPO

텍스트로 설명한 부품을 실행 가능한 CadQuery 코드로 만들게 하면, 코드를 실행해 얻은 형상을 정답 형상과 비교해 곧바로 보상을 줄 수 있습니다. 이 ‘실행 결과 보상’이 강화학습을 가능하게 합니다.

데이터 구축

Text2CAD 설명 + DeepSeek-V3가 만든 CadQuery 후보를 실행·CD로 선별 → 110K triplets (8K 고품질 · 1.5K CoT)

Stage 1 · SFT

Qwen2.5-7B-Instruct를 8K 고품질 쌍으로 미세조정. CadQuery 문법과 ‘구멍→.hole()’ 같은 기본 매핑 학습

CoT 콜드스타트

<think>로 부품 분해·좌표계·스케치·압출을 먼저 계획하는 1.5K 샘플로 2 epoch

Stage 2 · GRPO

프롬프트당 후보 k=8개를 실행해 R = λgeoRgeo + λfmtRfmt로 비교·갱신 (β=0.001)

환경(Environment) CadQuery(OpenCascade) 실행기 → 표면 점군 샘플링 → Chamfer Distance(GT 대비) → 보상 · 결정적(deterministic), 미분 불가 → 정책경사 필요

MDP 모델링 (논문 식 1–3에서 재구성)

에이전트LLM 정책 πθ (Qwen2.5-7B, SFT+CoT로 초기화)
상태 st(프롬프트 Lcot, 지금까지 생성한 토큰 c<t)
행동 at다음 토큰 ct ∈ 어휘(≈15만). 응답 전체 = 행동열 C (<think> + 코드)
전이결정적: st+1 = st ⊕ ct, EOS에서 종료
보상종단·희소: R = λgeo·Rgeo(CD) + λfmt·Rfmt, 중간 토큰 보상 0, γ=1
이득Âi = (Ri − mean R) / std R (같은 프롬프트의 k=8 후보끼리, critic 없음)

※ 논문은 MDP를 명시적으로 정식화하지 않았습니다. 위 표는 식 (1)–(3)과 구현 설명으로 재구성한 것입니다.

보상 함수 (논문 §3.2)

  • Rgeo: 실행 실패 → 0 · CD<1e-5 → 1.0 · CD>0.5 → 0 · 사이는 선형 감소(0.5에서 0.01)
  • Rfmt: <think>…</think>와 ```python …```가 모두 있으면 1
  • λgeo, λfmt 값은 논문·공개 저장소에 없음 → 슬라이더로 직접 바꿔 볼 수 있습니다 (아래 GRPO 시뮬레이터).
라이브 데모

코드 → 형상 → 보상: RL 환경을 직접 돌려 보기

테스트셋에서 뽑은 샘플을 고르면 CAD-Coder 공개 체크포인트가 실제로 쓴 응답과 그 채점 결과가 나타납니다. 코드를 고쳐 실행하면 서버의 샌드박스에서 CadQuery를 실행해 3D 형상을 그리고, 정답(GT) 형상과의 Chamfer Distance와 보상을 계산합니다. ‘자세만 다름’ 샘플은 겹쳐보기로 보면 같은 모양이 다른 방향으로 놓여 있는 것을 볼 수 있습니다 — 재현 실험에서 CD가 논문과 달랐던 핵심 이유입니다.

① 샘플 선택 · 설명 · 코드

샘플을 선택하세요.

공개 서버라 허용된 CadQuery API만 실행됩니다(AST 화이트리스트 · 별도 프로세스 · 메모리/CPU 제한 · 12초 제한). 변수 r에 최종 모델을 대입하세요.

② 3D 형상 · 채점

샘플을 선택하면 형상이 나타납니다

GRPO 시뮬레이터

같은 프롬프트의 후보 8개를 비교해 이득을 만든다

GRPO는 가치망(critic) 없이, 한 프롬프트에서 뽑은 k=8개 후보의 보상을 서로 비교해 Âi = (Ri − mean)/std를 만듭니다. 아래는 실제 체크포인트에서 뽑은 8개 후보(온도 1.0)를 같은 환경으로 채점한 결과입니다. 슬라이더로 λ를 바꾸면 이득이 어떻게 달라지는지 볼 수 있습니다.

λfmt0.10
보상 형태

초록 점 = 이득이 양수(확률을 올릴 후보), 빨강 점 = 음수(내릴 후보). 주황 띠 = 같은 형상을 다시 샘플링했을 때의 CD 범위(측정 잡음).

재현 결과

공개 체크포인트로 다시 측정한 결과

Table 1 재측정 (논문 vs 재현)

코드 오류율(IR) 비교

CD 분포 (논문 Fig. 5a 구간)

측정 잡음 하한 vs 보상 임계값

GRPO 학습 신호: 그룹 내 보상 분산

구현 과정·한계

생성형 AI(Claude Code)로 구현해 보니

완벽한 재현이 아니라 ‘논문 알고리즘을 실제로 구현해 돌려 보는 것’이 목적입니다. 무엇이 잘 됐고, 어디서 막혔고, 왜 숫자가 다른지 기록했습니다.