LLM 평가·문항생성 파이프라인 AI 엔지니어

• 안녕하세요 뉴런소프트 대표 최영재입니다.
• 뉴런소프트는 교육 AI 분야에서 LLM 기반 학습·평가 솔루션을 개발하고 있습니다.
• 현재 수능형 수학 문항(문제·보기·정답·해설) 자동 생성 프로젝트를 운영 중이며, 단일 LLM 생성이 아닌 Mutator / Solver / Weaver / Reviewer 역할 분리, 독립 검산, SymPy·sanity filter 등 다단계 gated pipeline으로 품질을 통제하고 있습니다.
• 다음 단계는 「파이프라인이 돌아간다」를 넘어 「사람이 검수해도 쓸 수 있는 문항을 안정적으로 생산한다」는 것입니다.
• 그 전환을 이끌 파이프라인·평가 엔지니어를 모십니다.
• 평가·검증 파이프라인 설계 및 개선 (생성 검산 기호검증 패러프레이즈 최종검수)
• 단계별 퍼널·reject 사유 분석, 게이트 정책·임계값 튜닝
• 반복 퇴화·정답 불일치 등 병목 타겟 개선 (salvage 로직 포함)
• Baseline A/B 실험 및 품질·수율 리포트
• 재현 가능한 실험 체계 구축 (코드·설정·입출력·로그)
• 사람 검수 연동 및 통과율 KPI 관리
• Python·GPU 환경 배치 파이프라인 운영
• Python 기반 ML/LLM·데이터 파이프라인 3년 이상 실무
• LLM 생성 품질을 지표로 측정·개선한 경험
• 다단계 파이프라인(생성검증필터) 설계·운영 경험
• 실험 재현성(config, 로그, 스냅샷) 실무 감각
• Linux·GPU 서버 운영·디버깅 경험
• 교육 콘텐츠·문항 출제·평가 경험 (수학 우대)
• 수학 reasoning 모델 검산·verifier 구축

HuggingFace Transformers, LoRA

• SymPy 등 기호·수식 검증
• 한국어 LLM fine-tuning
• multi-GPU batch 운영

1. 지분참여
2. 얼리엑싯회사
3. 야근식대
4. 최고의 동료
5. AI업무 친화기업