Tiki Ai
AI Evaluation Engineer
인프라·데이터 · AI 인프라·시스템
- 경력
- 아래 자격요건 참고
- 고용 형태
- 전일제
- 근무지
- 서울 강남구 테헤란로5길 7, Wework
- 재택 조건
- 근무조건 및 기업 원문 확인
주요 업무
- 모델 목표를 구체적인 평가 과제·난이도·기준으로 바꾸고, rubric·grader·verifier와 사람 평가 과정을 설계·검증한다.
- Agent 실행 기록과 모델 결과의 실패 원인을 찾아 학습·합성·평가 데이터를 개선한다.
- 코드 실행 등 검증 가능한 신호를 평가·보상에 연결하고, 오염·편향·reward hacking을 점검한다.
- 대조 실험과 통계 분석으로 개선 효과를 확인하고 Python 기반 평가를 재현 가능하게 운영한다.
자격 요건
- LLM 평가·학습 데이터·합성 데이터·모델 품질 분석 경험, 관련 benchmark·rubric·grader·verifier 활용 경험이 필요하다.
- 평가 신뢰도와 실패 분석을 설명하고 이를 데이터나 평가 개선으로 연결할 수 있어야 한다.
- Python으로 데이터·모델 호출·분석을 독립 수행하고 실험 설계·통계 판단을 할 수 있어야 한다.
- SFT·RLVR·rubric 보상·Agent RL을 이해하고 문서화·협업·독립 추진이 가능해야 한다. 학사 이상이며 전공 제한은 없다.
우대사항
- RLVR·Agent RL 등 후학습, 검증 가능한 보상, SFT·선호도 최적화·RLHF/RLAIF 경험.
- Coding·Agent·멀티모달 데이터 구축·평가, 평가 취약점 해결 또는 공개 가능한 재현 연구 경험.
복리후생·근무환경
- GPT·Claude·Gemini 실험 환경과 평가·데이터 개선용 컴퓨팅 자원.
- 업무 방향 제안 기회, 유연근무, 장비·교육비 지원 및 회사 성장 보상.
게시일: 2026.09.16 · 원문 확인일: 2026.11.10
공고 안내
기업 원문에서 확인한 상세 정보를 정리했습니다. 현재 모집 여부는 기업 원문에서 확인해 주세요.
