‍[직무소개]

향후 10년 동안 전 사업의 밸류체인에 재정의 되면서 AI Agent와 사람이 적정 비율로 조합해서 업무가 이루어지게 될 것입니다. Applied AI 프로젝트는 그런 변화를 위한 AI Agent Build 프로젝트와 구축된 AI Agents들에 대한 지속적 진화 & 운영하는 Ops 프로젝트로 구성됩니다.

이 포지션은 생성형 AI 서비스가 기획된 의도대로 정확하게 답변하고(Alignment), 안전하게 동작하며(Trust/Safety), 지속적인 피드백을 통해 똑똑해지도록(HITL) 만드는 품질 총괄 역할입니다.단순한 테스트를 넘어, 프롬프트 엔지니어링으로 답변 품질을 조율하고, 잠재된 리스크를 찾아내는 레드팀 활동을 주도하며, 고품질 데이터셋을 구축하여 모델을 학습시키는 전 과정을 리드합니다.

‍

[주요 업무 (Responsibilities)]

1. AI 모델 조율 및 기술적 최적화 (Alignment)

• PO가 정의한 목표에 맞춰 시스템 프롬프트를 설계하고, 퓨샷(Few-shot) 러닝 등을 통해 페르소나와 답변 스타일을 정교하게 조정합니다.
• RAG 기반 검색 정확도를 높이고, 답변의 근거를 강화하여 환각 현상을 최소화하는 기술적 튜닝을 수행합니다.
• LLM 기반 자동 평가 파이프라인(LLM-as-a-Judge)을 구축하여 모델 성능을 정량적으로 측정하고 관리합니다.
• TRiSM 정책을 NeMo Guardrails 등의 기술적 코드로 구현하여 구체적인 차단 및 마스킹 규칙을 적용합니다.

2. AI 신뢰성 및 리스크 관리 (Trust & Safety)

• 회사 규정, 개인정보보호법, AI 윤리 가이드라인에 기반한 에이전트 운영 정책(Do's & Don'ts)을 수립합니다.
• 에이전트를 의도적으로 공격하여 취약점을 찾아내는 레드팀(Red Teaming) 훈련을 주도하고 방어책을 마련합니다.
• 편향성, 독성, 저작권 침해 등 모델이 내재한 리스크를 주기적으로 감사하고, GDPR 및 AI Act 등 규제 준수 여부를 점검합니다.

3. 데이터 운영 및 품질 고도화 (HITL)

• AI가 확신을 갖지 못하거나 잘못 답변한 예외 케이스(Edge Case)를 분석하여 해결책을 마련합니다.
• 답변 중 수정이 필요한 데이터를 선별하여 재학습을 위한 골드 데이터셋을 구축합니다.
• RLHF(인간 피드백 기반 강화학습)를 위한 데이터 라벨링 가이드를 작성하고, 사용자 불만 및 오답 노트를 분석하여 개선 피드백을 전달합니다.

‍

[자격 요건 (Requirements)]

• 경력 5년 이상 (QA, AI 모델링, 테크니컬 기획 또는 데이터 오퍼레이션 등 관련 직무)
• LLM 및 챗봇 서비스 구축 프로젝트에 참여하여 실무를 경험하신 분
• 복잡한 요구사항을 논리적인 정책 문서로 정리하고, 이를 개발 언어 또는 기술적 요구사항으로 변환할 수 있는 분
• 꼼꼼한 텍스트 분석 능력과 데이터를 기반으로 문제를 해결하는 역량을 갖추신 분

‍

[우대 사항 (Preferred Qualifications)]

• QA 엔지니어 출신으로, 단순 테스트를 넘어 제품의 기획 단계부터 품질 기준을 수립(Shift Left) 하고 싶은 분
• Python 활용 능력 및 LangChain, LlamaIndex 등 LLM 프레임워크 사용 경험
• CoT, ReAct 등 심화된 프롬프트 엔지니어링 및 Vector DB 활용 경험
• 생성형 AI의 보안 취약점(OWASP Top 10 for LLM) 및 AI 윤리, 컴플라이언스에 대한 이해

‍

[면접 프로세스]

• 1차 실무 인터뷰
  
  • 상황에 따라 온라인 or 오프라인으로 진행 됩니다.
• 2차 경영진 컬쳐핏 인터뷰
  • 상황에 따라 추가 interview가 진행될 수 있습니다.‍

[기타 안내]

• 시니어의 경우 레퍼런스 체크가 진행될 수 있습니다.
• 신입/경력 무관하게 수습기간 3개월이 적용됩니다

‍

‍