NeMo Guardrails

주요 기능

• LLM 대화형 애플리케이션에 프로그래머블 가드레일(rails) 추가
• Colang으로 대화 주제 제한, 정해진 대화 경로 강제
• 탈옥, 프롬프트 인젝션 등 취약점에 대한 방어 장치
• 모델, 체인, 외부 도구(tool)를 안전하게 연결
• pip install nemoguardrails 로 설치

왜 주목하나

NeMo Guardrails는 NVIDIA가 만든 오픈소스 툴킷으로, 애플리케이션 코드와 LLM 사이에 프로그래머블 가드레일을 둔다. 원치 않는 주제 차단, 대화 경로 강제, 출력 검증 같은 규칙을 정의해 신뢰할 수 있고 안전한 LLM 애플리케이션을 만들도록 돕는다.

참고

• GitHub 저장소