# LangSmith ## 개요 LangChain이 제공하는 **LLM 애플리케이션 관측성 및 평가 플랫폼**. 프레임워크 무관하게 사용 가능하며, 토큰 사용량과 비용 추적에 특화. ## 특징 ### 1. 프레임워크 무관 관측성 - LangChain뿐 아니라 다른 LLM 프레임워크도 지원 - API 기반 통합 ### 2. 토큰 및 비용 추적 - 각 호출당 토큰 사용량 - 입력/출력 토큰 분리 추적 - 누적 비용 자동 계산 - 모델별 비용 비교 분석 ### 3. 모델 정보 중심 - **모델을 저장하지 않음** (MLflow와의 차이) - 모델에 대한 메타데이터만 보관 - 프롬프트 버전 관리 - 실행 이력 추적 ### 4. 평가 도구 - LLM 출력 평가 - 자동 메트릭 계산 - 성능 비교 ## 주요 기능 ### Tracing (트레이싱) - 호출 체인 추적 - 각 단계별 토큰/비용/시간 기록 - 오류 지점 파악 ### Evaluation (평가) - 평가 데이터셋 관리 - 자동 평가 실행 - 메트릭 집계 ### Deployment (배포) - 모니터드 프로덕션 배포 - 성능 모니터링 - A/B 테스팅 ## 사용 예시 ```python from langsmith import Client client = Client() # 자동 트레이싱 시작 # 토큰, 비용, 시간 자동 기록 # 평가 실행 results = evaluate( dataset="test_dataset", evaluators=[accuracy_checker, cost_checker] ) ``` ## LangChain과의 관계 - LangChain Inc.가 개발 - LangChain과 직접 통합 - LangGraph와도 호환 ## 경쟁사 | 도구 | 초점 | 차이점 | |------|------|--------| | MLflow | ML 일반 | 모델 저장 기능 있음 | | Weights & Biases | 실험 추적 | 더 포괄적, 비싸짐 | | Neptune | 메타데이터 | 일반 ML용 | ## 등장 소스 - [[ai/sources/langsmith-lecture|LangSmith 강의]] (2026-04-14) - [[ai/sources/langsmith-docs|LangSmith 공식 문서]]