들어가기 전에RAG의 성능을 평가했더니 점수가 낮게 나왔다고 가정해보겠습니다. Recall이 낮을 수도 있고, 답변 정확도가 기대보다 떨어질 수도 있습니다. 사용자들이 계속 비슷한 질문을 다시 묻거나 답변에 도움이 되지 않았다는 평가를 남길 수도 있죠. 문제가 있다는 사실은 알게 되었습니다. 그런데 점수가 낮다는 것만으로는 무엇을 고쳐야 할지 알 수 없습니다. 임베딩 모델을 바꿔야 할까요? 문서를 나누는 방법을 바꿔야 할까요? 검색 결과를 더 많이 가져와야 할까요? 아니면 LLM에 전달하는 명령을 수정해야 할까요? 원인을 확인하지 않고 여러 설정을 한꺼번에 바꾸면 운이 좋을 때는 점수가 오를 수 있습니다. 하지만 어떤 변경이 효과가 있었는지는 알기 어렵습니다. 점수가 오히려 떨어졌을 때도 어느 부분을 되..

들어가기 전에검색 시스템에 질문을 입력하면 보통 하나의 문서만 나오는 것이 아니라, 질문과 관련 있다고 판단한 문서들이 순서대로 나옵니다.예를 들어 사내 규정에 관해 질문했을 때 검색 결과가 100개 나왔다고 가정해보겠습니다. 이 100개를 모두 확인할 수는 없으니 실제로는 상위 몇 개의 결과만 사용하게 됩니다. 웹 검색에서는 첫 페이지에 나온 결과만 살펴보는 경우가 많고, RAG에서는 검색 결과 중 일부 문서만 LLM에 전달합니다.그렇다면 검색 성능을 평가할 때도 전체 결과가 아니라 실제로 사용하는 범위까지 확인해야 합니다.이때 사용하는 지표가 Precision@K와 Recall@K입니다. 이름에 수식처럼 보이는 기호가 들어가서 처음에는 어렵게 느껴질 수 있지만 의미는 단순합니다.@K→ 검색 결과를 위..

들어가기 전에RAG 시스템의 성능을 객관적으로 평가하려면 먼저 시험지가 필요합니다. RAG가 정답 문서를 제대로 찾았는지 확인하려면 어떤 문서가 정답인지 알고 있어야 합니다. 생성된 답변이 정확한지 평가하려면 사용자의 질문에 대한 기대 답변도 준비되어 있어야 하죠. 예를 들어 다음과 같은 질문이 있다고 가정해보겠습니다.A사의 2025년 2분기 영업이익은 얼마인가요?RAG가 다음과 같이 답변했습니다.A사의 2025년 2분기 영업이익은 35억 원입니다.겉으로 보기에는 그럴듯한 답변입니다. 하지만 평가하려면 최소한 다음 정보를 알고 있어야 합니다. 기대 답변은 35억 원인가?정답이 포함된 문서는 무엇인가?문서 안에서 실제 정답이 들어 있는 청크는 무엇인가?검색된 다른 문서들은 질문과 얼마나 관련이 있는가? ..

들어가기 전에앞선 글에서는 Precision@K, Recall@K, MRR, NDCG와 같은 정보 검색 평가 지표를 살펴봤습니다.이 지표들을 사용하면 RAG가 정답 문서를 얼마나 잘 찾았는지, 관련 문서를 상위에 얼마나 잘 배치했는지를 수치로 확인할 수 있습니다. 그런데 RAG 시스템에서 사용자가 마주하는 것은 검색 결과가 아니라 최종 답변입니다. RAG가 관련 문서를 정확히 찾았더라도 LLM이 문서 내용을 잘못 해석하면 틀린 답변이 나올 수 있습니다. 반대로 검색된 문서가 충분하지 않았는데도 LLM이 사전 학습 과정에서 배운 지식을 활용해 그럴듯한 정답을 만들 수도 있습니다. 최종 답변만 놓고 보면 두 경우를 구분하기 어렵습니다. 예를 들어 RAG가 틀린 답변을 생성했을 때 임베딩 모델부터 교체했는데..

RAG를 개선하기 위해 임베딩 모델을 변경하거나 하이브리드 검색과 Reranker를 도입했다고 가정해 보겠습니다.변경 전보다 검색 결과가 좋아진 것처럼 보이지만 실제로 성능이 얼마나 개선되었는지는 어떻게 확인할 수 있을까요? 몇 가지 질문을 직접 입력해 보고 결과가 괜찮은지 확인하는 방법도 있습니다. 하지만 이러한 방식은 평가자의 주관에 따라 결과가 달라지고, 검색 시스템을 변경할 때마다 동일한 기준으로 비교하기 어렵습니다. 검색 품질을 객관적으로 비교하려면 다음과 같은 질문에 수치로 답할 수 있어야 합니다.정답 문서가 검색 결과에 포함되었는가?관련 문서를 빠짐없이 검색했는가?검색 결과에 불필요한 문서가 얼마나 포함되었는가?정답 문서가 몇 번째 순위에 나타났는가?관련도가 높은 문서가 상위에 배치되었는가?..

Anthropic이 2026년 6월 30일에 새로운 모델 Claude Sonnet 5를 공개했습니다. 이번 발표에서 가장 강조된 표현은 '가장 agentic(자율적)한 Sonnet'입니다. 단순히 질문에 답하는 데 그치지 않고 스스로 계획을 세우고 브라우저와 터미널 같은 도구를 직접 사용하며 여러 단계로 이어지는 작업을 끝까지 자율적으로 수행한다는 의미로 붙여진 표현인데요. Anthropic은 불과 몇 달 전만 해도 훨씬 크고 비싼 모델이 필요했던 수준의 작업을 이제 Sonnet 5가 처리할 수 있다고 설명했습니다. Opus급 성능을 더 낮은 비용으로 Sonnet 5는 상위 모델인 Opus 4.8에 근접한 성능을 더 낮은 가격에 제공합니다. 이전 세대인 Sonnet 4.6과 비교하면 추론, 도구 사용,..

Intro안녕하세요! 지난 주말 서강대학교에서 열린 2026 Build with AI: Hands-on Campus에 다녀왔습니다. GDG Campus Korea가 주관한 행사로 서강대학교와 연세대학교 등 AI·SW중심대학 신촌지역협의회가 함께한 자리였어요. 행사장에 들어서자마자 마주한 컬러풀한 'BUILD WITH AI' 포스터들이 인상적이었고 굿즈로 받은 미니 우산은 이 비 오는 날씨에 정말유용하게 쓰고 있습니다 이번에는 제가 들었던 세 개의 세션을 정리해보려고 합니다. 각 세션마다 다른 결의 인사이트가 있어서 하루를 알차게 보낼 수 있었어요.세션 1. 개발자의 PM 역량 키우기"PM은 일정 관리하는 사람, 회의 잡는 사람이 아닙니다." 첫 세션은 AI가 무너뜨린 직군의 경계 위에서 개발자가 어디..

어른이날 기념으로 14인치 맥북 M5 pro 질렀습니다!너무 영롱하네요 ㅎㅎㅎ

들어가기 전에지금까지 RAG 파이프라인의 여러 구성 요소를 다뤘습니다. 어떻게 청킹할지, 어떻게 검색할지, 답변의 신뢰성을 어떻게 높일지 말이죠. 그런데 이 모든 과정을 거쳐 시스템을 배포했다고 끝이 아닙니다. 실제 사용자가 시스템을 쓰기 시작하면 그때부터 가장 귀한 데이터가 쌓이기 시작합니다. 어떤 질문에 좋은 답변이 나왔고, 어떤 검색 결과가 클릭되었고, 어떤 답변이 도움이 되지 않았는지. 이 데이터를 그냥 버리면 아깝습니다. 배포 전에 아무리 좋은 벤치마크 데이터로 평가해도 실제 사용자의 질문 패턴을 완전히 예측하기는 어렵습니다. 사용자들이 예상치 못한 방식으로 질문하고, 도메인 특화 용어를 쓰고, 범용 임베딩 모델이 제대로 이해하지 못하는 표현을 사용하기도 합니다. 이런 문제들은 실제로 시스템을 ..