들어가기 전에검색 시스템에 질문을 입력하면 보통 하나의 문서만 나오는 것이 아니라, 질문과 관련 있다고 판단한 문서들이 순서대로 나옵니다.예를 들어 사내 규정에 관해 질문했을 때 검색 결과가 100개 나왔다고 가정해보겠습니다. 이 100개를 모두 확인할 수는 없으니 실제로는 상위 몇 개의 결과만 사용하게 됩니다. 웹 검색에서는 첫 페이지에 나온 결과만 살펴보는 경우가 많고, RAG에서는 검색 결과 중 일부 문서만 LLM에 전달합니다.그렇다면 검색 성능을 평가할 때도 전체 결과가 아니라 실제로 사용하는 범위까지 확인해야 합니다.이때 사용하는 지표가 Precision@K와 Recall@K입니다. 이름에 수식처럼 보이는 기호가 들어가서 처음에는 어렵게 느껴질 수 있지만 의미는 단순합니다.@K→ 검색 결과를 위..

들어가기 전에RAG 시스템의 성능을 객관적으로 평가하려면 먼저 시험지가 필요합니다. RAG가 정답 문서를 제대로 찾았는지 확인하려면 어떤 문서가 정답인지 알고 있어야 합니다. 생성된 답변이 정확한지 평가하려면 사용자의 질문에 대한 기대 답변도 준비되어 있어야 하죠. 예를 들어 다음과 같은 질문이 있다고 가정해보겠습니다.A사의 2025년 2분기 영업이익은 얼마인가요?RAG가 다음과 같이 답변했습니다.A사의 2025년 2분기 영업이익은 35억 원입니다.겉으로 보기에는 그럴듯한 답변입니다. 하지만 평가하려면 최소한 다음 정보를 알고 있어야 합니다. 기대 답변은 35억 원인가?정답이 포함된 문서는 무엇인가?문서 안에서 실제 정답이 들어 있는 청크는 무엇인가?검색된 다른 문서들은 질문과 얼마나 관련이 있는가? ..

들어가기 전에앞선 글에서는 Precision@K, Recall@K, MRR, NDCG와 같은 정보 검색 평가 지표를 살펴봤습니다.이 지표들을 사용하면 RAG가 정답 문서를 얼마나 잘 찾았는지, 관련 문서를 상위에 얼마나 잘 배치했는지를 수치로 확인할 수 있습니다. 그런데 RAG 시스템에서 사용자가 마주하는 것은 검색 결과가 아니라 최종 답변입니다. RAG가 관련 문서를 정확히 찾았더라도 LLM이 문서 내용을 잘못 해석하면 틀린 답변이 나올 수 있습니다. 반대로 검색된 문서가 충분하지 않았는데도 LLM이 사전 학습 과정에서 배운 지식을 활용해 그럴듯한 정답을 만들 수도 있습니다. 최종 답변만 놓고 보면 두 경우를 구분하기 어렵습니다. 예를 들어 RAG가 틀린 답변을 생성했을 때 임베딩 모델부터 교체했는데..

RAG를 개선하기 위해 임베딩 모델을 변경하거나 하이브리드 검색과 Reranker를 도입했다고 가정해 보겠습니다.변경 전보다 검색 결과가 좋아진 것처럼 보이지만 실제로 성능이 얼마나 개선되었는지는 어떻게 확인할 수 있을까요? 몇 가지 질문을 직접 입력해 보고 결과가 괜찮은지 확인하는 방법도 있습니다. 하지만 이러한 방식은 평가자의 주관에 따라 결과가 달라지고, 검색 시스템을 변경할 때마다 동일한 기준으로 비교하기 어렵습니다. 검색 품질을 객관적으로 비교하려면 다음과 같은 질문에 수치로 답할 수 있어야 합니다.정답 문서가 검색 결과에 포함되었는가?관련 문서를 빠짐없이 검색했는가?검색 결과에 불필요한 문서가 얼마나 포함되었는가?정답 문서가 몇 번째 순위에 나타났는가?관련도가 높은 문서가 상위에 배치되었는가?..

Anthropic이 2026년 6월 30일에 새로운 모델 Claude Sonnet 5를 공개했습니다. 이번 발표에서 가장 강조된 표현은 '가장 agentic(자율적)한 Sonnet'입니다. 단순히 질문에 답하는 데 그치지 않고 스스로 계획을 세우고 브라우저와 터미널 같은 도구를 직접 사용하며 여러 단계로 이어지는 작업을 끝까지 자율적으로 수행한다는 의미로 붙여진 표현인데요. Anthropic은 불과 몇 달 전만 해도 훨씬 크고 비싼 모델이 필요했던 수준의 작업을 이제 Sonnet 5가 처리할 수 있다고 설명했습니다. Opus급 성능을 더 낮은 비용으로 Sonnet 5는 상위 모델인 Opus 4.8에 근접한 성능을 더 낮은 가격에 제공합니다. 이전 세대인 Sonnet 4.6과 비교하면 추론, 도구 사용,..

Intro안녕하세요! 지난 주말 서강대학교에서 열린 2026 Build with AI: Hands-on Campus에 다녀왔습니다. GDG Campus Korea가 주관한 행사로 서강대학교와 연세대학교 등 AI·SW중심대학 신촌지역협의회가 함께한 자리였어요. 행사장에 들어서자마자 마주한 컬러풀한 'BUILD WITH AI' 포스터들이 인상적이었고 굿즈로 받은 미니 우산은 이 비 오는 날씨에 정말유용하게 쓰고 있습니다 이번에는 제가 들었던 세 개의 세션을 정리해보려고 합니다. 각 세션마다 다른 결의 인사이트가 있어서 하루를 알차게 보낼 수 있었어요.세션 1. 개발자의 PM 역량 키우기"PM은 일정 관리하는 사람, 회의 잡는 사람이 아닙니다." 첫 세션은 AI가 무너뜨린 직군의 경계 위에서 개발자가 어디..

들어가기 전에지금까지 RAG 파이프라인의 여러 구성 요소를 다뤘습니다. 어떻게 청킹할지, 어떻게 검색할지, 답변의 신뢰성을 어떻게 높일지 말이죠. 그런데 이 모든 과정을 거쳐 시스템을 배포했다고 끝이 아닙니다. 실제 사용자가 시스템을 쓰기 시작하면 그때부터 가장 귀한 데이터가 쌓이기 시작합니다. 어떤 질문에 좋은 답변이 나왔고, 어떤 검색 결과가 클릭되었고, 어떤 답변이 도움이 되지 않았는지. 이 데이터를 그냥 버리면 아깝습니다. 배포 전에 아무리 좋은 벤치마크 데이터로 평가해도 실제 사용자의 질문 패턴을 완전히 예측하기는 어렵습니다. 사용자들이 예상치 못한 방식으로 질문하고, 도메인 특화 용어를 쓰고, 범용 임베딩 모델이 제대로 이해하지 못하는 표현을 사용하기도 합니다. 이런 문제들은 실제로 시스템을 ..

들어가기 전에..지금까지 다룬 RAG 파이프라인은 대부분 텍스트를 전제로 했습니다. 하지만 실무에서 다루는 문서는 텍스트만으로 이루어지지 않죠. 예를 들어 재무 보고서에는 수십 개의 표가 있고, 기술 매뉴얼에는 다이어그램이 가득하고, 제품 문서에는 스크린샷이 첨부됩니다. 이런 문서를 그냥 텍스트로 변환해서 청킹하면 어떻게 될까요? 표의 행과 열 관계가 무너지고, 이미지 속 정보는 통째로 사라집니다. 이번 글에서는 테이블과 이미지를 RAG에서 제대로 다루는 방법을 정리해보겠습니다. 테이블은 왜 그냥 텍스트로 변환하면 안 될까?텍스트는 선형으로 읽힙니다. 앞에서 뒤로 순서대로 이해하면 되죠. 하지만 테이블은 다릅니다. 2차원 구조이고, 행과 열의 교차점에서 의미가 생깁니다. '3분기 매출이 얼마야?'라는 질..

들어가기전에.. 타짜에 이런 명대사가 있습니다."구라를 치려고 마음을 먹었을 땐 상대방 눈을 쳐다보지마라" 우리가 즐겨쓰는 LLM은 이 말을 모르는 것 같습니다. 틀린 말을 할 때도 눈 하나 깜짝하지 않거든요. 지금까지 RAG 시스템을 구성하는 여러 요소를 다뤘습니다. 문서를 어떻게 청킹할지, 데이터를 어떻게 정제할지, 검색을 어떻게 개선할지, 등등을 말이죠. 그럼에도 불구하고 이 모든 노력을 기울여도 결국 남는 질문이 있습니다.'LLM이 생성한 답변을 얼마나 믿을 수 있을까?' LLM은 그럴듯하게 들리지만 틀린 내용을 자신 있게 말하는 경향이 있습니다. 이것이 그 유명한 Hallucination(환각)입니다. RAG가 이 문제를 완화해주지만 완전히 해결하지는 못합니다. 검색된 문서가 있어도 LLM이 ..