AI 연구 에이전트는 과학자의 일을 어디까지 할 수 있나: 2026년 벤치마크가 보여준 경계

짧은 결론: 과학자를 대체하느냐는 질문부터 너무 큽니다

AI 연구 에이전트에 논문을 찾아 달라고 요청했더니 몇 분 만에 그럴듯한 목록과 요약이 나왔다고 해보죠. 여기서 가장 쉬운 실수는 결과가 매끄럽다는 이유로 문헌 탐색도 끝났다고 판단하는 것입니다.

2026년 4월과 6월 공개된 두 벤치마크가 제시하는 경계는 비교적 분명해요. AI 에이전트는 목표와 평가 기준이 명확한 분석에서는 유용하지만, 빠짐없는 문헌 탐색이나 새로운 질문을 다루는 개방형 탐구에서는 아직 불안정합니다.

따라서 “AI가 과학자의 일을 할 수 있는가”보다 다음 두 가지를 먼저 물어야 합니다.

• 과제가 어디까지 명확하게 정의돼 있는가?
• 결과가 맞는지 독립적으로 검사할 수 있는가?

이 두 조건이 강할수록 AI를 실무 도구로 쓰기 쉽습니다. 반대로 질문 자체가 변하고 정답 기준도 불분명하다면 사람의 판단 부담은 줄어들지 않아요.

연구 업무를 나누면 강점과 약점이 보입니다

과학 연구는 하나의 작업이 아닙니다. 문헌을 찾고, 데이터를 처리하고, 질문을 수정하고, 결과를 해석하는 서로 다른 과정이 이어집니다.

‘AI 과학자’라는 큰 이름을 붙이면 이 차이가 가려지는데요. 두 프리프린트의 결과는 연구 업무를 다음처럼 나눠 볼 때 더 실용적으로 읽힙니다.

연구 업무	AI 활용 가능성	핵심 위험	필요한 검증
목표가 명확한 정형 분석	상대적으로 높음	잘못된 입력이나 평가 기준	재실행, 기준값 대조
복잡한 문헌 탐색	제한적	중요 문헌 누락, 부적절한 결과 포함	다른 검색 경로와 교차 확인
개방형 탐구	불안정	질문 이탈, 근거가 약한 결론	전문가 검토, 단계별 근거 확인
새로운 통찰·가설 제안	아이디어 보조로 활용 가능	새로움과 타당성의 혼동	선행연구, 반증 조건, 실험 검토

이 표에서 눈여겨볼 부분은 작업 속도가 아닙니다. 결과를 검사할 방법이 있는지가 실제 활용 범위를 가릅니다.

약 200개 과제가 보여준 것은 ‘과제 구조의 효과’입니다

과학 과제 전반을 다룬 핵심 벤치마크는 약 200개 연구 과제로 AI 에이전트를 평가한 프리프린트입니다. 이 연구는 정형화된 데이터 분석과 개방형 탐구 사이에 나타나는 성능 차이와 실패 유형을 다룹니다.

여기서 정형 과제란 단순한 과제라는 뜻만은 아닙니다. 입력, 목표, 사용할 도구와 평가 방식이 비교적 분명한 문제에 가깝습니다. 이런 구조에서는 에이전트가 수행할 단계를 계획하고 결과를 확인하기가 수월해져요.

반면 개방형 탐구에서는 무엇을 찾아야 하는지부터 달라질 수 있습니다. 중간 결과에 따라 질문을 수정하고, 예상하지 못한 설명을 비교하며, 어느 증거를 더 신뢰할지 판단해야 하죠.

따라서 정형 분석에서 나타난 좋은 결과를 곧바로 ‘자율적인 과학 발견 능력’으로 확대 해석해서는 안 됩니다. 벤치마크가 확인한 능력의 범위와 홍보 문구가 암시하는 범위는 다를 수 있습니다.

문헌 탐색의 문제는 그럴듯함보다 누락입니다

AutoResearchBench는 복잡한 과학 문헌 탐색에 초점을 맞춘 프리프린트입니다. 제공된 연구 요약에 따르면 강력한 모델도 조건에 맞는 문헌을 깊게 추적하거나 폭넓게 수집하는 과제에서 낮은 성능을 보였습니다.

문헌 탐색에서는 하나의 관련 논문을 찾아내는 것과 필요한 논문 집합을 충분히 찾는 것이 전혀 다른 문제예요. 검색 결과 열 편이 모두 관련 있어 보여도, 결정적인 반례나 후속 연구가 빠졌다면 검토의 결론이 달라질 수 있습니다.

그래서 AI 문헌 검색의 산출물은 ‘완성된 검토’보다 ‘검토를 시작할 후보군’으로 보는 편이 정확합니다. 특히 포함·제외 조건이 복잡하거나, 여러 분야의 용어가 섞이거나, 인용 관계를 따라가야 하는 질문이라면 누락 검사를 별도 단계로 두어야 합니다.

제가 먼저 확인할 부분은 요약문의 문장력이 아니라 검색 범위예요. 어떤 데이터베이스를 대상으로 했는지, 검색 조건이 어떻게 해석됐는지, 빠진 자료를 찾을 대조 경로가 있는지를 분리해서 봅니다.

가설을 쓰는 것과 과학적 통찰을 만드는 것은 다릅니다

AI는 기존 정보에서 패턴을 조합해 가설 형태의 문장을 제안할 수 있습니다. 하지만 읽어보지 못한 문장이 나왔다는 사실만으로 과학적으로 새로운 통찰이 됐다고 볼 수는 없어요.

새로운 가설에는 최소한 세 가지 검사가 필요합니다.

1. 기존 문헌에 이미 같은 설명이 제시됐는가?
2. 어떤 관측이나 실험 결과가 나오면 이 가설이 틀렸다고 판단할 수 있는가?
3. 현재 데이터가 가설을 지지하는가, 아니면 단지 배제하지 못하는가?

개방형 탐구에서 AI의 역할은 이 검사를 대신하는 것보다 후보를 넓히는 데 가깝습니다. 가설 후보를 여러 개 만들고 비교 기준을 정리하는 데는 쓸 수 있지만, 어떤 질문이 과학적으로 가치 있는지와 어떤 증거가 결론을 지지하는지는 별도의 판단입니다.

두 연구의 증거 수준은 프리프린트입니다

두 벤치마크는 모두 arXiv에 공개된 프리프린트입니다. 동료심사가 완료된 논문으로 취급해서는 안 되며, 과제 구성과 채점 방식, 모델별 설정에 따라 해석이 달라질 여지가 있습니다.

그렇다고 결과를 무시해야 한다는 뜻은 아닙니다. 프리프린트는 새 평가 틀과 초기 증거를 검토하는 자료로 쓸 수 있어요. 다만 ‘무엇을 측정했는가’와 ‘측정하지 않은 것은 무엇인가’를 함께 읽어야 합니다.

특히 벤치마크 점수는 실제 연구 생산성과 1대1로 대응하지 않습니다. 실제 연구에는 불완전한 데이터, 접근 권한, 계산 비용, 도구 오류, 재현성, 협업, 질문 수정처럼 통제된 평가에 충분히 담기 어려운 요소가 있기 때문입니다.

도구를 고를 때는 네 가지 질문이면 충분합니다

AI 연구 에이전트를 평가할 때 모델 이름이나 종합 점수부터 비교하면 과제와 도구가 어긋날 수 있습니다. 다음 질문을 먼저 적어보세요.

• 과제 구조: 입력과 완료 조건을 명확히 설명할 수 있는가?
• 성공 기준: 결과가 맞는지 기계적 또는 독립적으로 검사할 수 있는가?
• 누락 비용: 중요한 문헌이나 변수를 하나 놓쳤을 때 결론이 크게 달라지는가?
• 과신 위험: 매끄러운 설명이 정확성이나 완전성으로 오해되기 쉬운가?

정형화 정도와 검증 가능성이 높다면 제한된 범위에서 에이전트의 활용 가치를 시험해볼 수 있습니다. 누락 비용과 과신 위험이 높다면 사람의 검토를 마지막 단계에만 배치해서는 안 됩니다. 과제 정의, 중간 결과, 최종 해석마다 확인 지점을 두는 편이 맞습니다.

다음에 볼 것은 더 높은 점수만이 아닙니다

후속 연구에서 종합 점수가 오르는지만 볼 필요는 없습니다. 문헌 탐색의 누락률이 줄었는지, 개방형 과제에서 실패를 스스로 감지하는지, 다른 환경에서도 결과가 재현되는지가 더 실질적인 관찰 지점입니다.

현재 증거가 지지하는 가장 안전한 해석은 이렇습니다. AI 연구 에이전트는 잘 정의되고 검증 가능한 일부 연구 업무를 보조할 수 있지만, 문헌의 완전성이나 가설의 과학적 가치를 스스로 보증하지는 못합니다.

도입 여부를 판단한다면 작은 실제 과제 하나를 고른 뒤, 정답이나 기준 결과를 준비해 비교해보세요. 그때 측정할 것은 답변 속도뿐 아니라 누락, 잘못된 포함, 재현 가능성, 사람이 검토하는 데 든 시간입니다.