정답률 순위
1등 구글 제미나이3pro- 92%
2등 앤스로픽 클로드4.5 - 84% (빅테크들이 투자)
3등 xAI 그록4.1 - 82% (일론머스크 회사)
4등 openAi GPT-5.1 - 80%
5등 중국 딥시크 76%
해외 AI 모델들은 모두 70% 이상
국내 AI 모델들은 솔라프로2 58% 제외하고는 대부분 20%대 정답률이라함
국내 AI업계는 모델의 용도 차이에 따른 결과라는 입장임
https://v.daum.net/v/20251215190939658
수능, AI에 풀게 했더니…구글 제미나이 92점, 국내AI 20점대 [팩플]
국내 기업들이 개발한 인공지능(AI) 모델들에 수학능력시험(수능) 문제 등을 풀게 한 결과 해외 AI에 비해 크게 낮은 점수를 받은 것으로 나타났다. 국내 AI 업계는 모델의 용도 차이에 따른 결과라는 입장이다.
15일 김종락 서강대 수학과 교수 연구팀은 ~ 수능 수학의 네 분야(공통과목, 확률과 통계, 미적분, 기하)에서 가장 난도가 높은 문제 5개씩 20문제, 국내 논술·인도 대학 입시 10문제씩, 일본 도쿄대 공과대학 대학원 입시 10문제 등 총 50개 문제를 선별해, AI에 풀게 했다.
그 결과 5개 해외 AI모델은 전부 70% 이상 정답률을 기록했다. 특히 구글의 최신모델 ‘제미나이 3 프로’는 50문항 중 46문제를 맞춰 92% 정답률을 보였다. 앤스로픽의 클로드가 84%, xAI의 그록이 82% 정답률로 뒤를 이었다. 반면 국내 AI 기업의 모델들은 이들과 비교해 정답률이 확연히 떨어졌다. 업스테이지의 ‘솔라 프로 2’(58%)를 제외하고는 대부분 20%대 정답률을 보였다. 연구팀이 수학올림피아드, 대학 수학 개념을 재구성해 자체적으로 개발한 데이터셋인 ‘엔트로피 세트’ 문제에서도 해외 AI 모델들은 80점을 넘긴 반면, 국내 AI 모델은 7.1~53.3점을 기록했다. 김종락 교수 연구팀은 “국내 모델 수준이 해외 프론티어 모델에 비해 뒤처진다는 것을 알 수 있었다”고 평가했다.
업계에선 평가받은 국내 AI 개발사들이 업무용 AI 개발에 주력해 온 만큼, 수학 문제 풀이 점수는 낮을 수밖에 없다는 입장이다. 한 응용 AI 스타트업 최고기술책임자(CTO)는 “국내 AI 개발사들 목적은 AI 에이전트 같은 산업용 AI를 개발하려는 것”이라며 “(수능 수학으로 평가할 때) 한국 LLM의 성적이 낮게 나올 수 밖에 없다”고 말했다.