AI 들에게 올해 수능을 풀게 한 결과가 나왔습니다.

17
Postingan ini belum diterjemahkan ke Bahasa Indonesia. Menampilkan teks asli.

https://isoft.cnu.ac.kr/csat2027/

단순히 LLM에게 pdf를 주고 풀게 한것이 아닌 시험지에서 여러 문제들로 나누고 단순히 이미지를 입력하던가, text를 추출해서 입력하던가 등 여러 방법으로 풀게한 결과들이 정리되어있습니다.

best_performance_600.png


아래는 해당 연구실에서 함께 첨부한 메세지 입니다.
https://lnkd.in/p/gGR_yHay
---
수학능력시험에서 AI가 만점을 받는것은 이미 예견된 일이었습니다.
작년에 이미 가장 까다롭다는 수학분야에서 Zero-Data-Leakage 상황에서 만점을 받았었으니까요.

올해 저희 연구실에서는 다른 관점에서 AI의 수학능력 시험을 검증하고자 하였습니다.
- 우선 전과목으로 넓혔습니다.
- 인간의 수학능력의 평가에서 시각정보와 텍스트 정보의 중요도를 분석하고자 하였습니다.
- 또한 프리미엄 비공개 모델에 비해 로컬설치 가능한 공개 모델이 얼마나 가까이 따라왔는지를 분석하고자 하였습니다.
- 더불어 아직 텍스트만 입력가능한 독자적파운데이션모델들이 국제수준의 모델에 비해 어느정도 경쟁력이 있는지 확인하고자 하였습니다.

그 분석 결과를 공유합니다.
결과1) 수능수준은 이미 프리미엄급 AI(ChatGPT, Claude) 는 모두 전과목 만점입니다.
결과2) 수능전체에 걸쳐 시각지능이 필수적인 문제는 무려 46%입니다.
결과3) 로컬x공개 모델들이 비약적으로 발전하여 비설치형 프리미엄 모델의 92.5%수준까지 따라왔습니다. 적어도 수능에서는요
결과4) 시각처리 기능은 없지만, 모든 시각정보를 텍스트화하여 넣어주는 제약적인 조건에서 독자적 파운데이션 모델도 프리미엄 모델 대비 약 95%까지는 따라온 것으로 보입니다. 적어도 수능에서는요.

※ 독파모의 경우 저희팀이 접근 가능한 API 가 있는 팀만 평가 하였습니다. (자체 API 제공업체 + 오픈라우터에 올라가 있는 모델)
자세한 내용은 아래 링크를 참고해주세요.

프로젝트 링크 : https://lnkd.in/gCMsD7rQ

문제 하나하나를 전사 및 검토하고 분석하느라 밤을 새운 우리 팀 연구원분들께 깊이 감사드립니다!

로그인한 회원만 댓글 등록이 가능합니다.

개발한당

KR | ID | EN
  • IDR
  • KOR
7.39 =0.00

2026.11.22 KEB 하나은행 고시회차 1008회

다가오는 한인 행사일정

  • 등록 된 일정이 없어요!