구글이 만든 최신 AI 미네르바 수준 ㄷㄷ

구글이 6월 30일에 발표한 AI 미네르바.

 

그동안 AI가 수학적 추론에서 작동하려면 큰 패러다임의 변화가 있어야만 한다는 학계의 예상과는 달리,

이번에 발표한 구글의 미네르바는 간단한 수학문제부터 과학 문제 풀이, 수학 증명까지 사람의 말로 해결이 가능함.

 

간단한 수학 문제를 미네르바에게 제시해봄.

 

문제: y = 4x + 6과 평행한 직선이 (5, 10)을 지날때, y절편을 구하여라

 

정확한 추론 과정을 거쳐서(위에 Model output: 이후의 모든 글자가 미네르바가 제시한 풀이과정임.) 정확한 답을 내놓는 모습을 보여줌.

 

 

이번엔 복잡한 추론이 요구되는 통계학 문제와 증명문제임.

놀랍게도 문제없이 해내는 모습! (왼쪽은 분산 표준편차 관련 문제 같은데 영어의 수학용어라 해석이 잘 안됨. 후자는 문자 그대로 절대부등식 증명문제임.)
 

 

그래서 어느정도로 잘하냐고?

MATH (고등학교 수준 수학문제) 에서 기존 최첨단 AI가 6.9%의 정답률을 보인것에 비해 미네르바는 50.3%의 정답률 수준으로 올림.

MMLU-STEM (엔지니어링, 화학, 수학, 물리학 복합 문제) 에서도 75%를 맞추는 대성장을 이룸.

OCWCourses는 MIT에서 제공한 대학 수준 문제 세트, GSM8K는 초중등 수준 문제.

 

물론 인간이라면 안할 기초적인 실수도 하는 모습을 가끔 보이고 있지만 구글이 내놓은 미네르바는 큰 파장을 불러일으키고 있음.

자세히 보고 싶은 사람은 링크 들어가서 보삼
https://ai.googleblog.com/2022/06/minerva-solving-quantitative-reasoning.html