출처: 이상은, 구민영, 김예진. AI와 평가를 위한 실용적 전략과 AI로 가르치고 사고하기 (CTL Teaching Tips #54). 서울 : 성균관대학교 교수학습혁신센터.

 대학교육에 들어온 AI를 어떻게 할 것인가는 우리나라나 미국, 어디에서든 중요한 화두인듯 합니다. 이번 티칭팁에서는 미국 위스콘신에 있는 Magna Publications이 개최한 온라인 컨퍼런스인 The Teaching Professor Conference on AI in Education의 기조강연을 소개해드리고자 합니다. 이 컨퍼런스는 2024년 12월 5일부터 시작되어 2025년 2월 17일까지 비실시간으로 참여가능한 유료 컨퍼런스로서, 두 개의 기조강연을 비롯하여, 동시세션으로 ‘교육에서 윤리적이고 포용적인 AI 활용(Ethical and Inclusive AI Practices in Education)’, ‘대학교수의 직무개발에서 AI에 대한 혁신적 접근(Innovative Approaches to AI in Faculty Development and Professional Growth)’, ‘코스설계에 AI를 통합하기(Integrating AI into Course Design)’, ‘학생 참여와 학습을 증진하기 위한 AI 기반 도구 (AI-Powered Tools for Enhancing Student Engagement and Learning)’, ‘교육에서 AI 기본과 새롭게 떠오르는 기술 (AI Fundamentals and Emerging Technologies in Education)’ 등을 주제로 미국 내 여러 대학의 교수자들의 약 20여 개의 발표가 포함되어 있습니다.

 대학교육 분야에서 AI의 부상은 학습에 새로운 기회를 제공함과 동시에, 해결해야할 여러 과제를 안겨주고 있습니다.  교육의 질을 떨어뜨리지 않으면서, 학생들의 참여를 더 독려할 수 있어야 하고, 학습윤리와 AI활용에 따르는 윤리적 문제를 해결해야 하기 때문입니다.  AI in Education 컨퍼런스의 기조강연인 Leon Furze의 ‘AI와 평가를 위한 실용적 전략(Practical Strategies for AI and Assessment)’과  José Antonio Bowen의 ‘AI로 가르치고 사고하기(Teaching and Thinking with AI)’는 대학과 대학 교수자들의 최근 고민을 해결하는 실마리를 제시하고자 합니다. 이번 티칭팁은 두 기조강연 내용을 요약하여 소개해드림으로써 우리 대학 교수님들께서 앞으로 교육과 AI를 연결하는 데 필요한 유용한 아이디어를 얻으시는데 도움이 되고자 합니다.  

  1. AI와 평가를 위한 실용적 전략(Practical Strategies for AI and Assessment)
 Leon Furze는 15년 이상의 중등 및 고등 교육 그리고 리더십 경험을 가진 국제 컨설턴트, 저자, 연사입니다. 그는 수십 권의 책과 기사를  출판했으며 컨설턴트 활동과 자문 활동을 통해 교육자들이 교육 분야에서 생성형 AI의 의미를 이해하도록 돕고 있습니다. 키노트 강연에서 그는 교육자와 학생들이 AI를 적절하고 투명하게 사용할 수 있도록 설계한 프레임워크인 AI 평가 척도(The AI Assessment Scale: AIAS)를 소개합니다.  Leon Furze는 AI 시대 평가의 취약함, 교육자의 역할, AIAS를 교육프로그램에 통합하는 방법에 대해 논의했습니다.

   가. 현재 모든 종류의 평가는 어떤 면에서든 AI에 취약하다
 우선, Leon Furze는 모든 종류의 평가가 어떤 면에서든 AI에 취약하다는 것을 강조했습니다. 에세이 작성과 서면 평가는 물론이고 객관식 문제, 온라인 시험과 같은 그 어떤 방법도 학문적 진실성을 판단할 수 없으며 기술에 맞서 100% 보호되지 않습니다. 즉, 학생들이 AI 기술에 접근하는 것을 통제할 수 없고, 학생들의 AI 사용 여부를 100% 정확하게 판단할 수도 없는 것이 현실입니다.

 심지어 온라인 시험 잠금 브라우저를 사용한다고 해도 잠금 브라우저에 눈에 띄지 않게 창을 닫고 몇 초마다 스크린샷을 찍어 Chat GPT를 사용해서 답하는 학생이 있을 수 있습니다. 게다가, 기술이 발전함에 따라 오프라인에서 치르는 서면 시험 또한 취약해질 것입니다. 안경이나 렌즈 등에 AI가 탑재될 수 있고, 학생들은 이러한 기기를 장착하고 시험을 보러 갈 수 있습니다. AI가 학생을 대신해 학습에 관한 많은 일을 할 수 있을 것이기 때문에 대학교육의 테스트를 무너뜨릴 것이라는 우려를 하게 됩니다. AI가 이미지, 그래프, 지도와 기호 등을 시각적으로 인식하는 능력을 갖게 된 이후부터는 수학, 과학과 같은 분야에도 AI의 사용을 막을 수 없게 되었습니다. AI 탐지 소프트웨어 또한 효과적으로 완벽하게 감지할 수 없기에, AI로 인해 대학의 평가가 취약해지는 흐름을 막을 수 있는 방법도 없습니다. 즉, 우리는 단지 글쓰기 평가만이 아니라, 모든 종류의 평가가 인공지능에 취약하다는 문제에 직면하게 된 것입니다.

   나. 교육의 본질을 알고 평가 타당성에 주목하자
 AI의 등장은 어쩌면 우리가 교육에서 오랫동안 해왔던 일들이 딱히 효과적이지 않음을 표면화시킨 것일 수 있습니다. 일례로, 호주에서는 교육의 상업적인 면을 중심으로 문제가 드러났습니다. 예를 들어, 호주에서 대학 등록률이 40% 증가하기를 바라는 이유는 (교육적인 이유가 아니라) 경제에 도움이 되기 때문입니다. 사람들은 기본적으로 학위를 받기 위해 비용을 지불하고, 교육을 체크리스트의 연속으로 생각합니다. 중등 교육은 대학 입학을 결정하는 데 중요한 시험에만 주목하는 상황도 생겼습니다. Leon Furze는 이러한 상황에서 우리가 다시 논의해야 할 것은 교육이 무엇이고, 평가가 무엇을 위한 것인가에 대한 대화라고 말합니다.

 그는 Deacon University에 Philip Dawson이 쓴 논문에서 몇 가지 인용문을 가져왔습니다. 이 논문의 제목은 '부정행위보다 타당성이 중요하다' 입니다. 평가 타당성을 확보하는 것이 학생의 부정행위나 평가 문제를 해결하는 것보다 더 유용하고 중요한 일이라는 것입니다. 그리고 타당성은 학생에 대한 도덕적 판단을 내리지 않고 학습을 보장하는 데 초점을 맞춰야 한다고 말합니다. 우리가 부정행위에 집착할 때, 학생이 Chat GPT를 사용해서 에세이를 쓰는 것이 부정행위라고 말하고 있을 때, 실은 각 학생은 기술과 도구를 활용해 자신에게 주어진 과제를 해나가고 있을 뿐입니다.

 학생이 제출한 과제가 실제 역량을 나타내는가? 학생들이 작성한 내용이 그들이 할 수 있는 능력, 혹은 지식 등을 대표하는가? 이러한 질문으로 우리가 돌아간다면, 학생들이 AI를 사용했는지 아닌지는 별로 중요하지 않아질 것입니다. 어떤 상황에서는 학생들이 AI를 사용하여 자신의 역량을 효과적으로 보여줄 수 있습니다. 타당성과 관한 한 가지 예를 들어보겠습니다. 교수자가 24시간 내에 과제를 제출하라고 한다면, 학생들은 ChatGPT를 사용할 수 밖에 없을 것입니다. 그들은 갑자기 생겨난 과제 이외에도 할 일들이 많을 테니까요. 이런 방식으로 과제를 출제하는 것은 Chat GPT 사용하도록 장려한 것에 가깝습니다. 따라서, 우리는 평가설계가 평가의 타당성에 어떤 결과를 가져오는지 생각해보아야 합니다. 다양하고 타당한 평가를 준비함으로써 우리는 강력한 타당성을 얻을 것입니다. 대학 교수자가 학업적 부정행위를 저지른 학생을 다 잡을 수는 없을 것입니다. 그러나 시간을 두고 평가를 체계적으로 설계하고 평가의 방식과 스타일을 다양화하면 결국 타당한 데이터 집합을 얻게 될 것입니다.

   다. 교육자의 역할
 2023년 8월부터 Leon Furze는 British University of Vietnam의 모든 학생과 교수진을 대상으로 테스트한 결과를 바탕으로 연구 논문을 출판하였습니다. 조사결과, 학생들이 무엇보다 중요하게 여기는 것은 교수자가 적절한 AI 활용 방법을 알려주는 투명성이라는 것을 발견했습니다. 베트남 영국 대학이 AIAS 평가 척도를 사용하기 시작한 후, AI와 관련된 학문적 진실성을 위반하는 사례가 대폭 줄었습니다. 왜냐하면 AI에 대한 학문적 진실성이 어떤 것인지에 대한 지향점이 바뀌었기 때문입니다. 여전히 AI를 잘못 사용하는 일이 벌어지지만, AI 사용이 본질적으로 모두 나쁜 것은 아니라는 가능성을 열어놓았습니다. 그렇게 되자, 수업에서 AI를 사용하여 학문적 진실성에 위반했는지를 추적하는 교수자의 업무 부담이 확실히 줄어들었습니다.

 Leon Furze는 일부 대학에서 학생들이 생성형 AI의 작동 방식, 이 기술이 무엇을 할 수 있는지, 그리고 어떻게 학습에 기여할 수 있는지에 대해 훨씬 더 잘 이해하고, 놀라울 정도로 창의적인 방식으로 이를 활용한다는 사실을 알게 된 후, 후속 연구를 수행하였습니다. 후속 연구결과에서 Leon Furze는  학생들에게 AI를 계획, 아이디어, 개발, 연구에 사용할 수 있다고 말할 뿐만 아니라, 그렇게 활용하는 방법을 명확하게 가르쳐야한다고 주장합니다. 만약 평가 과제에서 학생들이 계획을 세우는 단계에서 AI를 사용할 수 있다고 말할 것이라면, 이를 위해서는 교수자가 먼저 AI 활용방법을 말할 준비가 되어 있어야 하며, 그에 따라 교수자의 전문성이 중요해지게 됩니다. AI 평가 척도는 교수자를 위한 평가 설계 도구라 할 수 있습니다.  교수자가 자신의 전문성을 바탕으로 적절한 AI 사용 수준을 결정하게 되고 이는 평가 설계에서 먼저 드러납니다. 그런 다음 학생들과 AI를 사용할 수 있는지, 없는지, 해야 하는지, 하지 말아야 하는지에 대해 논의해야 합니다.

 교수자가 해야 할 일은 내용전문성을 중심으로 기술이 각 학문분야에서 어떻게 함께 작동하고, 또 때로는 어떻게 그에 반대해야 하는지를 이해하는 것입니다. 교수자와 학생들은 AI의 어떤 사용이 적절하고 어떤 것이 적절하지 않은지, 그리고 그 이유를 결정해야 합니다. 또한, 명확성과 투명성 그리고 타당성을 가지고 학생들의 능력에 대한 유효한 판단을 얻기 위해 우리가 엇을 할 것인지 명확히 설명할 수 있어야 합니다. AI 기술 회사나 다른 분야 학자들이 AI를 사용하는 최선의 방법을 알려주지 못할 것입니다. 교수자가 스스로 그러한 결론에 도달해야 합니다. 여러분이 내용전문가이고 그 내러티브를 통제할 수 있기 때문입니다.

  2. AI로 가르치고 사고하는 법 (Teaching and Thinking with AI) 
 두 번째 키노트의 연사인 José Antonio Bowen은 미국 고등교육에 쏟은 기여를 인정받아 2018년 Ernest L. Boyer Award를 수상하였으며, 현재는 AACU(American Association of Colleges and Unicersities)의 선임 펠로우로서 활동하고 있습니다. 그는 스탠포드와 조지타운대학교에서 교육상을 수상하였고, 2024년 AI를 활용한 실용적인 교육방법을 다룬 'Teaching with AI: A Practical Guide to a New Era of Human Learning with C. Edward Watson'을 집필한 전문가입니다.

 AI는 사람이 일하는 방식과 사고체계를 변화시킬 것으로 예상됩니다. AI는 평균의 기준선을 바꿀 것이고, 갈수록 창의적으로 변화할 것입니다. 이는 AI가 보통의 학생들이 하는 일을 대체할 수 있다는 것으로, 기업에서는 학생들이 평균 이상을 수행하기를 원한다는 의미이기도 합니다. 이러한 상황에서 교육계는 학생을 '전문가'로 만들 것을 요구받고 있습니다. José Antonio Bowen 발표는 급격한 변화의 물결 속에서 교육이 가르쳐야 할 기술과 이를 위해 필요한 커리큘럼, 부정행위를 줄이고 동기를 향상시키는 방법을 소개합니다.

 가. AI에게 더 나은 질문을 하고 더 나은 답을 얻는 방법
 AI를 효과적으로 사용하는 방법에는 두 가지가 있습니다. 먼저 다양한 AI를 사용하는 것입니다. 대표적인 생성형 AI로는 ChatGPT, Claude 3.5 Sonnet, Gemini 와 Copilot 이 있습니다. José Antonio Bowen는 그에 더하여 Latimer와 같은 추가적인 툴을 사용해보기를 권하고 있습니다. Latimer는 Chat GPT를 기반으로 하지만, 검증되고 라이선스가 부여된 데이터를 대상으로 추가 학습을 진행하여, ChatGPT와는 다른 사고체계로 작동하는 생성형 AI입니다. 좋은 답변을 얻는 두 번째 방법으로는 더 낫다고 생각하는 프롬프트로 여러 번 시도해보는 것입니다. 생성형 AI에 따라 동일한 질문에도 다른 답변을 제시합니다. 또한 AI에게 사용하는 동사의 종류가 달라지면, AI의 반응도 달라지게 됩니다. 행위 동사(active verb)에서는 생성형 AI가 더 활발하게 반응한다는 것이 연구로 밝혀지고 있습니다. 생성형 AI와 채팅을 하는 과정에서 직접 답변을 채점하고 점수를 제시하는 것은 점진적으로 AI를 향상시키는 방법이 됩니다. 예를 들어, 생성형 AI에게 TCA 회로에 대해 150단어, 2020년 선거에 대해 200단어를 작성해달라고 요청한 후, AI가 작성한 단락을 채점하고 성적을 제시할 수 있습니다. 중요한 것은 채점가능한 무언가에 대해 답변을 써 달라고 하는 것입니다. 또 다른 프롬프트 방법으로, 생성형 AI에게 전문가 역할을 부여할 수 있습니다. 생성형 AI는 언어모델이기 때문에 문자 그대로 작동하는 특성을 이용하는 것입니다. 생성형 AI와 대화할 때는 AI를 인간이라고 인식하는 대신, 인간이 아닌 인턴, 또는 인간의 도움을 받는 파트너라고 여기는 것이 필요합니다.

생성형 AI 생태계, 이미지출처:  José Antonio Bowen(2024). Teaching and Thinking with AI

   나. AI를 이용한 학생 평가 및 채점 방식
 생성형 AI는 학생을 평가하고 새로운 시험문제를 만드는 수업설계에 활용될 수 있습니다. José Antonio Bowen는 먼저 학생 유형에 따른 수업계획서를 AI에게 요청한다고 합니다. 다음으로 강의 내용을 생성형 AI에게 제시하고, 학생들이 단계적으로 학습할 수 있는 방법을 요청하여 강의목표를 세우고 수업을 디자인할 수 있습니다. 이후 강의 내용과 관련된 영상, 책 등을 찾아서 이를 요약해달라고 요청하거나, 수업을 수강하는 학생들의 수준을 설명하며 교안을 향상시켜달라고 요청함으로써 수업 자료를 개발할 수 있습니다. 또한 생성형 AI에게 시험 문제를 제시하라고 요구함으로써 문제 은행을 만든다고 밝혔습니다. 가령 X라는 개념에 대한 쉬운 에세이 문제 25개를 제시하라고 요청한 후, 그 중에서 5개를 선택하여 문제를 개선하는 방식이 있습니다. 학생들이 제출한 과제를 생성형 AI에게 제시하여 수업 채점 기준에 맞게 평가를 해 달라고 요구할 수 있으며, 그 이유를 서술하라고 제시할 수도 있습니다. 이는 교육자가 학생의 과제를 채점할 때, 자신과 유사한 생각을 가지고 있으면 무의식적으로 높은 점수를 주는 현상을 방지함으로써 공정성을 유지하는 데 도움이 됩니다.

 학생들이 생성형 AI를 이용하여 부정행위를 저지르는 경우가 종종 발생하며 AI 탐지기 역시 쓰이게 되었습니다.  José Antonio Bowen는 AI 활용에 대한 정책 템플릿을 제시하고 있습니다. 먼저 AI 사용을 허할 것인지 금할 것인지, 어떻게 학생들의 학습을 향상시킬 것인지 고민하는 것이 첫 단계입니다. 다음으로 AI의 활용이 허락된다면 과제에 사용된 프롬프트를 공유하도록 할 것인지 고민해야 하며, AI를 어떻게 창의적으로 활용할 것인지, 또한 생성형 AI 탐지 툴을 사용하는 방식과 그에 대한 정보를 어떻 공유할 것인지를 고려해야 합니다. 마지막으로 과제에 대한 학생의 최종적인 책임(accountability)를 명확히 알려줘야 합니다.

 지금까지 Magna Publications의 온라인 컨퍼런스, The Teaching Professor Conference on AI in Education의 기조강연을 간단히 요약해 보았습니다. Leon Furze는 AI와 평가를 위한 실용적인 전략을 주제로 강연하였으며, José Antonio Bowen은 AI로 가르치고 사고하는 법을 주제로 강연하였습니다. Leon Furze는 생성형 AI가 나타난 시점에서 교육의 본질이 무엇인지를 재고해야 한다고 말합니다. 학생들의 부정행위를 막는 것보다 학생의 성과를 어떻게 평가할 것인지가 중요하다고 합니다. 베트남 영국 대학의 사례에서 볼 수 있듯이, 교육자는 학생들의 학문적 진실성이 어떤 것인지를 명확히 하고, 학생에게 생성형 AI를 어떻게 활용할 수 있는지 가르칠 필요가 있습니다. 한편 José Antonio Bowen은 교수자로서 생성형 AI를 활용하는 방법과 교육에 생성형 AI를 도입할 경우 필요한 정책 등에 대해 다루고 있습니다.  두 연사의 강연 주제는 각기 달랐으나, 학생들의 AI 사용을 금하는 대신 효과적으로 이를 활용하는 법을 알려주어야 한다는 점에서 공통된 관점을 지니고 있었습니다.

 생성형 AI는 다방면에서 판도를 바꾸는 게임 체인저가 되고 있습니다. 학교 밖에서 일부 학생들은 성별, 경제력 등 여러 환경적 요인으로 인해 생성형 AI를 접하지 못하며, 이러한 상황은 사회경제적 격차를 심화시킬 뿐입니다. 어떠한 이유로도 뒤처지는 이 없이, 학생이 주어진 도구를 적절히 활용하며 스스로 사고하도록 이끄는 것이 교육과 교육자의 적극적 의무일 것입니다. 교수님들께서 학생들이 생성형 AI를 올바르게 활용할 수 있도록 지도하시는 데 본 티칭팁이 도움이 되기를 바랍니다.

참고자료

https://www.magnapubs.com/teaching-professor-conference-on-ai-in-education/ https://www.magnapubs.com/teaching-professor-conference-on-ai-in-education/plenaries/