지능형 테스트 자동화 및 최적화

학습 기반 에이전트가 대상 시스템을 직접 조작하며 결함을 찾게 만들고, 수행 흔적과 학습 데이터로 결함 원인을 추정해 테스트 설계 비용을 줄입니다.

연구 배경

테스트 케이스를 사람이 설계하는 방식은 입력 공간이 넓어지면 따라가지 못합니다. 게임은 조작 순서에 따라 도달 가능한 상태가 갈리기 때문에 상태 공간이 사실상 무한하고, 스크립트로 짜둔 자동화는 개발자가 미리 떠올린 경로만 밟습니다.

프로그래밍 실습 채점도 같은 한계를 만납니다. 최종 출력만 비교하면 부분 점수를 줄 수 없고, 학습자가 어디서 왜 틀렸는지도 알 수 없습니다. 두 문제의 공통점은 정답 하나를 비교하는 것이 아니라 수행 과정을 봐야 판정이 된다는 점입니다.

주요 접근

강화학습 기반 플레이테스팅

에이전트가 게임을 직접 플레이하면서 결함을 찾습니다. 에러 검출에 보상을 주어 탐색이 결함 쪽으로 몰리게 만드는 것이 핵심이고, 찾은 결함은 버그 리포트와 입력 시퀀스 로그로 남겨 재현할 수 있게 합니다. 유니티 플랫포머 게임을 대상으로 도구를 구현했습니다.

실행 로그 기반 자동 채점

출력 비교 대신 함수 호출 순서와 인자를 로그로 남겨 판정합니다. 아두이노 실습처럼 하드웨어가 있어야 결과가 나오는 과목은 가상 실행 환경에서 로그를 수집합니다. Concolic testing으로 실습 문항의 채점 범위를 넓히고, 테스트케이스의 제어 흐름을 따라가며 실패 지점을 피드백하는 방향도 함께 다룹니다. 문항 자체는 뮤턴트 기반으로 자동 생성합니다.

학습자 오류 원인 예측

제출 코드만 보지 않고 학습자의 인지 수준을 함께 입력으로 써서 오류 원인을 예측합니다. 어디를 고쳐야 하는지 알려주는 대신 왜 그렇게 작성했는지를 추정하는 쪽입니다.

응용 AI 모델 개발과 품질 검증

테스트 기법만 다루지 않습니다. 태양광 발전량 예측과 패널 결함 검출, 폐플라스틱 선별 공정, 그림 기반 심리 분석처럼 도메인 데이터를 쓰는 AI 모델 자체를 만듭니다.

거기서 검증 문제가 따라옵니다. 학습 데이터가 불균형하거나 증강 과정에서 왜곡되면 정확도 지표가 모델 품질을 대변하지 못합니다. 증강과 검증을 분리해 데이터 품질을 따로 평가하는 방법을 다룹니다.

대표 실적

아래는 이 분야에서 골라낸 것입니다. 분야 경계에 걸치는 실적이 있어 전수가 아니며, 전체 목록은 Archive에 있습니다.

Predicting Rough Error Causes in Novice Programmers Using Cognitive Level국제학술회의논문지 인정
Deok Yeop Kim, Woo Jin Lee
pp. 341-350, 2024
DOI ↗
강화학습을 이용한 게임 테스팅 자동화 도구석사 학위논문
박세찬
경북대학교, 2024
원문 ↗
피지컬 컴퓨팅 교육을 위한 함수 실행 로그 기반 자동 채점 시스템박사 학위논문
서강복
경북대학교, 2024
원문 ↗
UnityPGTA: A Unity Platformer Game Testing Automation Tool Using Reinforcement Learning국내논문지
Se-chan Park, Deock-Yeop Kim, Woo-Jin Lee
Journal of KIISE, Vol. 51, No. 2, pp. 149-156, 2024-2-29
DOI ↗
A Convergence Study on the Image Augmentation and Validation Method for Quality Improvement of Image-Based AI Model국내논문지
Jung Min Seo, Woo Jin Lee
The Korean Society of Science & Art, Vol. 41, No. 4, pp. 205-215, 2023-9-30
DOI ↗
Arduino practice judgment system based on function execution log in virtual execution environment국제논문지
Kangbok Seo, Junhyung Kim, Woojin Lee
Computer Applications in Engineering Education, Vol. 32, No. 2, 2023-11-2
DOI ↗
Function Execution Log Based Judgment System for Arduino Learning Practice국제학술회의논문지 인정
Kangbok Seo, Woojin Lee
pp. 17-23, 2022
DOI ↗
시뮬레이터를 이용한 임베디드 소프트웨어 자동 채점 시스템 및 방법특허 등록국내
이우진, 김덕엽, 정원웅, 서강복
등록 10-2373133 (2022-03-14)
원문 ↗
A Study on Improvement of Scoring in Programming Practice Questions Using Concolic Testing Technique국내논문지
Kangbok Seo, Sunghee Lee, Deokyeop Kim, Woojin Lee
Journal of KIISE, Vol. 46, No. 11, pp. 1133-1139, 2019-11-30
DOI ↗
프로그래밍 훈련 지원을 위한 테스트케이스의 제어흐름에 기반한 프로그래밍 실패 피드백 시스템 설계국내논문지
이성희, 김덕엽, 서강복, 이우진
정보처리학회논문지. 소프트웨어 및 데이터공학, Vol. 8, No. 8, pp. 317-322, 2019-08
DOI ↗
소스코드 수행 실습문항의 뮤턴트 기반 자동생성 기법석사 학위논문
곽용섭
경북대학교, 2017
원문 ↗
뮤턴트 기반의 문항 생성 장치 및 방법 (Mutant-based Test Problem Generating Apparatus and Method thereof)특허 출원국내
곽용섭, 이성희, 이우진
출원 10-2017-0061824 (2017-05-18)
원문 ↗
프로그래밍 학습을 위한 뮤턴트 기반의 실습 문항 생성기의 구조 설계국내학술회의
곽용섭, 이성희, 이우진
한국정보처리학회 2017년 춘계학술발표대회, pp. 649-652, 2017-04
DOI ↗
Development of a System for Predicting Photovoltaic Power Generation and Detecting Defects Using Machine Learning국내논문지
Seungmin Lee, Woo Jin Lee
KIPS Transactions on Computer and Communication Systems, Vol. 5, No. 10, pp. 353-360, 2016-10-31
DOI ↗

연구 배경​

주요 접근​

강화학습 기반 플레이테스팅​

실행 로그 기반 자동 채점​

학습자 오류 원인 예측​

응용 AI 모델 개발과 품질 검증​

대표 실적​

관련 연구과제​