현재 Hive Axyl 콘솔에서는 AI를 활용해 Playwright 테스트 스펙 파일과 테스트 실행·관리 도구를 만들고, 이를 통해 E2E 테스트를 자동화하고 있다. 스펙 파일은 사용자 동작과 기대 결과를 코드로 정의하고, 실행·관리 도구는 테스트 조건 설정부터 실행과 결과 확인까지 지원한다. 이 글에서는 두 가지를 구축한 과정과 실제 사용 중에 보완한 점, 앞으로의 확장 방향을 소개한다.
출발점은 기능을 수정할 때마다 반복하던 확인 작업이었다. 로그인하고 메뉴를 찾아가 값을 입력하는 흐름을 매번 손으로 되풀이하는 대신 코드로 옮겨 두면 같은 확인을 언제든 다시 돌릴 수 있다. 지금은 이렇게 만든 테스트를 돌리며 제품의 변경 사항과 테스트의 검증 기준을 함께 점검하고 있다. 그림 1은 지금 쓰고 있는 도구의 전체 화면이다.
그림 1. 현재 사용하는 E2E 테스트 실행·관리 화면 전체. 위쪽에서 대상 환경과 프로젝트, 계정별 로그인 상태를 확인하고, 가운데에서 실행 조건을 정한 뒤, 아래쪽 목록에서 실행할 테스트를 골라 진행 상황을 본다. 계정·주소·프로젝트 정보는 가림 처리했다.
💡 알아 두면 좋은 용어
E2E(End-to-End) 테스트 사용자가 화면에 들어와 입력하고 결과를 확인하기까지의 흐름을 실제와 같은 환경에서 점검하는 테스트다. 단위 테스트가 함수 하나를 본다면, E2E 테스트는 여러 기능이 이어지는 구간을 본다.
Playwright 마이크로소프트가 만든 오픈소스 브라우저 자동화 도구다. Chromium·Firefox·WebKit에서 같은 코드로 테스트를 실행할 수 있다.
storageState 로그인한 뒤의 쿠키와 저장소 상태를 파일로 저장하는 Playwright 기능이다. 테스트마다 로그인을 반복하지 않아도 된다.
MSW(Mock Service Worker) 브라우저의 네트워크 요청을 가로채 미리 정한 응답을 돌려주는 도구다. 서버 없이도 화면 동작을 확인할 수 있다.
Trace Viewer 테스트 실행 과정을 단계별로 기록해 다시 보여 주는 Playwright 도구다.
iframe 웹 페이지 안에 다른 웹 페이지를 끼워 넣어 보여 주는 HTML 요소다. 콘솔은 공통 화면 안에 각 제품 화면을 iframe으로 띄운다.
Playwright로 콘솔의 사용자 흐름 자동화하기
앱 서버 등록을 예로 들면 화면에 진입하고, 필수 항목을 비운 채 등록을 시도한 뒤, 오류 안내가 나타나는지 확인하는 흐름을 테스트한다. 버튼이나 함수 하나의 동작에 더해 화면 이동과 입력, 응답이 연결되는 구간을 점검하는 것이다.
이를 실행하는 도구로 Playwright를 사용했다. 실제 브라우저에서 클릭과 입력을 수행하고, 화면이 기대한 상태가 됐는지 코드로 검증할 수 있다. 테스트 케이스에 적힌 확인 내용과 기대 결과를 바탕으로 AI에게 Playwright 테스트 스펙 파일 작성을 맡겼다. 이 과정에서 로그인 상태나 데이터 조건처럼 실행에 필요한 전제도 함께 정리했다.
이렇게 작성한 테스트 스펙 파일의 원본은 QA 저장소에서 공용으로 관리하고, 프런트엔드 저장소에서도 같은 원본을 참조하도록 했다. 각자 다른 복사본을 수정하다 검증 기준이 어긋나는 일을 줄이기 위해서다. 제품이 바뀌면 테스트 케이스에 적힌 확인 내용·기대 결과와 구현을 대조하고, 필요한 테스트 코드를 같은 원본에서 보완할 수 있도록 구성했다. 그림 2는 이렇게 정리한 저장소의 구성이다.
그림 2. QA 저장소의 테스트 영역 구성. 공용 테스트 스펙(tests/)과 실행 설정(playwright.config.ts), 실행·관리 도구(playground/)를 한곳에 두고, 프런트엔드 저장소도 같은 스펙을 원본으로 참조한다.
MCP로 바로 확인하기와 스펙 파일로 반복 검증하기
AI에게 “이 화면을 테스트해 줘”라고 요청하면 Playwright MCP처럼 AI가 브라우저를 조작할 수 있게 해 주는 도구를 활용할 수 있다. AI가 화면 상태를 확인하며 클릭과 입력을 이어 가는 방식은 새로운 화면을 탐색하거나 특정 문제를 한 번 확인할 때 유용하다.
반복 검증할 흐름은 실행 절차와 기대 결과를 스펙 파일로 남겨 두면 재사용하기 쉽다. 예를 들어 ‘필수 항목을 비운 채 등록을 시도하면 오류 안내가 나타난다’는 조건을 코드로 저장하면, 다음 실행에서도 같은 검증 기준을 적용할 수 있다. 이번에 구축한 방식은 AI로 이 스펙 파일을 작성하고, 실행·관리 도구가 Playwright를 호출해 저장된 테스트를 수행하도록 한 것이다.
효율 측면에서는 매 실행마다 AI가 화면을 해석하고 다음 동작을 결정하는 호출을 줄일 수 있다는 장점이 있다. 저장된 스펙 자체는 실행 단계마다 AI의 추론을 요구하지 않으며, 필요한 테스트만 선택하거나 병렬로 실행할 수 있다. 따라서 같은 범위를 자주 검증할수록 반복적인 AI 호출과 대기 시간을 줄이는 데 유리할 수 있다. 다만 처음 스펙을 작성하고 검토하는 작업, 제품 변경에 맞춰 유지하는 작업은 필요하며 실제 절감 효과는 따로 측정해야 한다.
두 방식은 함께 활용할 수 있다. MCP로 탐색한 흐름을 검토해 스펙 파일로 남기거나, AI에게 기존 스펙을 실행하고 실패 원인을 분석하도록 요청할 수도 있다. 반복 검증에서는 실행 조건과 기대 결과를 코드로 관리하고, 계정·데이터·환경 조건도 함께 맞춰야 결과를 일관되게 비교할 수 있다.
콘솔의 인증 구조와 데이터 환경에 맞춰 구축하기
이번에 테스트한 콘솔 화면은 공통 화면인 셸 안에 제품 화면을 iframe으로 표시하는 구조다. 제품 화면만 바로 열면 실제 사용자가 로그인하고 메뉴로 들어가는 상황과 조건이 달라질 수 있다. 따라서 셸에서 메뉴를 선택해 제품 화면으로 진입하는 흐름을 기본으로 잡았다. 실제 콘솔의 진입 경로와 인증 조건 안에서 테스트가 동작하도록 만드는 과정이었다.
로그인한 상태는 Playwright의 storageState에 저장해 재사용한다. 조회만 가능한 계정과 수정 가능한 계정의 세션은 분리하고, 실행 전에는 서버가 인증을 받아들이는지도 확인한다. 테스트가 한꺼번에 실패했을 때 기능 오류와 로그인 문제를 구분하려면, 먼저 실행 조건이 유효한지 알 수 있어야 했다.
데이터는 실데이터와 Mock 두 가지 모드로 나눴다. 실데이터에서는 실제 서버와의 연동을 확인하고, Mock에서는 MSW가 제공하는 모의 응답으로 화면 동작을 반복 검증한다. 기본 테스트 코드는 공용으로 사용하되 검증 범위는 구분한다. 실제 데이터를 저장하거나 삭제하는 실행에는 확인 절차를 두고, 운영 환경에서는 해당 실행을 차단했다.
AI를 통해 구축한 도구로 테스트 실행과 결과 관리하기
테스트 스펙 파일을 작성하는 데 이어, 계정과 데이터 모드, 실행 범위 같은 조건을 한곳에서 설정하고 결과까지 확인할 수 있도록 AI와 함께 별도의 실행·관리 도구도 만들었다. 화면은 React와 TypeScript로 만들고, 로컬 Node.js 서버가 선택한 조건에 맞춰 Playwright를 실행하도록 구성했다. 진행 상황과 케이스별 결과가 화면에 반영되므로, 브라우저에서 테스트 실행과 결과 확인을 이어 갈 수 있다.
그림 3. 실행 조건 선택부터 테스트 수행, 결과 확인까지 이어지는 테스트 도구의 구조.
실제로 사용할 때는 권한별 계정과 로그인 상태를 확인한 뒤 실데이터 또는 Mock을 선택한다. 테스트 범위와 브라우저 크기, 동시 실행 수를 정해 실행하고, 완료 후에는 실행 기록에서 결과를 분석한다. 문제를 수정하면 필요한 항목만 다시 실행한다. 테스트는 네 가지로 나눠 두었다. 데이터를 바꾸지 않는 기본 테스트, 등록·수정·삭제 후 원복까지 하는 저장 포함 테스트, 권한 응답을 Mock으로 흉내 내 역할별 화면을 비교하는 권한별 테스트(모의), 역할별 실제 계정으로 로그인해 확인하는 권한별 테스트(실계정)다.
그림 4. 현재 사용 중인 테스트 도구. 왼쪽에서 테스트 범위·데이터·실행 방식·동시 실행 수·브라우저 크기를 고르고, 오른쪽에서 Trace·스크린샷 같은 실행 자료를 저장할지 정한다. 실행 방식의 ‘콘솔 프레임’은 셸을 거쳐 제품 화면으로 들어가는 기본 방식이다.
구축 과정에서는 필요한 기능을 구체적인 동작으로 정리해 AI에게 전달했다. “실패한 항목만 한 번에 다시 실행하고, 결과를 원래 기록에 포함해 달라”는 식이다. AI가 저장소를 읽고 코드를 수정하면 실제로 실행해 동작을 확인했다. 재실행 대상이 올바른지, 이전 결과와 새 결과가 제대로 연결되는지까지 살피며 수정과 검증을 반복했다.
이 과정을 거쳐 실패 항목의 일괄 재실행 결과를 원래 실행 기록에 연결했다. 특정 계정의 상태를 직접 확인할 수 있도록 계정별 브라우저 열기도 추가했다. 테스트를 돌리며 발견한 불편을 구현할 기능으로 정리하고, AI와 함께 수정한 뒤 실제 동작을 확인하는 방식이었다.
AI는 테스트 스펙 작성과 도구 구현, 결과 분석에 활용했다. AI가 작성한 테스트의 기대 결과는 제품 요구 사항과 원래 테스트 케이스를 기준으로 검토하고, 실제로 실행해 의도한 동작을 검증하는지 확인했다. 통과 여부는 Playwright 테스트 스펙에 작성한 검증 조건으로 판정한다.
직접 돌려 보며 실행 결과의 신뢰도 높이기
실제로 사용하면서 예상하지 못한 문제도 드러났다. 테스트는 통과했는데, 스크린샷에는 오른쪽 패널이 끝까지 열리지 않은 모습이 남아 있었다. 요소가 나타났다는 조건은 만족했지만 애니메이션은 아직 진행 중이었던 것이다. 패널과 안내 메시지의 표시가 안정된 뒤 캡처하도록 보완했다. 오류 안내가 나왔을 때 입력창과 삭제 버튼의 정렬이 유지되는지도 별도로 검증했다.
실행 기록에서는 확인 내용과 기대 결과뿐 아니라 저장된 스크린샷과 Trace도 바로 열어 볼 수 있다. 스크린샷은 도구 안에서 확대하고 앞뒤 케이스로 넘겨 보며 화면을 비교한다. ‘Trace 열기’를 누르면 Playwright Trace Viewer에서 클릭·입력 등의 실행 단계와 각 시점의 화면, 네트워크 요청을 확인할 수 있다. 이 기록으로 실패가 발생한 지점을 살핀 뒤 개별 항목이나 실패 항목 전체를 다시 실행한다.
그림 5. 케이스별 결과 상세. 스크린샷과 확인 내용·기대 결과를 함께 보고, ‘Trace 열기’로 실행 과정을 확인한다. 화면은 2026년 10월 12일 저장 포함 테스트 기록이다.그림 6. 실제 기본 테스트 실행 기록. 가운데 격자는 칸 하나가 테스트 1건이며, 초록은 통과, 회색은 건너뜀이다.
현재 결과 화면에서는 통과와 실패뿐 아니라 건너뜀도 구분한다. 그림 6의 2026년 10월 12일 기본 테스트 기록은 607건 중 484건 통과, 123건 건너뜀이었다. 607건을 모두 검증한 결과는 아니라는 뜻이다. 따라서 통과한 항목뿐 아니라 건너뛴 항목과 그 이유도 함께 확인해야 한다. 이 기록에서 건너뛴 항목의 절반가량은 전용 데이터나 프로젝트가 없어 실행 조건을 만들 수 없는 경우였고, 3분의 1가량은 저장·키 발급처럼 실제 데이터를 바꾸는 동작이라 기본 실행에서 제외한 경우였다. 나머지는 대부분 기획과 테스트 케이스의 기대 결과가 서로 달라, 확인될 때까지 일부러 보류한 항목이다.
이렇게 보류한 항목을 다시 살펴보니 제품 변경을 테스트에 반영해야 하는 경우도 있었다. 앱을 식별하는 App ID를 Mock 데이터로 만들 때 생기던 오류가 제품 쪽에서는 고쳐졌지만, 테스트에는 이전 오류를 이유로 보류한 항목이 남아 있었다. 제품 코드와 원래 테스트 케이스를 대조해 보류를 해제하고 입력 방식도 수정했다. 해당 두 항목은 다시 실행해 통과했다. 실행 중인 테스트만큼, 보류된 테스트가 여전히 보류돼야 하는지도 살펴봐야 했다.
권한별 테스트 결과는 메뉴를 행, 역할을 열로 둔 권한 비교 표로 확인한다. 각 칸은 그 역할로 해당 메뉴를 열었을 때 권한 설정대로 동작했는지를 보여 준다. 접근이 막혀야 하는 역할이 실제로 막힌 경우도 ‘기대 일치’로 표시되고, 계정이 준비되지 않은 칸은 ‘건너뜀’으로 따로 표시한다. 권한 응답을 Mock으로 흉내 내 버튼 노출만 보는 모의 권한 확인과 실제 서버의 저장·삭제 권한 검증도 구분해서 해석한다. 그림 7의 10월 12일 실행에서는 전체 권한·조회만·수정만 세 역할만 실제로 실행됐고, 나머지 역할의 96건은 로그인 세션이 준비되지 않아 건너뛰었다.
그림 7. 권한별 테스트(실계정)의 메뉴별 권한 비교. 칸 하나가 메뉴와 역할이 만나는 결과이고, 아래 패널은 선택한 칸(결제 › PG 설정, 조회만)의 확인 내용과 기대 결과다.
정기 회귀 테스트와 비주얼 스크리닝으로 확장하기
지금은 준비된 계정으로 기본 테스트와 저장을 포함한 테스트, 권한별 테스트를 실행하며 결과를 확인하고 있다. 아직 계정이 준비되지 않아 검증하지 못하는 항목도 있다. 앞으로는 테스트의 사전 조건과 검증 범위를 더 명확히 정리하고, 권한별로 반복 실행할 수 있도록 전용 계정과 테스트 데이터를 보완하려 한다. 개발자와 품질 검증 담당자(QE)가 같은 조건으로 실행하고 같은 근거를 보며 결과를 논의할 수 있도록 하기 위해서다.
이후에는 변경한 메뉴에 필요한 테스트를 골라 실행하는 흐름을 정리하고, 안정적으로 반복 실행할 수 있는 항목부터 정기 회귀 테스트와 지속적 통합(CI) 환경에 연결할 계획이다. 이때도 결과 자료를 남겨 제품 결함과 테스트·환경 문제를 구분할 수 있도록 할 예정이다.
비주얼 스크리닝 기능도 추가할 계획이다. 현재는 저장된 스크린샷을 직접 살펴보며 화면 상태를 확인하지만, 앞으로는 기준 화면과 테스트 실행 화면을 비교해 레이아웃이나 요소 배치 등 시각적 변화를 자동으로 찾아낼 수 있도록 확장하려 한다. 앞서 패널이 완전히 열리지 않은 화면을 발견했던 경험을 바탕으로, 기능의 동작과 함께 화면의 시각적 변화도 점검하는 것이 목표다.
효과는 같은 범위의 확인 시간과 실패 분석 시간, 불안정한 테스트와 건너뜀의 변화를 기록해 살펴보려 한다. AI로 테스트 스펙과 실행·관리 도구를 만들고 사용 중 발견한 불편을 수정으로 이어 갈 수 있었지만, 검증 기준을 다듬는 일은 계속 필요하다. 반복 확인의 부담을 줄이고 개발자와 QE가 새로운 사용자 흐름에 집중할 수 있도록 확장해 나갈 계획이다.