수강생 사례 #금융녹취AI자동화 #불완전판매점검 #음성인식자동화 #AI업무자동화

수백 개 금융 녹취파일,
직접 듣고 판정하던 일을
AI가 자동으로 끝낸 방법

금융사 컴플라이언스 담당자가 AI 업무자동화 교육에서 직접 만든 실전 프로그램.
MP3 녹취파일 → 텍스트 변환 → 체크리스트 규칙점검 → 불완전판매 판정 → 결과보고서 자동저장.

수백 건
폴더 내 MP3
일괄 자동 처리
9개
법정 의무
체크리스트 항목
2중 판정
규칙 + AI
이중 판정 구조
0줄
사전
코딩 경험
01 — 배경 · Problem

매일 쌓이는 녹취파일,
누군가는 전부 귀로 들어야 했습니다

금융사 컴플라이언스 담당자가 이어폰을 끼고 수백 건의 MP3 녹취파일을 수작업으로 점검하는 모습

불완전판매란 금융상품 판매 시 원금 손실 가능성, 수수료, 투자성향 적합성 등 법정 의무 고지 사항을 누락하거나 허위로 설명하는 행위를 말합니다.

금융감독원 기준에 따라 국내 금융사에서 상품을 판매할 때는 고객과의 통화를 녹취해야 하며 그 녹취가 불완전판매에 해당하지 않는지 사후에 점검해야 합니다. 이것은 법적 의무이며, 내부통제 및 컴플라이언스 감사 대상에 포함됩니다.

"원금 손실 가능성 설명했나요? 수수료 고지는요? 투자성향 확인은요? 적합성 고지는요?"
한 건당 반드시 확인해야 할 항목이 9가지였고, 파일은 매일 수십 건씩 쌓였습니다.

이 수강생은 금융사 컴플라이언스팀에서 녹취 품질 점검을 담당하고 있었습니다. 문제는 규모였습니다. 수백 개의 MP3 파일을 처리해야 했고, 방법은 오직 하나였습니다. 직접 이어폰을 끼고 처음부터 끝까지 듣는 것. 녹취파일 1건당 평균 15~20분이 소요되었고, 100건이면 하루 전체, 수백 건이면 며칠이 걸렸습니다.

수작업의 실제 과정

단계 작업 내용 소요 시간 (건당)
STEP 1 MP3 파일 재생 → 통화 내용 전체 청취 5~10분
STEP 2 9개 체크리스트 항목(원금손실, 수수료, 적합성 등) 수동 체크 5분
STEP 3 불완전판매 의심 표현("원금 보장", "확정 수익" 등) 직접 메모 3분
STEP 4 판정 결과(완전판매 / 불완전판매 / 검토필요)를 엑셀에 수동 입력 3분
STEP 5 결과 취합 후 보고용 요약 보고서 작성 별도 1~2시간

🎧 파일 1개당 약 15~20분 소요 — 100건이면 하루 종일, 수백 건이면 며칠

⚠️ 귀로 들으며 동시에 9개 항목을 체크하는 멀티태스킹 — 누락 오류 빈번히 발생

🔁 판정 기준이 사람마다 달라 일관성 유지 어려움 — "이게 불완전판매인가?" 판단이 흔들리는 상황

02 — 솔루션 · Solution

코딩 경험 없던 사람이
설계한 4단계 자동화 구조

이 수강생은 개발자가 아니었습니다. 코딩 경험도 없었습니다. 하지만 AI 업무자동화 교육을 통해 업무 흐름을 구조로 보는 법을 배우면서, 이 반복 작업을 코드로 풀어냈습니다.

사용 도구

🎙️ Whisper (음성→텍스트) 🤖 Ollama / GPT-4o 🐍 Python 📋 규칙 체크리스트 🖥️ Tkinter GUI 📊 pandas / Excel

전체 흐름도

🔄 자동화 전체 흐름 — 4단계
▶ 폴더 선택 (GUI)
↓
STEP 1 · Whisper — 음성 → 텍스트 변환
MP3 파일 자동 읽기 → 전체 대화 텍스트 추출
↓
STEP 2 · 규칙 체크리스트 — 9개 항목 자동 점검
패턴 매칭 → 누락 항목 감점 + 레드플래그 감지
↓
STEP 3 · LLM 판정 — AI 최종 심사
텍스트 → AI 분석 → 완전판매 / 불완전판매 / 유보
↓
📊 결과 엑셀 자동 저장 완료

각 단계 핵심 설명

STEP 01 — Whisper · 음성을 텍스트로

OpenAI의 Whisper 모델이 MP3 파일을 자동으로 읽어 전체 대화 내용을 텍스트로 변환합니다. 모델 크기를 선택할 수 있고, 타임스탬프 포함 저장도 지원합니다. 사람이 이어폰을 끼고 처음부터 끝까지 듣던 그 과정을 코드가 대신합니다.

✓  자동 변환 — 전체 텍스트 추출 완료 (수십 초)
STEP 02 — 규칙 체크리스트 · 9개 항목 자동 점검

원금손실 설명 여부, 수수료 고지, 적합성 확인, 레드플래그 표현("원금 보장", "확정 수익", "절대 안전" 등) 총 9가지 항목을 정규식 패턴으로 자동 감지합니다. 항목별 가중치가 설정되어 있어, 누락이 쌓일수록 감점 점수가 올라가고 불완전판매 의심 판정이 내려집니다.

✓ 100% 동일 기준으로 자동 점검 — 일관성 보장
STEP 03 — LLM 판정 · AI가 맥락까지 심사

규칙 점검만으로는 잡기 어려운 맥락적 판단을 AI가 보완합니다. 추출된 텍스트를 GPT-4o 또는 로컬 Gemma(Ollama) 모델에 넘겨 "금융 녹취 심사역"으로서 완전판매 / 불완전판매 / 판단유보를 결정하고, 판단 근거와 신뢰도도 함께 JSON으로 출력합니다.

✓ AI가 판단 근거와 신뢰도까지 함께 출력
STEP 04 — GUI + 엑셀 자동 저장 · 누구나 쓸 수 있게

폴더를 선택하고 버튼 하나만 누르면 전체 분석이 시작됩니다. 결과는 파일명, 최종판정, 판단근거, 누락항목, 레드플래그 내용이 담긴 엑셀 파일로 자동 저장됩니다. Tkinter로 만든 GUI 덕분에 코딩을 모르는 동료도 바로 쓸 수 있습니다.

✓ 전체 결과 엑셀 자동 생성 — 보고 준비 완료
⚑ 자동 감지되는 레드플래그 표현 (불완전판매 의심)
  • "원금 보장됩니다" / "절대 안전합니다"
  • "확정 수익률 연 ○%" / "무조건 수익이 납니다"
  • "손실 가능성 없습니다" / "리스크가 없어요"
  • "절대 망하지 않는 상품입니다"
03 — 결과 · Result

달라진 것은
하루의 구조였습니다

자동화 도입 후 수백 건의 녹취파일 처리 시간이 4~5일에서 단 20분으로 단축되었습니다. 버튼 하나로 전체 폴더의 MP3 파일이 일괄 처리되며, 결과는 즉시 엑셀 파일로 자동 저장됩니다.

금융 녹취 자동화 전후 비교: 수작업 며칠에서 AI 자동화로 즉시 처리된 결과 그래프

Before · 수작업
  • 이어폰 끼고 파일 1개씩 직접 청취
  • 9개 체크리스트 수동으로 확인
  • 판단 기준이 사람마다 달라 오류 발생
  • 불완전판매 표현 수기 메모
  • 결과를 엑셀에 한 건씩 수동 입력
  • 수백 건 처리 시 며칠 소요
4~5일
수백 건 처리 소요 시간
 →
After · 자동화
  • Whisper가 전체 MP3 자동 텍스트 변환
  • 9개 항목 100% 동일 기준 자동 점검
  • AI가 맥락까지 분석해 일관된 판정
  • 레드플래그 표현 자동 추출 및 기록
  • 엑셀 결과 파일 자동 생성
  • 폴더 통째로 신속 처리 완료
20분
버튼 클릭 한 번으로 전체 처리

자동으로 생성된 결과 보고서 — 실제 출력 예시

📊 점검결과_상세보고서.csv · 자동 생성
녹취파일 불완전판매 점검 결과 보고서
분석 일시: 2025.03.21 09:07 | 총 파일 수: 312건 | 🤖 AI 자동 생성
📋 파일별 판정 결과 (일부 발췌)
완전판매 rec_20250318_001.mp3 — 수익보장 표현 없음, 9개 항목 모두 확인 0.98초
불완전판매 rec_20250318_047.mp3 — 원금손실 설명 누락 / "절대 안전합니다" 표현 감지 1.12초
검토필요 rec_20250318_089.mp3 — 수수료 항목 미확인 · 적합성 고지 불명확 1.04초
… 외 309건 자동 분석 완료 (엑셀 파일로 저장됨)
🤖 AI 자동 요약
GPT-4o 자동 분석

이번 배치 312건 중 완전판매 판정은 267건(85.6%), 불완전판매 의심은 31건(9.9%), 추가 검토 필요는 14건(4.5%)으로 집계됩니다. 불완전판매 주요 패턴은 '원금손실 설명 누락'과 '확정수익 표현 사용'으로 집중되어 있으며, 해당 직원 대상 재교육이 권고됩니다.

수

"처음에는 정말 될까 반신반의했어요. 그런데 폴더 선택하고 버튼 누르니까 잠깐 사이에 300건짜리 엑셀이 생성되더라고요. 팀장님도 '이게 어떻게 된 거야?' 하셨어요."

수강생 / 금융사 컴플라이언스팀 · 교육 수료
04 — 인사이트 · Insight

기술보다 먼저
있었던 것

이 사례를 들으면 복잡한 AI 개발 작업을 떠올리는 분들이 많습니다. 하지만 실제로 이 프로그램이 만들어질 수 있었던 이유는 기술 실력이 아니었습니다.

원금손실 설명이 어느 시점에 이루어져야 유효한지, "안전합니다"라는 표현이 왜 레드플래그인지, 적합성 확인이 어떤 맥락에서 이루어져야 하는지 — 이 모든 판단은 컴플라이언스 현장에서 오랫동안 쌓아온 현업 전문성에서 나왔습니다.

자동화의 출발점은 코딩이 아니라,
업무를 가장 잘 아는 사람의 시선이었습니다.

자동화 아이디어는 현장에서 나옵니다. 기술은 그 다음입니다.

05 — 확장 · Expansion

이 방식으로
해결할 수 있는 다른 업무들

음성 → 텍스트 변환 + 규칙/AI 판정 + 자동 보고서 구조는 수많은 업무에 적용할 수 있습니다.

🔗 같은 방식으로 자동화 가능한 업무들
  • 고객센터 / CS팀 — 상담 녹취 수백 건을 AI로 자동 분류, VOC 패턴 분석 및 불친절 응대 자동 감지
  • HR / 채용팀 — 면접 녹화 파일을 텍스트 변환 후 평가 기준별 자동 채점 및 요약 보고서 생성
  • 영업팀 — 영업 통화 녹취를 분석해 핵심 니즈·반대 의견·클로징 성공 패턴 자동 추출
  • 법무 / 계약팀 — 협상 녹취나 미팅 녹화에서 합의 사항, 리스크 표현, 미결 사항 자동 추출

음성 파일 → 텍스트 → AI 판정 → 보고서 자동 저장
수백 건의 반복을, 버튼 하나로.

코딩 경험 없던 수강생이 AI 교육을 통해 직접 만든 실전 자동화 사례.