설명할 수 없는 재무 감정 분석이 실패한 이유(및 해결 방법)
거래자가 실제로 신뢰하는 생산 준비 NLP 시스템 구축
한 트레이더가 다음과 같은 질문으로 귀하에게 접근합니다. “당신의 모델은 뉴스에 따르면 이 주식이 약세라고 말합니다. 그런데 왜 그렇습니까? 어떤 단어가 그러한 예측을 촉발시켰습니까?” 잠시 멈춰라. 86% 정확한 감정 분류기는 설명할 수 없기 때문에 갑자기 쓸모없다고 느껴집니다.
이것이 금융AI의 숨은 위기다. 설명 가능성이 없는 정확성은 자산이 아니라 부채입니다.
저는 Lloyds, IAG, Vodafone의 금융 감정 분석 시스템을 구축하면서 이를 힘들게 배웠습니다. 이 프로젝트를 통해 나는 대부분의 데이터 과학자들이 너무 늦을 때까지 무시하는 문제를 해결해야 했습니다. 즉, 고위험 거래 결정을 내릴 만큼 신뢰할 수 있는 블랙박스 NLP 모델을 어떻게 만들 수 있습니까?
문제: 정확하지만 불투명함
제가 시작했을 때 목표는 단순해 보였습니다. 재무 보고서와 뉴스를 분석하여 시장 심리(강세, 중립, 약세)를 예측할 수 있는 감정 분류기를 구축하는 것이었습니다. AdaBoost, SVM, Random Forest, 기존 신경망 등 여러 모델을 테스트했는데 모두 합리적으로 좋은 성능을 보였습니다.
그러나 합리적인 것만으로는 충분하지 않았습니다.
문제는 다음과 같습니다. 금융 시장은 정확성만 따로 보상하지 않습니다. 감정을 분류하는 데 83% 정확한 모델은 거래자가 특정 예측을 한 이유를 방어할 수 없다면 쓸모가 없습니다. 규제된 환경에서 설명 가능성은 있으면 좋은 기능이 아니라 필수 기능입니다.
전통적인 기계 학습 모델은 설계상 해석이 가능합니다. 의사결정 트리 경로를 조사하면 Random Forest가 약세를 예측한 이유를 이해할 수 있습니다. 그러나 보다 정교한 접근 방식, 특히 변환기 기반 모델인 TinyBERT를 테스트했을 때 저는 고전적인 딥 러닝 트레이드오프에 직면했습니다. 즉, 탁월한 성능(Vodafone 데이터에 대한 86.45% 정확도)과 완전한 불투명성이 결합되었습니다.
그 모델은 금융 언어에 관해 실제적인 것을 배웠습니다. 그것은 나에게 무엇을 말하지 않을 것입니다.
획기적인 발전: 금융 인텔리전스를 위한 SHAP
SHAP(SHapley Additive exPlanations)를 입력합니다. SHAP는 모델이 학습한 내용을 리버스 엔지니어링하는 대신 게임 이론을 사용하여 예측을 기능 기여로 분해하는 원칙적인 방법을 제공합니다.
통찰력은 우아합니다. 각 예측에 대해 SHAP는 각 단어나 문구가 최종 감정 분류를 특정 방향으로 추진하는 데 얼마나 기여하는지 계산합니다. 블랙박스 대신 모델의 추론이 담긴 투명한 원장을 얻을 수 있습니다.
TinyBERT 파이프라인에 SHAP 분석을 구현했는데 갑자기 모델을 해석할 수 있게 되었습니다. 분류자가 “수익 감소”와 “시장 역풍”을 언급한 수익 보고서에서 약세를 예측했을 때 SHAP 폭포 도표는 어떤 문구가 예측을 어느 정도 주도했는지 정확하게 보여주었습니다.
하지만 실제로 작동하게 된 이유는 다음과 같습니다. SHAP를 나중에 추가한 것이 아닙니다. 나는 처음부터 설명 가능성을 시스템 설계의 핵심으로 삼았습니다. 이는 투명성을 중심으로 전체 파이프라인을 구성하는 것을 의미했습니다.
아키텍처: 모듈식 및 투명성
시스템에는 8개의 상호 연결된 모듈이 있으며 각 모듈은 설명 가능성을 염두에 두고 설계되었습니다.
데이터 수집 모듈: Yahoo Finance의 PDF 재무 보고서 및 CSV 뉴스 파일에서 텍스트를 추출했습니다. 여기서는 규율이 매우 중요했습니다. 깨끗한 데이터는 깨끗한 설명을 제공합니다.
텍스트 전처리 모듈: 금융 전문 용어를 유지하면서 노이즈(이모지, 구두점, 추가 공백)를 제거하여 텍스트를 표준화했습니다. 이는 “손실”이 회계와 일상 언어에서 다른 의미를 갖기 때문에 중요합니다.
감정 점수 모듈: VADER를 기준으로 사용하여 초기 감정 라벨을 할당했습니다. 이는 건전성 검사 역할을 했습니다. VADER와 TinyBERT가 크게 동의하지 않는 경우 그 이유를 조사해 볼 가치가 있었습니다.
모델 훈련 모듈: 균형 잡힌 증강 데이터에 맞게 TinyBERT를 미세 조정했습니다. 차이점을 만든 이유는 다음과 같습니다. 불균형 데이터로 인해 설명 도구로 해결할 수 없는 체계적인 편향이 발생하기 때문에 클래스 불균형을 처리하기 위해 SMOTE(Synthetic Minority Oversampling)를 사용했습니다.
예측 모듈: 실시간 추론을 위해 훈련된 모델을 배포했습니다. 화려하지는 않지만 방탄 신뢰성.
설명 가능성 모듈: 모든 예측에 대한 기능 중요성을 보여주는 생성된 SHAP 플롯입니다. 여기서 마법이 일어났습니다.
주의 시각화 모듈: 변환기 모델은 어텐션 메커니즘(기본적으로 입력의 어느 부분이 가장 중요한지 보여주는 학습된 가중치)을 사용합니다. 이러한 주의 점수를 시각화함으로써 나는 또 다른 해석 가능성을 제공했습니다. 모델이 “운영 과제”와 같은 특정 문구에 45%의 주의를 기울였을 때 사용자는 이를 직접 확인할 수 있었습니다.
시각화 모듈: 재무 분석가가 기계 학습 박사 학위 없이 실제로 사용할 수 있는 도구에 모든 것을 통합하는 Streamlit 대시보드를 구축했습니다.
결과: 정확성에서 실행 가능성까지
서로 다른 분야에 걸쳐 세 회사에 걸쳐 전체 시스템을 테스트했을 때 그 수치는 매우 높았습니다.
- 타이니버트: 정확도 83.17%(Lloyds), 83.67%(IAG), 86.45%(Vodafone)
- 전통적인 모델 평균 70~80%로 전이학습의 가치를 보여줍니다.
- 가장 중요한 것은: 모든 예측에는 완전한 설명이 가능합니다.
그러나 진정한 승리는 정확도 벤치마크가 아니었습니다. 이제 고위 거래자는 SHAP 설명을 읽고 모델의 추론을 검증하거나 논리의 실수를 표시할 수 있습니다. 그 때 유용해졌습니다.
한 가지 예: 시스템은 “불확실한 규제 환경”이라는 문구를 기반으로 문서를 약세로 표시했습니다. 인간 분석가는 특정 회사 및 기간에 대해 해당 언어가 실제 위험 신호가 아닌 일상적인 상용구임을 즉시 인식했습니다. 설명 가능성은 거짓 긍정을 포착했습니다. SHAP가 없었다면 이는 검토되지 않은 채 통과되었을 것입니다.
아무도 이야기하지 않는 도전 과제
이 시스템을 구축하면서 설명 가능성이 모든 것을 해결하는 것은 아니며 때로는 새로운 문제가 노출된다는 점을 깨달았습니다.
과제 1: 데이터 품질은 기본입니다
SHAP는 쓰레기 데이터를 수정할 수 없습니다. 서식이 잘못되었거나 구조가 일관되지 않은 PDF에서 텍스트를 추출하면 모델 설명의 신뢰도가 낮아졌습니다. 나는 SHAP에 가비지 데이터를 공급하면 가비지 설명이 생성된다는 것을 알았기 때문에 데이터 정리에 상당한 시간을 보냈습니다.
과제 2: 클래스 불균형으로 인해 설명이 왜곡됨
실제 금융 감정은 불균형합니다. 중립적 감정이 데이터 세트를 지배했으며 약세 감정은 거의 없습니다. 불균형 데이터를 학습하는 경우 모델은 다수 클래스를 더 확실하게 예측하는 방법을 학습하며 SHAP는 그 이유를 설명합니다. 그러나 이러한 설명은 시장 현실이 아닌 데이터 분포를 반영하기 때문에 오해의 소지가 있을 수 있습니다.
나는 소수 클래스 예제를 종합적으로 생성하는 SMOTE를 사용하여 이 문제를 해결했습니다. 이는 모델이 “거의 하락세 예측”을 학습하는 것이 아니라 하락세 언어로 실제 패턴을 학습했음을 의미합니다.
과제 3: 설명 가능성은 너무 기술적일 수 있음
SHAP 값은 수학적으로 엄격하지만 시각적으로 추상적입니다. 내 대시보드의 초기 버전은 사용자를 기술적인 플롯으로 혼동시켰습니다. 저는 단순화해야 했습니다. 예측을 주도하는 상위 3개 단어를 표시하고, 이를 명확하게 시각화하고, 원하는 경우 사용자가 더 자세히 알아볼 수 있도록 해야 했습니다.
더 넓은 교훈: 설명 가능성이 모든 것을 변화시킵니다
나를 가장 놀라게 한 것은 SHAP 구현의 기술적 과제가 아니라 설명 가능성 요구 사항이 전체 시스템 구축 방식을 근본적으로 변화시켰다는 사실을 깨닫는 것이었습니다.
예측에 의문이 제기되고 면밀히 조사될 것이라는 사실을 알게 되면 다양한 디자인 선택을 하게 됩니다.
- 데이터 세트 크기보다 데이터 품질을 우선시합니다.
- 순수한 블랙박스 대신 앙상블 방법이나 해석 가능한 모델을 사용합니다.
- 극단적인 사례를 강박적으로 검증합니다.
- 가정을 꼼꼼하게 문서화합니다.
이것이 설명 가능성의 숨겨진 이점입니다. 즉, 더 나은 엔지니어링 관행을 강요합니다.
다음은 무엇입니까?
이 연구는 금융 AI의 미래를 가리키는 몇 가지 유망한 방향을 강조했습니다.
시간적 감정 모델링: 시간이 지남에 따라 정서가 어떻게 변하는지 이해하고 이를 실제 시장 움직임과 연관시킵니다. 정서가 가격 변동을 주도합니까, 아니면 따라가나요?
다중 모드 분석: 텍스트 감정과 정량적 재무 지표를 결합합니다. 문서에는 수익 감소를 보고하면서 낙관적인 표현이 포함될 수 있습니다. 어떤 신호가 더 중요합니까?
세분화된 분류: 강세/중립/약세를 넘어 미묘한 포지션을 포착합니다. “조심스럽게 낙관적”인 것은 “강세”와 다르며 거래자는 이러한 구별로부터 이익을 얻을 것입니다.
인과 추론: 궁극적인 목표는 감정과 가격의 상관관계를 이해하는 것뿐만 아니라 왜. 긍정적인 뉴스가 가격을 상승시키는가, 아니면 가격 상승이 긍정적인 뉴스를 유도하는가?
테이크아웃
금융, 의료, 형사 사법 등 위험도가 높은 영역을 위한 AI 시스템을 구축하는 경우 다음을 기억하십시오. 모델은 설명될 수 있을 때까지는 제품이 아닙니다.
86%의 정확도에서 멈출 수 있었습니다. 그것은 출판 가능했을 것입니다. 그러나 거래자들이 결코 신뢰하지 않기 때문에 실제로는 쓸모가 없었을 것입니다.
내 시스템의 혁신은 하이퍼파라미터를 조정하거나 완벽한 아키텍처를 찾는 것이 아니라 처음부터 설명 가능성을 우선시하기로 결정한 것에서 비롯되었습니다. SHAP, 주의 시각화, 모듈식 디자인은 추가 기능이 아닙니다. 그것들이 기초였습니다.
이것이 금융 심리 분석의 실제 교훈입니다. 때로는 AI 구축에서 가장 어려운 부분이 AI를 정확하게 만들지 못하는 것입니다. 사람들이 그것을 사용할 만큼 충분히 신뢰하게 만들고 있습니다.
사용된 기술 스택: TinyBERT, PyTorch, SHAP, Streamlit, NLTK, spaCy, Hugging Face Transformers, SMOTE, Pandas, PyPDF2
GitHub 저장소: https://github.com/ademicho123/financial감정분석
\ \
Post Comment