인공지능과커뮤니케이션이론, 10주차 영문 발제1

Chapter 7 Classification

검열된 데이터, 커스텀 피처, 평가지표, 그리고 최종 모델

발표 채가예
Hvitfeldt & Silge, Supervised Machine Learning for Text Analysis in R, 7.8절부터 7.11절

소비자 불만 한 건

CFPB 원문 그대로

In XX/XX/XXXX I leased
a XXXX vehicle

개인정보는 공개 전에 XXXX로 가려져 있다. 이 글은 신용 보고에 관한 불만일까?
도입2

같은 데이터, 나아지는 모델

CFPB 소비자 불만 117,214건으로 신용 보고(Credit reporting) 여부를 맞힌다.

모델AccuracyROC AUC교재 절
다수 클래스만 찍는 null model0.5260.5007.2
Naive Bayes0.8070.8847.1
Lasso, penalty 0.010.8700.9397.3
Lasso, 튜닝 후(보고 없음)0.9537.4, 7.5

오늘은 7.8부터 7.11까지 짧게 보고, 같은 데이터로 Lasso와 Claude를 비교한 실습으로 넘어간다.

7.8 데이터 검열3

XXXX도 단서가 된다

검열된 원문uncensor_vec()로 XX를 숫자로 바꾼 뒤
In XX/XX/XXXX I leased
a XXXX vehicle
In 65/59/1659 I leased
a 4598 vehicle
Fig. 7.10: 숫자가 서로 다른 토큰으로 흩어져 상위 trigram에서 사라진다.
  • 주석으로 본다값은 숨겨도 무언가 ‘있었다’는 사실은 남는다.
  • Fig. 7.8, 7.9상위 trigram 대부분이 검열 문자열이고, 그 비율이 Credit과 Other에서 다르다.
  • 한계날짜가 나왔다는 것은 배우지만, 어떤 날짜인지는 모른다.
  • 개인정보모델에서 새어 나올 수 있어, 정규식으로 찾아 ssnindicator 같은 표시 토큰으로 바꾼다. 댓글의 @계정과 URL도 마찬가지다.
7.9 커스텀 피처4

토큰이 놓치는 패턴을 피처로

textfeatures 패키지와 step_textfeature()로 레시피에 더한다.

피처잡아내는 것교재 예시 결과
creditcard_countXXXX 네 묶음으로 남은 카드번호 흔적. 정규식을 세 번 고쳐 완성2, 1, 0, 0
percent_censoring영숫자 중 X가 차지하는 비율0.73, 0.53, 0.24, 0.71
max_money{$20.00}처럼 적힌 금액의 최댓값, 없으면 020, 7, 0

작은 예시 문자열로 먼저 시험하고 전체 데이터로 넓힌다. 약간의 오탐은 목적에 따라 허용한다.

7.10 평가지표5

놓친 것이 잘못 경보한 것의 세 배

다수 클래스만 찍어도 정확도 0.526. 그래서 오류의 종류와 비용으로 지표를 고른다.

Naive Bayes 혼동행렬

10-fold 평균
예측 \ 실제CreditOther
Credit2892.1TP420.1FP
Other1274.7FN4204.1TN
  • Recall 0.694TP / (TP + FN)
    놓치면 안 될 때 본다.
  • Precision 0.873TP / (TP + FP)
    잘못된 경보가 비쌀 때 본다. 표에서 계산한 값.
7.11 Full Game6

단순한 모델, 테스트는 단 한 번

텍스트, 커스텀 피처 3개, Lasso. 60개 조합 중 최고(0.898) 대신 손실 2% 이내에서 가장 단순한 모델, 단어 1,000개를 골랐다.

0.882Accuracy
0.949ROC AUC
  • 과적합 없음교차검증과 거의 같고, 혼동행렬도 대체로 대칭이다 (Fig. 7.12).
  • Credit 쪽 단어신용평가기관 이름, reporting, report
  • Other 쪽 단어interest, bank, escrow. 커스텀 피처는 상위 20개에 없었다.
  • 틀린 글라벨 자체가 애매한 경우가 많다. 오류 분석은 데이터 품질 진단이다.
실습, Lasso와 Claude7

LLM 시대에도 지도학습이 필요할까?

  • Lasso교재 7.11을 Python으로 재현, 87,910건 학습
  • 결과테스트 29,304건에서 0.891, ROC AUC 0.954 (교재 0.882, 0.949)
  • Claude학습 0건. 범주 정의만 받고 10건씩 JSON으로 답한다

제 재현의 튜닝 결과

5-fold 교차검증 정확도
0.8900.8950.9000.250.51248규제 강도 C (오른쪽일수록 규제가 약함)3,000개2,000개1,000개최고 0.900선택 0.891
최고에서 1.07% 손해 보는 가장 단순한 모델, 단어 1,000개와 C = 0.25를 골랐다.
실습, Lasso와 Claude8

문장 하나, 두 모델의 판단

Credit 쪽 단어Other 쪽 단어

Lasso

계산 중

Other0.5Credit

Credit 쪽으로 민 단어

Other 쪽으로 민 단어

커스텀 피처, 값과 기여도

Claude

아직 묻지 않음

실습, Lasso와 Claude9

같은 100건, 두 모델

테스트셋에서 1,500자 이하의 글을 Credit 50건, Other 50건 뽑았다.

지표LassoClaude

Lasso 혼동행렬

Claude 혼동행렬

정리10

XXXX에서 테스트셋까지, 네 문장

  • 7.8 검열검열과 개인정보는 버릴 노이즈가 아니라 ‘존재 표시’ 피처가 된다.
  • 7.9 커스텀 피처도메인 지식으로 작게 만들고 넓히되, 효과는 반드시 검증한다.
  • 7.10 평가지표FP와 FN 중 무엇이 비싼지에 따라 recall과 precision을 고른다.
  • 7.11 Full Game최고점 대신 단순한 모델을 일부러 골랐고, 테스트셋에서도 과적합이 없었다.
정리11

커뮤니케이션 연구에 가져온다면

  1. 한국어 뉴스 댓글과 SNS에서 계정명, URL, 개인정보를 표시 토큰으로 바꾸면 어떤 연구 질문에 도움이 될까?
  2. 뉴스 프레임 분류나 혐오표현 탐지라면 recall과 precision 중 무엇을 우선할까?

발표 채가예. 감사합니다.