인공지능과커뮤니케이션이론, 10주차 영문 발제1
Chapter 7 Classification
검열된 데이터, 커스텀 피처, 평가지표, 그리고 최종 모델
발표 채가예
Hvitfeldt & Silge, Supervised Machine Learning for Text Analysis in R, 7.8절부터 7.11절
소비자 불만 한 건
CFPB 원문 그대로In XX/XX/XXXX I leased
a XXXX vehicle
도입2
같은 데이터, 나아지는 모델
CFPB 소비자 불만 117,214건으로 신용 보고(Credit reporting) 여부를 맞힌다.
| 모델 | Accuracy | ROC AUC | 교재 절 |
|---|---|---|---|
| 다수 클래스만 찍는 null model | 0.526 | 0.500 | 7.2 |
| Naive Bayes | 0.807 | 0.884 | 7.1 |
| Lasso, penalty 0.01 | 0.870 | 0.939 | 7.3 |
| Lasso, 튜닝 후 | (보고 없음) | 0.953 | 7.4, 7.5 |
오늘은 7.8부터 7.11까지 짧게 보고, 같은 데이터로 Lasso와 Claude를 비교한 실습으로 넘어간다.
7.8 데이터 검열3
XXXX도 단서가 된다
| 검열된 원문 | uncensor_vec()로 XX를 숫자로 바꾼 뒤 |
|---|---|
| In XX/XX/XXXX I leased a XXXX vehicle | In 65/59/1659 I leased a 4598 vehicle |
- 주석으로 본다값은 숨겨도 무언가 ‘있었다’는 사실은 남는다.
- Fig. 7.8, 7.9상위 trigram 대부분이 검열 문자열이고, 그 비율이 Credit과 Other에서 다르다.
- 한계날짜가 나왔다는 것은 배우지만, 어떤 날짜인지는 모른다.
- 개인정보모델에서 새어 나올 수 있어, 정규식으로 찾아
ssnindicator같은 표시 토큰으로 바꾼다. 댓글의 @계정과 URL도 마찬가지다.
7.9 커스텀 피처4
토큰이 놓치는 패턴을 피처로
textfeatures 패키지와 step_textfeature()로 레시피에 더한다.
| 피처 | 잡아내는 것 | 교재 예시 결과 |
|---|---|---|
| creditcard_count | XXXX 네 묶음으로 남은 카드번호 흔적. 정규식을 세 번 고쳐 완성 | 2, 1, 0, 0 |
| percent_censoring | 영숫자 중 X가 차지하는 비율 | 0.73, 0.53, 0.24, 0.71 |
| max_money | {$20.00}처럼 적힌 금액의 최댓값, 없으면 0 | 20, 7, 0 |
작은 예시 문자열로 먼저 시험하고 전체 데이터로 넓힌다. 약간의 오탐은 목적에 따라 허용한다.
7.10 평가지표5
놓친 것이 잘못 경보한 것의 세 배
다수 클래스만 찍어도 정확도 0.526. 그래서 오류의 종류와 비용으로 지표를 고른다.
Naive Bayes 혼동행렬
10-fold 평균| 예측 \ 실제 | Credit | Other |
|---|---|---|
| Credit | 2892.1TP | 420.1FP |
| Other | 1274.7FN | 4204.1TN |
- Recall 0.694TP / (TP + FN)
놓치면 안 될 때 본다. - Precision 0.873TP / (TP + FP)
잘못된 경보가 비쌀 때 본다. 표에서 계산한 값.
7.11 Full Game6
단순한 모델, 테스트는 단 한 번
텍스트, 커스텀 피처 3개, Lasso. 60개 조합 중 최고(0.898) 대신 손실 2% 이내에서 가장 단순한 모델, 단어 1,000개를 골랐다.
0.882Accuracy
0.949ROC AUC
- 과적합 없음교차검증과 거의 같고, 혼동행렬도 대체로 대칭이다 (Fig. 7.12).
- Credit 쪽 단어신용평가기관 이름, reporting, report
- Other 쪽 단어interest, bank, escrow. 커스텀 피처는 상위 20개에 없었다.
- 틀린 글라벨 자체가 애매한 경우가 많다. 오류 분석은 데이터 품질 진단이다.
실습, Lasso와 Claude7
LLM 시대에도 지도학습이 필요할까?
- Lasso교재 7.11을 Python으로 재현, 87,910건 학습
- 결과테스트 29,304건에서 0.891, ROC AUC 0.954 (교재 0.882, 0.949)
- Claude학습 0건. 범주 정의만 받고 10건씩 JSON으로 답한다
제 재현의 튜닝 결과
5-fold 교차검증 정확도실습, Lasso와 Claude8
문장 하나, 두 모델의 판단
Credit 쪽 단어Other 쪽 단어
Lasso
계산 중
Other0.5Credit
Credit 쪽으로 민 단어
Other 쪽으로 민 단어
커스텀 피처, 값과 기여도
Claude
아직 묻지 않음
실습, Lasso와 Claude9
같은 100건, 두 모델
테스트셋에서 1,500자 이하의 글을 Credit 50건, Other 50건 뽑았다.
| 지표 | Lasso | Claude |
|---|
Lasso 혼동행렬
Claude 혼동행렬
정리10
XXXX에서 테스트셋까지, 네 문장
- 7.8 검열검열과 개인정보는 버릴 노이즈가 아니라 ‘존재 표시’ 피처가 된다.
- 7.9 커스텀 피처도메인 지식으로 작게 만들고 넓히되, 효과는 반드시 검증한다.
- 7.10 평가지표FP와 FN 중 무엇이 비싼지에 따라 recall과 precision을 고른다.
- 7.11 Full Game최고점 대신 단순한 모델을 일부러 골랐고, 테스트셋에서도 과적합이 없었다.
정리11
커뮤니케이션 연구에 가져온다면
- 한국어 뉴스 댓글과 SNS에서 계정명, URL, 개인정보를 표시 토큰으로 바꾸면 어떤 연구 질문에 도움이 될까?
- 뉴스 프레임 분류나 혐오표현 탐지라면 recall과 precision 중 무엇을 우선할까?
발표 채가예. 감사합니다.