← 퍼블리케이션

합성소비자응답 편향보정

합성 응답자는 비판을 아낀다

신제품 컨셉 호감 70%는 소비자의 마음일까요, 모델의 예의일까요. AI 응답자가 부정적인 답을 사람과 다르게 고르는 버릇을 재고, 사람 응답으로 모델을 학습하지 않고 바로잡은 연구입니다.

핵심 세 줄

  • AI가 흉내 낸 응답자는 걱정은 사람보다 많이 합니다. 반면 제품이나 기관을 비판할 때는 사람보다 약하게 합니다.
  • “부정적인 답을 누그러뜨리지 말라”는 지시를 넣으면 모든 답이 같은 방향으로 밀립니다. 그래서 응답 분포가 사람에게서 오히려 멀어집니다.
  • 비판적으로 답하는 가상 응답자를 만들어 그 답으로 모델을 따로 학습시킨 뒤, 이 모델의 응답을 원래 모델의 응답과 정해진 비율로 섞었습니다. 섞은 응답은 7개 모델과 4개 설문 전부에서 사람의 응답 분포에 더 가까워졌습니다.

손님으로 간 집에서 음식 맛을 물으면 대부분 “맛있다”고 답합니다. 좀 짜도 그렇습니다. 사람의 말을 배운 언어모델은 여기서 한술 더 뜹니다. 친절하게 답하도록 따로 훈련까지 받았기 때문으로 보입니다. 합성 응답자로 설문을 미리 돌려 볼 때는 이 점부터 의심해야 합니다. 신제품 컨셉 호감도가 70%로 나왔는데 그 70%가 소비자의 마음인지 모델의 예의인지 가릴 수 없다면, 그 조사는 쓸 수 없습니다. 우리는 이 예의가 얼마나 되는지 재고 이를 걷어 내는 연구를 했습니다.

먼저 재는 방법부터 바꿨습니다. 흔히 쓰는 방법으로는 부정적인 보기를 고른 비율을 숫자 하나로 셉니다. 그런데 부정적인 답에도 종류가 있습니다. 어떤 제품이 위험하다고 평가하는 것, 생활비가 걱정된다고 말하는 것, 어떤 사회 문제가 심각하다고 답하는 것은 서로 다른 이야기입니다. 이것을 숫자 하나로 합치면 사람보다 덜 부정적인 문항과 더 부정적인 문항이 서로 상쇄돼 차이가 없는 것처럼 보입니다.

그래서 문항을 뜻에 따라 세 가지로 나눴습니다. 무언가를 평가하는 문항, 자기 걱정을 말하는 문항, 사회 문제가 얼마나 심각한지 묻는 문항입니다. 그리고 두 가지를 따로 쟀습니다. 하나는 부정적인 보기를 얼마나 자주 고르는지, 다른 하나는 얼마나 센 보기를 고르는지입니다. “약간 불만”과 “매우 불만”은 둘 다 부정 응답이지만 조사 결과에서 뜻하는 바는 크게 다릅니다. 세기는 가장 부정적인 보기를 +1, 가장 긍정적인 보기를 −1로 놓고 응답이 평균적으로 어디쯤 있는지로 쟀습니다.

미국 여론조사(OpinionQA)를 이렇게 나눠 보니 모델이 어디서 사람과 다른지가 드러났습니다. 자기 걱정과 사회 문제를 묻는 문항에서는 실험한 7개 모델이 모두 사람보다 부정적이었습니다. 제품이나 기관을 평가하는 문항에서는 모습이 달랐습니다. 다섯 모델은 부정적인 보기를 사람보다 자주 골랐습니다. 그런데 고른 보기의 세기를 보면 여섯 모델이 사람보다 약했습니다. 부정적인 보기를 자주 고르면서도 전체적으로는 사람보다 덜 센 쪽에 답한 것입니다. 모델은 걱정은 많이 하고 비판은 아꼈습니다. 손님의 예의와 같은 방향입니다. 이유도 짐작할 수 있습니다. 비판을 누그러뜨리는 것과 걱정을 선뜻 털어놓는 것은 둘 다 사회적으로 무난한 답입니다.

설문에 따라서도 달랐습니다. 국가와 지도자를 묻는 국제 여론조사에서는 대부분의 모델이 사람보다 부정적이었습니다. 제도 신뢰나 건강을 묻는 설문에서는 평균적으로 차이가 작았습니다. 숫자 하나로 뭉뚱그렸다면 이렇게 방향이 다른 오차들이 서로 지워져 문제가 없어 보였을 것입니다.

지시를 더하는 게 가장 쉬운 해결책이라 실제로 이런 지시를 넣어 봤습니다. “부정적인 답을 피하거나 누그러뜨리지 마라.” 평균적인 부정의 세기는 사람 수준에 가까워졌습니다. 그런데 응답 분포 전체는 4개 설문 모두에서 사람과 더 멀어졌습니다. 이 지시를 넣으면 문항의 뜻과 상관없이 모든 답이 같은 방향으로 밀리기 때문입니다. 사람보다 덜 비판적이던 평가 문항은 사람에 가까워집니다. 하지만 이미 사람보다 걱정이 많던 문항은 더 멀어집니다. 두 번째 지시에는 “실제 응답자는 강한 부정도 자주 고른다”는 문장을 덧붙였습니다. 이 지시는 첫 번째 지시보다도 사람에게서 더 멀어졌습니다.

원래 모델 0.061 "누그러뜨리지 마라" 0.063 "강한 부정도 흔하다" 0.077 섞은 분포 0.037 OpinionQA 사람 응답과의 거리(JS), 낮을수록 가까움
지시를 더한 두 조건은 모두 원래 모델보다 사람에게서 멀어졌고, 섞은 분포만 가까워졌습니다. 7개 모델 평균(논문 표 4).

우리는 섞기라는 방법을 택했습니다. 먼저 비판적인 학습용 가상 응답자들을 만들었습니다. 이들이 여러 주제의 설문에 답한 합성 데이터만으로 모델을 추가 학습했습니다. 학습에는 사람의 실제 설문 응답을 한 건도 쓰지 않았습니다.

합성 데이터를 만들 때는 언어모델에게 교사 역할을 맡겼습니다. 이 교사 모델이 소비재부터 공공 서비스, 정치와 가치관까지 여섯 분야에서 설문 주제를 정하고 현장에서 실제로 쓰는 형태의 설문지를 썼습니다. 그다음 학습용 가상 응답자를 만들었습니다. 응답자마다 직업과 배경, 구체적인 불만을 정해 두고 부정적인 태도를 약하게 또는 강하게 줬습니다. 최종 응답은 두 수준이 반반이 되게 맞췄습니다. 응답자마다 불만의 내용이 구체적으로 정해져 있으면 문항마다 답이 달라집니다. 가장 부정적인 보기만 계속 고르는 일도 생기지 않습니다. 이렇게 모은 응답은 2만 3천여 건이었습니다. 여기서 1만 5천 건을 골라 학습 예시 5천 개를 만들었습니다. 7개 모델에는 모두 같은 예시와 같은 설정으로 가벼운 추가 학습을 했습니다.

OpinionQA에서 재 보니 이렇게 만든 모델은 예상대로 사람보다 비판적인 쪽으로 기울었고, 원래 모델은 너그러운 쪽으로 기울어 있었습니다. 두 모델은 사람을 기준으로 서로 반대 방향으로 벗어나 있었습니다.

사람 = 0 부정의 세기 차이 -0.088 +0.047 부정 응답 비율 차이 -0.017 +0.049 원래 모델 비판적으로 학습한 모델
사람 응답과의 차이, 7개 모델 평균(OpinionQA, 논문 표 2). 0이 사람입니다. 음수는 평가 문항에서 덜 비판적이거나 걱정 문항에서 더 걱정하는 쪽입니다. 두 모델이 반대 방향으로 기울어 있어서 섞으면 서로의 오차가 상쇄됩니다.

그다음 두 모델이 내놓은 응답 분포를 정해진 비율로 섞었습니다. 섞은 분포는 사람의 응답 근처에 놓였습니다. 모델 자체가 아니라 두 모델이 낸 응답 분포를 섞으므로 다시 학습할 필요가 없습니다. 비율은 비판적인 모델의 응답을 얼마나 섞을지를 뜻합니다. 0이면 원래 모델만, 1이면 비판적인 모델만 씁니다. 이 비율은 OpinionQA에서 0.55로 정했고, 나머지 세 설문에는 그대로 썼습니다.

실험에는 파라미터 크기가 120억에서 320억인 공개 모델 7개를 썼습니다. 설문은 미국 여론조사와 국제 여론조사를 합쳐 4종입니다. 미국 인구 구성에 맞춘 가상 응답자 500명이 이 설문에 답했습니다. 사람 응답과 얼마나 다른지는 두 응답 분포 사이의 거리로 쟀습니다. 섞은 분포에서는 이 거리가 원래 모델보다 34~45% 줄었습니다. 7개 모델과 4개 설문을 짝지은 28개 조합 전부에서 섞은 분포가 원래 모델과 추가 학습 모델 둘 다보다 사람에 가까웠습니다. 두 번째 거리 지표는 얼마나 크게 빗나갔는지까지 따집니다. ’매우 불만’을 ’약간 불만’으로 답한 것과 ’매우 만족’으로 답한 것을 다르게 셉니다. 이 지표로 재도 28개 중 26개 조합에서 둘 다보다 가까웠습니다.

OpinionQA 0.061 0.049 0.037 GlobalOpinionQA 0.066 0.053 0.040 GSS 0.047 0.034 0.026 ISSP 0.067 0.058 0.044 원래 모델 비판적으로 학습 섞은 분포 사람 응답과의 거리(JS), 낮을수록 가까움
사람 응답 분포와의 거리, 7개 모델 평균(논문 표 3). 섞는 비율은 OpinionQA에서 한 번 정하고 나머지 세 설문에 그대로 썼습니다. 원래 모델, 추가 학습 모델, 섞은 분포 가운데 네 설문 모두에서 섞은 분포가 가장 가깝습니다.

흔히 쓰는 사후 통계 보정과도 비교했습니다. 그중 가장 강한 것은 응답 분포를 고르게 펴 주는 온도 조정이었습니다. OpinionQA(비율을 정한 설문)와 GlobalOpinionQA에서는 온도 조정이 섞기보다 사람에 가까웠습니다. 하지만 비율을 정할 때 쓰지 않은 세 설문을 평균하면 섞기가 13% 더 가까웠습니다. 지시문과 비율을 사람 데이터에 맞춰 최적화한 조건과도 견줘 봤습니다. 이때도 모델별 비교 56번 가운데 49번은 섞기가 사람에 더 가까웠습니다.

섞는 비율은 아래에서 직접 움직여 볼 수 있습니다.

직접 해보기 · 섞는 비율

0 = 원래 모델만1 = 비판적 모델만0.030.07사람 응답과의 거리(JS), 4개 설문 평균

거리

사람과의 거리는 0.55 근처에서 가장 짧고, 0.45~0.65 사이에서는 거의 변하지 않습니다. 곡선은 비율 0, 0.55, 1일 때의 네 설문 평균 세 개를 이어 그린 근사치이고, 비율별 실제 값은 논문 그림 4(a)에 있습니다.

모델마다 가장 좋은 비율은 0.30에서 0.75 사이로 달랐습니다. 그래도 비율을 0.55 하나로 정해 섞자 7개 모델 모두 사람에 가까워졌습니다. 0.45와 0.65 사이에서는 거리가 거의 변하지 않아서 비율을 정밀하게 맞출 필요도 없습니다.

보정의 기준은 실제 사람의 응답입니다. 이 기준에 맞추려면 재는 단계에서 문항을 뜻에 따라 나눠 봐야 합니다. 한 설문에서 맞춘 보정이 다른 설문에서도 통하는지도 확인해야 합니다. 인텔리시아는 합성소비자의 부정 응답을 이 기준으로 점검합니다.

한계도 있습니다. 실험한 모델은 120억~320억 파라미터의 공개 모델 7개이고 가상 응답자는 미국 인구 구성을 따랐습니다. 다른 나라 응답자를 흉내 낼 때도 같은 비율이 통하는지는 확인하지 않았습니다. 비율은 모든 응답을 만들어 둔 뒤에 OpinionQA에서 골랐습니다. 그래서 다른 설문에 옮겨 쓴 결과는 사후 확인에 가깝습니다. 학습 데이터는 교사 모델 하나가 만들었습니다. 비판적인 모델은 원래 모델에 가벼운 추가 모듈(어댑터)을 얹은 것이라 섞으려면 두 모델의 응답이 모두 필요합니다.

연구 방법

  • 모델: Gemma 4 12B, Gemma 4 31B, Qwen 3.6 27B, Phi 4 14B, Mistral Small 24B, gpt-oss 20B, EXAONE 4.0.1 32B. 7개 모두 같은 학습 예시와 설정으로 어댑터를 얹었습니다.
  • 가상 응답자: 나이·성별·지역·학력·소득의 미국 인구 구성에 맞춘 500명. 태도는 따로 주지 않아서 의견은 모델이 스스로 냅니다. 한 번에 10명이 10문항에 답합니다. 문항마다 50묶음 500개의 답으로 분포를 만듭니다.
  • 거리 지표: 사람 응답 분포와의 거리는 JS 발산(Jensen-Shannon divergence)으로 쟀습니다. 보기 사이의 간격까지 따지는 정규화 Wasserstein 거리도 함께 봤습니다.
  • 비교 기준: 사람 응답 분포. 사람 데이터는 프롬프트에 넣지 않았고 섞는 비율을 정할 때만 썼습니다.
설문 출처 문항 수 내용
OpinionQA Pew ATP(미국) 92 위험, 걱정
GlobalOpinionQA Pew Global, WVS 238 국가, 지도자, 위협
GSS NORC 27 제도 신뢰, 가치관
ISSP 40개국 233 건강, 환경, 일

이 연구는 논문으로 정리했습니다.

다른 자료