← 퍼블리케이션

합성 응답건강 설문검증

응답자를 아는 만큼 답이 사람에 가까워진다

목격자 없는 몽타주는 평균의 얼굴이 됩니다. 언어모델에 응답자 정보를 한 단계씩 더 주면서 건강 설문 답이 실제 사람과 얼마나 비슷해지는지 잰 연구입니다.

American Journal of Preventive Medicine · 2026원문 보기 ↗PubMed ↗

핵심 세 줄

  • 언어모델에게 아무 정보 없이 “미국 성인 한 명”이라고만 하고 건강 설문에 답하게 하면 모델의 점수는 실제 사람의 점수와 거의 관계가 없습니다(상관 0.02).
  • 나이와 성별, 소득과 교육, 건강 상태를 차례로 알려 주면 상관이 0.51까지 올라갑니다.
  • 아주 건강하거나 아주 아픈 사람, 그리고 개인 한 명의 점수는 아직 잘 맞히지 못합니다.

목격자가 한 명도 없는데 몽타주를 그리면 누구도 닮지 않은 평균적인 얼굴이 나옵니다. 언어모델에게 “미국 성인 한 명”이라고만 알려 주고 건강 설문에 답하라고 하면 꼭 그렇게 됩니다. 모델은 답을 내놓긴 합니다. 하지만 실제 누구의 것도 아닌 평균적인 답입니다. 우리는 응답자 정보를 목격자 진술처럼 하나씩 더해 가며 모델의 답이 실제 사람을 얼마나 닮아 가는지 쟀습니다.

비교 실험에는 건강 설문을 골랐습니다. 건강 관련 삶의 질은 정부와 보건기관이 이런 설문으로 꾸준히 재는 지표입니다. 전국 규모로 조사하려면 돈과 시간이 많이 듭니다. 그래서 공공 보건 쪽에서는 언어모델이 내놓은 합성 응답으로 이 조사의 일부를 대신할 수 있을지 관심이 큽니다. 건강 설문을 고른 이유는 두 가지 더 있습니다. 설문이 표준화돼 있어 점수 계산 공식이 정해져 있습니다. 또 수만 명의 실제 응답이 공개돼 있어 그대로 비교 기준으로 쓸 수 있습니다.

비교 기준은 미국 의료비 패널조사(MEPS) 2022년 응답입니다. 설문은 보건 분야에서 널리 쓰는 SF-12입니다. 12문항에 답하면 신체 건강 점수와 정신 건강 점수가 나옵니다. 범용 언어모델(LLaMA 4)에 응답자 한 명의 조건을 알려 주고 같은 12문항에 답하게 했습니다. 그런 다음 같은 공식으로 점수를 내서 실제 점수와 비교했습니다.

알려 주는 정보는 네 단계로 늘렸습니다. 처음에는 아무 정보도 주지 않았습니다. 다음에는 나이와 성별 같은 인구통계를 알려 줬습니다. 세 번째 단계에서는 여기에 소득과 교육을 보탰습니다. 마지막에는 지병 같은 건강 상태까지 더했습니다.

정보 없음 → + 인구통계 → + 사회경제 → + 건강 상태
응답자 정보를 한 단계씩 더한 네 조건(그림은 비유입니다). 단계마다 같은 12문항에 답하게 하고 실제 점수와 비교했습니다.

신체 건강 점수에서는 결과가 뚜렷했습니다. 상관은 두 점수가 함께 움직이는 정도입니다. 0이면 무관하고 1이면 완전히 같이 움직입니다. 아무 정보가 없을 때 모델 점수와 실제 점수의 상관은 0.02로 사실상 관계가 없었습니다. 정보를 모두 준 네 번째 단계에서는 상관이 0.51까지 올라갔습니다. 오차율(MAPE)은 점수가 실제와 평균 몇 %나 어긋나는지 봅니다. 이 값은 11.1%에서 7.9%로 줄었습니다. 설명력(R²)은 실제 점수가 사람마다 보이는 차이 가운데 모델이 맞힌 몫입니다. 설명력은 0에서 0.26이 됐습니다.

응답자 조건 오차율(MAPE) 실제 점수와의 상관
정보 없음 11.1% 0.02
인구통계 + 사회경제 + 건강 7.9% 0.51
실제 점수와의 상관 0.02 정보 없음 0.51 모두 제공 ↑ 높을수록 좋음 오차율 MAPE 11.1% 정보 없음 7.9% 모두 제공 ↓ 낮을수록 좋음 설명력 R² 0.00 정보 없음 0.26 모두 제공 ↑ 높을수록 좋음
신체 건강 점수(PCS) 기준으로, 응답자 정보가 없을 때와 인구통계·사회경제·건강 정보를 모두 줬을 때를 비교했습니다(논문 초록). 정신 건강 점수는 정보를 더해도 나아진 폭이 작았습니다.

반면 정신 건강 점수는 정보를 더해도 나아진 폭이 작았습니다. 아주 건강하거나 건강이 아주 나쁜 사람의 점수도 잘 맞히지 못했습니다. 점수 분포의 양 끝에 있는 사람들입니다. 또 정보를 모두 줘도 설명력이 0.26에 그쳐서 어느 한 사람의 점수를 맞히기에는 아직 모자랍니다.

정보가 없을 때 평균적인 답이 나오는 이유는 이렇게 짐작할 수 있습니다. 모델은 가장 그럴듯한 답을 고릅니다. 누구인지 모르면 가장 흔한 사람의 답을 고르게 되고 그 답은 분포의 한가운데에 놓입니다. 정보가 더해지면 답이 한가운데에서 벗어나기 시작합니다. 하지만 분포의 끝에 있는 사람까지 닿기에는 아직 모자랍니다. 정신 건강 쪽이 특히 그렇습니다. 나이나 소득, 지병 같은 정보는 신체 건강을 꽤 설명하지만 마음 상태는 그만큼 설명하지 못합니다.

이 실험에서는 응답자를 구체적으로 알려 줄수록 답이 실제 사람에 가까워졌습니다. 그래서 인텔리시아는 조사마다 조사 집단의 조건과 구성원의 특성부터 정합니다. 다만 이 실험은 범용 모델에 조건만 준 결과입니다. 인텔리시아 엔진의 성능을 잰 것은 아닙니다.

연구 방법

  • 기준 데이터: 미국 의료비 패널조사(MEPS) 2022년 응답. 분석은 2025년에 했습니다.
  • 설문: SF-12. 12문항으로 신체 건강 점수(PCS)와 정신 건강 점수(MCS)를 냅니다. 합성 응답도 같은 공식으로 점수를 냈습니다.
  • 모델: LLaMA 4. 추가 학습 없이 응답자 조건만 프롬프트로 줬습니다.
  • 네 조건: 정보 없음 / 인구통계 / 인구통계 + 사회경제 / 인구통계 + 사회경제 + 건강 상태.
  • 지표: 평균 절대 오차율(MAPE), 평균 제곱근 오차(RMSE), 설명력(R²), 추정값과 실제값의 비율, 상관계수.
신체 건강 점수 정보 없음 모두 제공
오차율(MAPE) 11.10 7.91
제곱근 오차(RMSE) 156.53 109.17
설명력(R²) 0.00 0.26
추정 대 실제 비율 0.97 1.00
상관계수 0.02 0.51

이 연구는 미국 예방의학 학술지 American Journal of Preventive Medicine 2026년 6월호에 실렸습니다. 저자는 백승국·이성현·김형진(인텔리시아), 박성철입니다. 원문 보기

다른 자료