응답자를 아는 만큼 답이 사람에 가까워진다
목격자 없는 몽타주는 평균의 얼굴이 됩니다. 언어모델에 응답자 정보를 한 단계씩 더 주면서 건강 설문 답이 실제 사람과 얼마나 비슷해지는지 잰 연구입니다.
American Journal of Preventive Medicine · 2026원문 보기 ↗PubMed ↗
핵심 세 줄
- 언어모델에게 아무 정보 없이 “미국 성인 한 명”이라고만 하고 건강 설문에 답하게 하면 모델의 점수는 실제 사람의 점수와 거의 관계가 없습니다(상관 0.02).
- 나이와 성별, 소득과 교육, 건강 상태를 차례로 알려 주면 상관이 0.51까지 올라갑니다.
- 아주 건강하거나 아주 아픈 사람, 그리고 개인 한 명의 점수는 아직 잘 맞히지 못합니다.
목격자가 한 명도 없는데 몽타주를 그리면 누구도 닮지 않은 평균적인 얼굴이 나옵니다. 언어모델에게 “미국 성인 한 명”이라고만 알려 주고 건강 설문에 답하라고 하면 꼭 그렇게 됩니다. 모델은 답을 내놓긴 합니다. 하지만 실제 누구의 것도 아닌 평균적인 답입니다. 우리는 응답자 정보를 목격자 진술처럼 하나씩 더해 가며 모델의 답이 실제 사람을 얼마나 닮아 가는지 쟀습니다.
비교 실험에는 건강 설문을 골랐습니다. 건강 관련 삶의 질은 정부와 보건기관이 이런 설문으로 꾸준히 재는 지표입니다. 전국 규모로 조사하려면 돈과 시간이 많이 듭니다. 그래서 공공 보건 쪽에서는 언어모델이 내놓은 합성 응답으로 이 조사의 일부를 대신할 수 있을지 관심이 큽니다. 건강 설문을 고른 이유는 두 가지 더 있습니다. 설문이 표준화돼 있어 점수 계산 공식이 정해져 있습니다. 또 수만 명의 실제 응답이 공개돼 있어 그대로 비교 기준으로 쓸 수 있습니다.
비교 기준은 미국 의료비 패널조사(MEPS) 2022년 응답입니다. 설문은 보건 분야에서 널리 쓰는 SF-12입니다. 12문항에 답하면 신체 건강 점수와 정신 건강 점수가 나옵니다. 범용 언어모델(LLaMA 4)에 응답자 한 명의 조건을 알려 주고 같은 12문항에 답하게 했습니다. 그런 다음 같은 공식으로 점수를 내서 실제 점수와 비교했습니다.
알려 주는 정보는 네 단계로 늘렸습니다. 처음에는 아무 정보도 주지 않았습니다. 다음에는 나이와 성별 같은 인구통계를 알려 줬습니다. 세 번째 단계에서는 여기에 소득과 교육을 보탰습니다. 마지막에는 지병 같은 건강 상태까지 더했습니다.
신체 건강 점수에서는 결과가 뚜렷했습니다. 상관은 두 점수가 함께 움직이는 정도입니다. 0이면 무관하고 1이면 완전히 같이 움직입니다. 아무 정보가 없을 때 모델 점수와 실제 점수의 상관은 0.02로 사실상 관계가 없었습니다. 정보를 모두 준 네 번째 단계에서는 상관이 0.51까지 올라갔습니다. 오차율(MAPE)은 점수가 실제와 평균 몇 %나 어긋나는지 봅니다. 이 값은 11.1%에서 7.9%로 줄었습니다. 설명력(R²)은 실제 점수가 사람마다 보이는 차이 가운데 모델이 맞힌 몫입니다. 설명력은 0에서 0.26이 됐습니다.
| 응답자 조건 | 오차율(MAPE) | 실제 점수와의 상관 |
|---|---|---|
| 정보 없음 | 11.1% | 0.02 |
| 인구통계 + 사회경제 + 건강 | 7.9% | 0.51 |
반면 정신 건강 점수는 정보를 더해도 나아진 폭이 작았습니다. 아주 건강하거나 건강이 아주 나쁜 사람의 점수도 잘 맞히지 못했습니다. 점수 분포의 양 끝에 있는 사람들입니다. 또 정보를 모두 줘도 설명력이 0.26에 그쳐서 어느 한 사람의 점수를 맞히기에는 아직 모자랍니다.
정보가 없을 때 평균적인 답이 나오는 이유는 이렇게 짐작할 수 있습니다. 모델은 가장 그럴듯한 답을 고릅니다. 누구인지 모르면 가장 흔한 사람의 답을 고르게 되고 그 답은 분포의 한가운데에 놓입니다. 정보가 더해지면 답이 한가운데에서 벗어나기 시작합니다. 하지만 분포의 끝에 있는 사람까지 닿기에는 아직 모자랍니다. 정신 건강 쪽이 특히 그렇습니다. 나이나 소득, 지병 같은 정보는 신체 건강을 꽤 설명하지만 마음 상태는 그만큼 설명하지 못합니다.
이 실험에서는 응답자를 구체적으로 알려 줄수록 답이 실제 사람에 가까워졌습니다. 그래서 인텔리시아는 조사마다 조사 집단의 조건과 구성원의 특성부터 정합니다. 다만 이 실험은 범용 모델에 조건만 준 결과입니다. 인텔리시아 엔진의 성능을 잰 것은 아닙니다.
연구 방법
- 기준 데이터: 미국 의료비 패널조사(MEPS) 2022년 응답. 분석은 2025년에 했습니다.
- 설문: SF-12. 12문항으로 신체 건강 점수(PCS)와 정신 건강 점수(MCS)를 냅니다. 합성 응답도 같은 공식으로 점수를 냈습니다.
- 모델: LLaMA 4. 추가 학습 없이 응답자 조건만 프롬프트로 줬습니다.
- 네 조건: 정보 없음 / 인구통계 / 인구통계 + 사회경제 / 인구통계 + 사회경제 + 건강 상태.
- 지표: 평균 절대 오차율(MAPE), 평균 제곱근 오차(RMSE), 설명력(R²), 추정값과 실제값의 비율, 상관계수.
| 신체 건강 점수 | 정보 없음 | 모두 제공 |
|---|---|---|
| 오차율(MAPE) | 11.10 | 7.91 |
| 제곱근 오차(RMSE) | 156.53 | 109.17 |
| 설명력(R²) | 0.00 | 0.26 |
| 추정 대 실제 비율 | 0.97 | 1.00 |
| 상관계수 | 0.02 | 0.51 |
이 연구는 미국 예방의학 학술지 American Journal of Preventive Medicine 2026년 6월호에 실렸습니다. 저자는 백승국·이성현·김형진(인텔리시아), 박성철입니다. 원문 보기
Key takeaways
- Asked to answer a health survey as “a U.S. adult” with no other information, a language model gives scores with almost no relation to real people’s scores (correlation 0.02).
- Tell it the respondent’s age and sex, then income and education, then health status, and the correlation rises to 0.51.
- It still misses people who are very healthy or very ill, and it cannot match any one person’s score.
Draw a police sketch with no witness and you get an average face that resembles no one. Tell a language model only that it is “a U.S. adult” and ask it to answer a health survey, and that is what happens. The model does give an answer, but it is an average answer that belongs to no real person. We added respondent information one piece at a time, like witness statements, and measured how much the model’s answers came to resemble real people.
We chose a health survey for the comparison. Health-related quality of life is a measure that governments and health agencies track regularly, and surveying it nationally takes a lot of money and time. So public health researchers are also interested in whether synthetic answers can take over part of that work. A health survey suits the comparison for two more reasons. The questionnaire is standardized, so the scoring formula is fixed, and tens of thousands of real responses are public, so there is a clear reference to compare against.
The reference was the 2022 responses to the U.S. Medical Expenditure Panel Survey (MEPS). The questionnaire was the SF-12, which is widely used in health research: its 12 items yield a physical health score and a mental health score. We gave a general-purpose language model (LLaMA 4) one respondent’s profile, had it answer the same 12 items, scored the answers with the same formula, and compared the result with the real scores.
We added information in four steps: first nothing at all, then demographics such as age and sex, then income and education on top, and finally health status such as chronic conditions.
For the physical health score the result was clear. Correlation measures how closely two scores move together: 0 means unrelated and 1 means they move in lockstep. With no information, the correlation between the model’s scores and the real scores was 0.02, effectively no relation. At the fourth step, with all the information, the correlation reached 0.51. The error rate (MAPE), which shows how far off the scores are on average in percent, fell from 11.1% to 7.9%. The explained variance (R²) is the share of the person-to-person differences in real scores that the model gets right. It went from 0 to 0.26.
| Respondent information | Error (MAPE) | Correlation with real scores |
|---|---|---|
| None | 11.1% | 0.02 |
| Demographics + socioeconomic + health | 7.9% | 0.51 |
The mental health score, on the other hand, improved only a little as information was added. The model also missed the scores of people who are very healthy or in very poor health, the people at the two ends of the score distribution. And even with all the information, the explained variance was only 0.26, which is not enough to match any one person’s score.
It is easy to guess why an average answer comes out when there is no information. The model picks the most plausible answer. If it does not know who it is answering for, it picks the answer of the most common person, and that answer lands in the middle of the distribution. As information is added, the answers start to move away from the middle, but not far enough to reach people at the ends. This is especially true for mental health. Age, income and chronic conditions explain physical health fairly well, but they explain state of mind much less.
In this experiment, the more specifically the respondent was described, the closer the answers came to real people. That is why Intellicia defines the conditions of the survey group and the traits of its members before each survey. This experiment, however, only gave conditions to a general-purpose model. It did not measure the performance of Intellicia’s engine.
Method
- Reference data: responses to the 2022 Medical Expenditure Panel Survey (MEPS), analyzed in 2025.
- Questionnaire: SF-12. Twelve items yield a physical component score (PCS) and a mental component score (MCS). The synthetic answers were scored with the same formula.
- Model: LLaMA 4, without fine-tuning. The respondent’s characteristics were given in the prompt only.
- Four conditions: no information / demographics / demographics + socioeconomic / demographics + socioeconomic + health status.
- Measures: mean absolute percentage error (MAPE), root mean square error (RMSE), explained variance (R²), the ratio of estimated to observed values, and the correlation coefficient.
| Physical health score | No information | All information |
|---|---|---|
| Error (MAPE) | 11.10 | 7.91 |
| Root mean square error | 156.53 | 109.17 |
| Explained variance (R²) | 0.00 | 0.26 |
| Estimated-to-observed ratio | 0.97 | 1.00 |
| Correlation | 0.02 | 0.51 |
The study was published in the June 2026 issue of the American Journal of Preventive Medicine. The authors are Seungkook Baek, Sunghyun Lee and Hyungjin Kim (Intellicia), and Sungchul Park. Read the paper