Employing large language models in survey research

2023년 9월

Natural Language Processing Journal

대학생

1. Introduction

f_1

2023년 3월 31일에 설문조사 참여자 모집회사 클라우드리서치에서 위와 같은 메일이 왔다고함

Cloud Research가 행동 연구에서 사용할 수 있는 수십억개의 인간 셩격을 설계했기 때문에 더 이상 사람이 필요하지 않다고 함

그리고 chatGPT등 시간의 변화양상.. 이야기

그리고 위와 같은 내용인 LLM이나 ChatGPT를 쓰는 경우의 결점, 윤리적 고려사항등을 이야기하는 논문

이 온문 주제는 “can generative AI improve survey research?” (생성 AI가 설문조사를 향상시킬 수 있는지)

2. Survey research: Process and challenges

설문조사 연구는 독립된 개개인에게 표준이되는 설문지를 이용해 설문한다.(called surveys or survey instruments).

survey의 목표는 타겟의 인구 분포에서 태도, 의견, 신념, 행동등의 정보를 얻는것이다.

온라인 설문조사는 쉽고 저렴하기 때문에 널리 사용되고 있다.

3. Survey research and LLMs

설문조사는 일반적인 단어를 주로 사용하기 때문에 LLM을 통한 접근이 더욱 쉬움

  • AI 모델을 통해 질문을 유도할 수 있음(인터뷰 수행)

  • 데이터 정리와 처리는 일관성을 보장하기 위해 하는것인데 LLM모델은 응답을 분석하고 처라 오류, 횡설수설하는 말들을 식별하고 균일한 데이터셋으로 만들 수 있음

  • ChatGPT를 통해 설문조사한 데이터를 자동으로 분석할 수 있음

  • 설문조사 결과를 요약 시각화 ppt등 가능함

    ​

4. Motivation for using LLMs in survey research

y Törnberg (2023) 에서 트위터 내용 분류업무를 ChatGPT에 맡기고 정확성 신뢰성 및 편향성을 분석함

클라우드 소싱 근로자의 분류 결과와 ChatGPT 불류 결과를 비교함 그 결과는 ChatGPT가 동등하거나 더 낮은 평향을 가지고 있음

-> 그냥 분류는 이제 당연한거 아닌가 싶다..

Cegin et al. (2023) 는 ChatGPT는 점재적인 사람의 인력을 대체할 수 있다고 함

… 나머지 생략

5. Considerations of employing LLMs

LLM은 많은 장점이 있으나 주의해야 할점이 있음

  1. compelling fake text

    잘못된 데이터나 데이터를 찾아서 답변하기 때문에 중 할루시네이션이 발생 가능

  2. 1번과 별다르지 않은 내용 할루시네이션 ..

6. Advantages of employing LLMs for survey responses

.. 생략

7. Potential issues of employing LLMs in survey responses

Weider et al 은 부정적인 의견 ->

설문 응답을 생성하기 위해. LLM은 방대한 양의 텍스트 데이터에 대해 훈련을 받기 때문에 언어 모델에 편향이 있을 수 있으며, 이는 훈련 데이터에 존재하는 편향을 증폭시킬 수 있습니다. 이는 편향된 언어 생성, 사회적 고정관념, 불공정한 차별 및 배제 규범을 초래할 수 있으며 설문 조사 연구 결과를 왜곡할 수 있습니다

8.Future of LLMs in survey research

나머지 생략 ..