AI 시대의 데이터 리터러시: 좋은 답은 좋은 질문에서 시작된다

🤖 이 글에서 다루는 내용

• 데이터 팀에게 묻든, AI에게 묻든 똑같은 질의응답 루프
• AI도 불명확한 질문에는 추측으로 답한다
• 왜 Anthropic, OpenAI, Google 모두 "명확한 질문"을 강조하는가
• AX(AI Transformation) 시대에도 변하지 않는 협업의 본질

---

 

1. 이 글을 쓰게 된 이유

 

지난 글에서 데이터 팀과의 협업에서 명확한 질문이 얼마나 중요한지 이야기했다. 그런데 최근 ChatGPT를 사용하면서 흥미로운 패턴을 발견했다.

 "어.. 이거 내가 요청 받던 형태랑 비슷하네?" 

 

예를 들어 이런 상황이다. 물론 내가 실제로 이렇게 질문하지는 않는다.

나: "지난주 거래액 분석해줘"

GPT: "몇 가지 확인이 필요합니다:
      - 지난주는 1월 13-19일이 맞나요?
      - 거래액 유형을 알려주세요"

나: "응 맞아. Net GMV로"

GPT: [분석 결과 생성]
     "1월 13-19일 Net GMV는 98억원입니다.
      전주 대비 12% 증가했습니다."

나: "음... 그리고 지역별로 봐야 하는데"

GPT: "어떤 지역 단위로 집계할까요? 
      광역시/도 단위인가요, 시/군/구 단위인가요?"

나: "광역시/도로 해줘"

GPT: [또 다시 재생성]
     "지역별 Net GMV입니다..."

나: "잠깐, 이거 OD 가게만 봐야 하는데..."
     (OD = 요기배달, 우리 회사 내부 용어)

GPT: "OD가 무엇인지 설명해주시겠어요?"

나: "요기배달, 자체 배달 서비스야. delivery_type = 'OD'로 필터링해줘"

GPT: [5번째 생성]

 

5분간 3번의 추가 질문. 이거 어디서 많이 본 패턴 아닌가? 데이터 팀에게 요청하는 것과 AI에게 프롬프팅하는 것은 본질적으로 같은 문제를 공유한다. 원하는 답을 얻으려면 먼저 원하는 것이 무엇인지 명확히 설명해야 한다.

---

2. 데이터 요청과 AI 프롬프팅 — 같은 구조, 다른 속도

지난 글에서 다룬 데이터 요청 흐름을 간단히 되짚으면, 단순한 요청 하나에 질의응답만 25~30분이 붙는다. 실제 쿼리 작성은 10분인데 말이다. AI는 그 응답 속도를 30분에서 30초로 줄여줬다. 그런데 왕복 횟수는 줄지 않았다.

두 경우를 나란히 놓으면 차이가 선명하게 보인다.

	데이터 팀 요청	AI 프롬프팅
응답 속도	10~30분	30초
왕복 횟수	3~4회	3~4회
불명확한 질문 시	되물어봄	되묻거나 추측으로 답함
조직 맥락 이해	가능 (암묵지 공유)	불가 (설명 필요)

 

응답 속도는 빨라졌지만, 질의응답 구조는 똑같다. 흥미로운 점은, 두 경우 모두 실제 작업 시간(쿼리 작성/분석)은 10분 이내였다는 것이다. 나머지 시간은 모두 "무엇을 원하는지" 파악하는 데 쓰였다.

 

 

 

---

3. AI가 모르는 것들

AI의 한계는 기술적 성능보다 맥락의 부재에서 온다. 우리 조직에서 Net GMV가 어떻게 정의되어 있는지 , OD가 요기배달을 뜻한다는 것 , delivery_type 컬럼이 어느 테이블에 있는지 — 이런 것들은 AI가 알 수 없다. 조직 고유의 언어이기 때문이다. 이 간극을 좁히기 위해 조직 차원에서 할 수 있는 일들이 있다

 

• 사내 용어집과 지표 정의서 정비
• 데이터 카탈로그와 테이블 메타데이터 관리
• 자주 쓰는 필터 조건과 분석 패턴 문서화
• RAG 기반 사내 문서 검색 연결
• 커스텀 지침(System Prompt) 또는 파인튜닝 검토

 

그러나 조직 맥락을 아무리 잘 정리해도, 개별 요청의 목적과 조건은 여전히 사용자가 명확히 전달해야 한다. 그래서 AI 시대일수록 질문의 중요성은 줄어들지 않는다. 오히려 더 커진다.

 

---

 

4. 생성형 AI 서비스의 가이드

AI 회사들의 공식 프롬프트 엔지니어링 가이드를 찾아봤다( 이 또한 생성형 AI를 활용하여..) . 놀랍게도 Anthropic, OpenAI, Google 모두 같은 이야기를 하고 있다. 

4.1. Anthropic (Claude) - "명확하고 직접적으로"

"Be clear and direct. Claude responds best to clear, direct instructions."

출처: Claude API Docs

Prompting best practices

 

4.2. OpenAI (GPT) - "가능한 한 자세히 설명"

 

" Be specific, descriptive and as detailed as possible about the desired context, outcome, length, format, style, etc"

 

출처: OpenAI Help Center - Best Practices 

Best practices for prompt engineering with the OpenAI API | OpenAI Help Center

 

4.3. Google (Gemini) - "정확하고 직접적으로"

"Be precise and direct: State your goal clearly and concisely."

 

출처: Gemini API Docs

프롬프트 설계 전략  |  Gemini API  |  Google AI for Developers

4.4. 공통 패턴: 5가지 요소의 재발견

세 회사 모두가 강조하는 것:

✅ 명확한 지시 (Clear Instructions)
✅ 구체적 맥락 (Context)
✅ 예시 제공 (Examples)
✅ 출력 형식 지정 (Format)
✅ 제약 조건 명시 (Constraints)

 

지난 글에서 다룬 "명확한 질문의 5가지 요소"와 비교해보면 구조가 유사하다.

 

AI 프롬프팅 원칙	데이터 요청 5요소
명확한 지시 + 맥락	대상 (WHO/WHAT)
제약 조건	조건 (FILTER)
구체적 맥락	기간 (WHEN)
출력 형식 지정	출력 형태 (HOW)
지시 + 맥락	측정 지표 (WHAT TO MEASURE)

 

AI에게 좋은 질문을 하는 방법과, 데이터 팀에게 명확하게 요청하는 방법은 사실 같은 것이었다. 도구가 달라졌을 뿐, 협업의 문법은 바뀌지 않았다.

 

---

 

5. AX 시대에도 변하지 않는 것

요즘 많은 조직이 AI 도구를 도입하고 있다. 내부 업무에 AI를 붙이고, 데이터 파이프라인을 자동화하고, 분석 환경을 AI 친화적으로 바꾸는 것 — 이것이 AX(AI Transformation)가 지향하는 방향이다.

 

그런데 이 과정에서 자주 놓치는 게 있다.

 

인프라를 갖춰도, 질문을 잘 못하면 결과가 달라지지 않는다.

최신 AI 도입
↓
불명확한 질문 반복
↓
기대했던 답이 나오지 않음
↓
AI에 대한 불신(혹은 불호)가 강해짐 
↓
결국 안 쓰게 됨

 

반대로, 구성원들이 명확한 질문을 할 줄 안다면 비싼 인프라 없이도 AI에서 충분한 가치를 뽑아낼 수 있다. AX의 성공은 인프라와 개인 역량 두 축이 함께 받쳐줄 때 가능하다.

 

앞서 언급한 조직 차원의 인프라 준비와 더불어, 개인이 갖춰야 할 역량은 결국 이것이다.

 

1. 명확한 질문 만드는 법
2. 필요한 맥락을 구조화하는 능력
3. 결과물을 검증하는 능력
4. AI 답변을 업무 의사결정에 연결하는 능력

 

인프라는 AI가 더 잘 이해할 수 있는 환경을 만들어준다. 하지만 그 환경 위에서 무엇을 물어야 하는지는, 결국 사람이 결정해야 한다.

---

6. 데이터 리터러시 = 질문 리터러시

"데이터 리터러시"라고 하면 SQL, 통계, 대시보드 같은 기술을 떠올리기 쉽다. 하지만 실무에서 가장 자주 막히는 지점은 기술이 아니라 "내가 정확히 무엇을 알고 싶은가"를 표현하는 것이다.

 

SQL은 도구다. AI도 도구다. 좋은 질문 없이는 어떤 도구도 원하는 답을 내놓지 않는다. 그리고 도구가 아무리 발전해도, 질문의 중요성은 줄어들지 않는다. AI가 되묻는다 해도, 왕복 횟수 자체가 비용이다. 처음부터 명확하게 묻는 것이 더 중요해지는 이유다.

AI에게 "잘 쓴다"는 것은 결국 이 세 가지다.

• 무엇을 물어야 하는지 안다 (What to ask)
• 어떻게 구조화해서 물어야 하는지 안다 (How to ask)
• 답변이 맞는 방향인지 판단할 수 있다 (How to verify)

이 세 가지는 AI가 아무리 똑똑해져도 대신해줄 수 없는 영역이다. 많은 사람들이 AI를 쓰지만, 모두가 AI를 잘 쓰는 건 아니다. 이 차이가 재작업 횟수를 줄이고, 결과의 품질을 높인다.

 

---

7. 마치며 — 그래서 오늘부터 할 수 있는 것

AI에게 프롬프팅할 때, 지난 글에서 정리한 5가지 요소를 그대로 적용해보자.

[AI 프롬프트 체크리스트]

기간:  "2025년 1월 1일 ~ 1월 15일"
대상:  "OD 가게 (delivery_type = 'OD')"
조건:  "완료된 주문만, 테스트 계정 제외"
지표:  "Net GMV"
출력:  "광역시/도별 집계, 내림차순 정렬"

 

 

데이터 팀에 보내는 슬랙 메시지와 AI에게 던지는 프롬프트, 형식이 다를 뿐 담겨야 할 내용은 같다. 도구가 달라져도 협업의 본질은 바뀌지 않는다. 

 

데이터 분석가로 일하면서 체화한 "명확한 질문의 기술"이 AI 시대에도 그대로 통한다는 게 신기하면서도 당연하다.

결국 우리가 배워야 할 것은 "더 똑똑한 도구를 쓰는 법"이 아니라 더 똑똑하게 도구를 쓰는 법이다. 그리고 그 시작은, 언제나 좋은 질문이다.

 

 

---

참고 자료

 

• 명확한 질문이 빠르게 데이터를 만든다 - 기획자와 PO를 위한 데이터 협업 가이드
• Anthropic - Be Clear and Direct
• OpenAI - Prompt Engineering Guide
• Google - Gemini Prompt Design Strategies