LLM, 어떻게 대화해야 할까?

어제 아버지께서 물어보셨다. 요즘 ChatGPT 같은 LLM이 화제고 똑똑하다는 건 알겠는데, 정작 그걸 어떻게 써야 할지, 특히 어떻게 ‘대화’해야 할지 감이 잘 안 온다는 이야기였다. 최근 아버지는 PLC(Programmable Logic Controller)라는 것에 관심을 두고 계신다. 공장의 기계 제어 로직을 짜는 도구라는데, 코드를 직접 친다기보다는 GUI 환경에서 로직 회로를 연결하는 방식인 모양이다.

아버지의 질문은 이거였다.

내가 이 PLC 로직 화면을 보고 있는데, 이 부분이 이해가 잘 안 가. 이걸 ChatGPT 같은 LLM한테 물어보려면 어떻게 해야 하니?

PLC 편집 화면 예시

좋은 질문이다. ChatGPT 같은 LLM과 채팅하듯 대화하는 인터페이스 때문에 우리는 종종 LLM이 마치 사람처럼, 혹은 마법처럼 우리의 질문을 찰떡같이 이해하고 답을 내놓을 거라 기대한다. 하지만 LLM의 작동 방식을 조금만 들여다보면, 효과적인 소통을 위한 실마리를 얻을 수 있다.

LLM은 단어(토큰)를 먹고 자란다

LLM은 기본적으로 텍스트 데이터를 기반으로 훈련된 모델이다. 좀 더 정확히는 ‘토큰’이라는 단위로 쪼개진 데이터를 입력받아, 다음에 올 가장 확률 높은 토큰을 예측하고 내뱉는 방식으로 작동한다. 우리가 ChatGPT 등에서 보는 자연스러운 문장은 이 과정이 연쇄적으로 일어나면서 만들어지는 결과물이다.

“그럼 사진은 어떻게 이해하는데?” 라고 물을 수 있다. 맞는 말이다. 요즘 LLM은 이미지도 곧잘 이해한다 (멀티모달 LLM). 특히 최신 버전의 ChatGPT 같은 모델들은 이런 능력을 갖추고 있다. 이들은 이미지를 작은 격자(patch)로 나누고, 각 격자의 정보를 압축하여 텍스트의 ‘토큰’과 유사한 형태로 변환한다. 즉, LLM에게 이미지는 특수한 ‘단어’들의 나열과 비슷하게 인식된다.

이미지를 격자로 나누어 토큰화하는 과정 시각화

어떤 형태로 질문해야 할까?

여기서 핵심은 이것이다. LLM, 예를 들어 ChatGPT가 가장 잘 이해할 수 있는 형태로 정보를 제공하는 것. 우리가 같은 내용을 전달하더라도 어떤 ‘형태’로 질문하느냐에 따라 LLM의 이해도와 답변의 질이 달라질 수 있다는 점이다.

예를 들어, 복잡한 수학 공식을 LLM에게 설명해달라고 요청한다고 생각해보자. 이 공식을 LLM에게 전달하는 방법은 여러 가지가 있을 수 있다.

공식을 계산하는 파이썬 코드 조각
```
integrate.quad(lambda x: x**2, 0, 1)
```
공식이 적힌 이미지

$\int_0^1 x^2 \, dx$
LaTeX 문법으로 작성된 수식 텍스트
```
\int_0^1 x^2 \, dx
```

이 중 어떤 방식이 ChatGPT 같은 LLM에게 가장 효과적일까? 정답은 ‘LLM이 학습 과정에서 가장 많이 접했을 법한 형태’이다. 일반적으로 LLM은 인터넷의 방대한 텍스트 데이터를 학습한다. 따라서 웹에서 흔히 발견되는 형태, 즉 잘 구조화된 텍스트(코드, LaTeX 등)를 이미지 자체보다 더 정확하게 이해할 가능성이 높다. 이미지는 시각적 정보를 압축하는 과정에서 미묘한 손실이 발생할 수 있고, LLM 종류에 따라 이미지 인식 성능의 편차도 존재한다.

다시, 아버지의 PLC 질문으로

이제 아버지의 PLC 로직 질문으로 돌아가 보자. GUI 화면 이미지를 캡처해서 ChatGPT에 질문할 수도 있겠지만, 더 좋은 방법이 있을까?

내 생각은 이렇다. PLC 로직을 설계하는 GUI 도구 어딘가에는, 현재 작성된 로직을 텍스트 기반의 표준 형식(예: Structured Text, XML 등)으로 내보내거나(export) 보여주는 기능이 있을 가능성이 높다. 만약 그런 기능이 있다면, 그 텍스트 형식이야말로 ChatGPT 같은 LLM이 가장 ‘선호하는’ 입력 형태일 것이다. 왜냐하면 그 형식은 기계가 이해하기 쉽도록 명확하게 구조화된 언어이며, 관련 문서나 예제가 웹상에 존재하여 LLM이 학습했을 가능성이 있기 때문이다.

GUI 화면 이미지와 함께, 가능하다면 이 텍스트 형식의 로직 설명을 함께 제공하며 질문한다면, ChatGPT는 훨씬 더 정확하게 상황을 파악하고 유용한 답변을 생성할 수 있을 것이다.

결국 ChatGPT를 포함한 LLM과의 효과적인 대화는, LLM의 특성을 이해하고 그들이 가장 잘 이해할 수 있는 ‘언어’와 ‘형식’으로 질문하려는 노력에서 시작된다. 단순히 질문을 던지는 것을 넘어, 어떻게 ‘표현’할 것인가를 고민하는 것. 어쩌면 이것이 새로운 지능과 소통하는 우리 세대의 방식일지도 모르겠다.