"말을 알아듣는 로봇에게도 동작 사전이 필요했다"

논문 정보

제목: A robot operating system framework for using large language models in embodied AI

저자: Christopher E. Mower 외 22명

저널: Nature Machine Intelligence

게재: 2026년 3월 16일

DOI: 10.1038/s42256-026-01186-z

---

한 문장 평가

"로봇이 사람의 말을 여러 단계의 행동으로 바꾸고 일이 꼬이면 계획도 고쳤지만, 미리 준비된 동작과 구체적인 사람의 조언이 없으면 아직 쉽게 길을 잃었다."

---

이 논문은 대체 뭘 확인하고 싶었던 걸까?

사람은 로봇에게 “관절을 30도 돌린 다음 집게를 4cm 벌려”라고 말하고 싶지 않다. 그냥 “커피 만들어줘”라고 말하고 싶다. 연구진은 거대언어모델이 이런 일상적인 부탁을 알아듣고, 로봇이 실행할 수 있는 여러 동작으로 바꿔줄 수 있는지 확인했다. 이를 위해 언어모델과 로봇 운영체제인 ROS를 연결한 ‘ROS-LLM’이라는 틀을 만들었다. 쉽게 말하면 언어모델을 로봇의 손발이 아니라, 해야 할 일을 순서대로 정하는 작업반장 자리에 앉힌 셈이다.

언어모델이 로봇의 팔과 다리를 직접 움직였을까?

언어모델이 모터를 직접 제어한 것은 아니다. 로봇에게는 물체 찾기, 집기, 내려놓기, 특정 장소로 이동하기처럼 미리 만들어진 ‘기본 동작’이 있었다. 언어모델은 이 동작들의 이름과 설명을 읽고 필요한 것을 골라 순서를 정했다. 요리사가 없는 재료를 만들어낼 수 없듯, 로봇도 동작 목록에 없는 행동은 제대로 실행할 수 없다. 그래서 이 연구에서 언어모델이 잘했다는 말은 새로운 움직임을 처음부터 만들어냈다는 뜻보다, 준비된 동작을 상황에 맞게 이어 붙였다는 뜻에 가깝다.

로봇은 사람의 부탁을 어떻게 행동으로 바꿨을까?

사용자가 문장으로 부탁하면 언어모델은 현재 센서 정보, 사용할 수 있는 동작 목록, 이전에 실패했는지를 함께 읽었다. 그다음 한 번에 동작 하나를 고르거나, 전체 순서를 만들거나, 파이썬 코드와 행동 트리를 작성했다. 한 동작씩 고르면 주변 상황이 바뀔 때 대응하기 쉽지만 언어모델을 계속 불러야 한다. 반대로 처음부터 전체 계획을 만들면 빠르게 진행할 수 있지만, 중간에 컵이나 상자가 움직였을 때 계획이 금방 낡아버린다. 미리 여행 일정을 짜는 것과 갈림길마다 지도를 다시 보는 것의 차이와 비슷하다.

처음 보는 동작도 가르칠 수 있었을까?

연구진은 사람이 로봇 팔을 직접 잡고 움직여 젓기, 붓기, 프라이팬 흔들기, 식탁 닦기 같은 동작을 보여줬다. 로봇은 이 움직임을 ‘동적 움직임 프리미티브’라는 방식으로 기록했다. 복잡한 궤적을 처음부터 다시 계산하기보다, 사람이 보여준 움직임의 모양을 재사용하는 방법이다. 이렇게 배운 동작에 이름과 설명을 붙여 목록에 추가하자, 언어모델은 “파스타를 만들어줘”라는 부탁에 맞춰 필요한 동작을 골랐다. 다만 다양한 주방과 재료에서 반복 시험한 결과는 아니어서, 한 번 배운 동작을 어디서나 능숙하게 쓴다고 보기는 어렵다.

어떤 로봇들이 무슨 일을 했을까?

UR5 로봇 팔은 커피를 만드는 데 필요한 12개의 동작을 차례로 실행했다. ViperX 300 로봇 팔은 피펫과 시험지를 사용해 산성도를 확인하는 화학 실험을 따라 했다. 두 대의 KUKA 로봇은 에어하키를 했고, 네 발로 걷는 ANYmal과 로봇 팔을 합친 ALMA는 주방으로 이동해 건강한 간식을 가져왔다. 사과와 피자가 놓여 있었는데 언어모델은 사과를 골랐다. 적어도 건강한 간식이 무엇인지는 사람과 의견이 비슷했던 모양이다.

진짜 생활환경에서도 시험한 걸까?

시뮬레이션에만 머물지는 않았다. 여러 종류의 실제 로봇이 물건을 집고 이동했다. 그렇다고 평범한 가정이나 실제 화학 연구실에 그대로 풀어놓은 실험은 아니다. 주방과 실험대는 연구용으로 꾸민 공간이었고, 카메라가 물체 위치를 쉽게 찾을 수 있도록 에이프릴태그라는 표식을 붙인 경우가 많았다. 따라서 실제 로봇에서 작동했다는 점은 의미가 있지만, 어수선한 집이나 사람이 오가는 작업장에서도 똑같이 움직인다는 뜻은 아니다.

숫자로 보면 얼마나 잘했을까?

화학 실험에서는 네 가지 과제를 놓고 여러 언어모델을 비교했다. 풀이 예시를 주지 않았을 때 DeepSeek-7B, Qwen-7B, Llama-8B는 네 과제를 모두 실패했다. 예시를 보여주자 각각 2개, 3개, 1개 과제에 성공했다. 훨씬 큰 Llama-70B는 예시가 있든 없든 4개 중 3개에 성공했다. 논문의 그림 설명에는 각 조건을 두 번 시험했다고 적혀 있지만, 결과 표는 과제별 성공 여부만 0과 1로 정리했다. 그래서 이 숫자를 대규모 성공률처럼 받아들이기는 어렵다. 그래도 작은 모델에 예시 하나가 제법 도움이 됐고, 큰 모델도 완벽하지 않았다는 흐름은 분명했다. 전체 실험 결과

움직임 자체도 더 좋아졌을까?

에어하키 실험에서는 언어모델이 조절할 만한 숫자를 찾아주고, 별도의 최적화 프로그램이 시뮬레이션에서 200번 시험하며 값을 다듬었다. 그 결과 시뮬레이션에서 공을 제대로 치는 비율은 34.0%에서 46.6%로 올랐다. 실제 로봇에서는 사람이 손으로 값을 맞췄을 때 30.0%였던 성공률이 52.0%까지 올라갔다. 여기서도 언어모델이 직접 연습한 것은 아니다. 언어모델은 “이 숫자들을 조절해보자”고 범위를 좁혔고, 반복 실험은 최적화 프로그램이 맡았다.

멀리 떨어진 사람도 로봇을 도울 수 있었을까?

유럽에 있는 사람이 채팅으로 지시하고, 아시아에 있는 로봇이 이를 실행하는 시험도 진행했다. 참가자 7명 모두 장애물을 다루고 물체를 옮기는 두 과제를 마쳤다. 평균 완료 시간은 첫 번째 과제가 6분 9초, 두 번째 과제가 9분이었고 통신에는 약 2~3초의 지연이 있었다. 성공했다는 점은 흥미롭지만, 참가자가 7명뿐이고 정해진 과제를 수행한 실험이다. 재난 현장처럼 통신이 끊기거나 주변이 계속 바뀌는 상황까지 검증한 것은 아니다.

일이 꼬이면 로봇이 알아서 고쳤을까?

로봇이 상자를 집으려는 순간 연구진이 상자를 옮긴 실험이 있었다. 첫 시도는 실패했다. 사람이 “위치를 다시 확인하고 집어”라고 알려주자 로봇은 상자를 다시 찾고 작업을 마쳤다. 두 번째 시험에서는 앞서 받은 조언을 프롬프트에 넣어주자, 새 조언 없이도 같은 문제를 해결했다. 이것은 로봇이 스스로 평생 기억을 만든 것과는 다르다. 연구진이 이전 조언을 다시 읽을 수 있게 넣어준 것이다. 그래도 실패한 계획을 무작정 반복하지 않고, 센서를 다시 확인하는 행동으로 바꿀 수 있다는 점은 보여줬다.

사람이 조언하면 언제나 문제가 풀렸을까?

“순서가 틀렸어”처럼 두루뭉술하게 말하면 큰 도움이 되지 않았다. “파란 큐브를 먼저 집고 그다음 빨간 큐브 위에 놓아”처럼 무엇을 어떻게 바꿔야 하는지 말해야 했다. 사람의 조언을 받을 수 있다는 것과 사람의 의도를 정확히 알아듣는 것은 다른 문제인 셈이다. 언어모델은 “다른 큐브”와 “그 나머지 큐브”처럼 비슷해 보이는 표현에도 서로 다른 계획을 만들었다. 말을 편하게 시킬 수는 있었지만, 말 한마디를 꽤 신중하게 골라야 했다.

언어모델이 없는 동작을 만들어내기도 했을까?

그런 문제도 있었다. 동작 목록에는 ‘한 숟갈 뜨기’만 있는데 세 숟갈을 요구하면, 같은 동작을 세 번 실행하지 않고 존재하지 않는 ‘세 숟갈 뜨기’라는 동작을 만들어내기도 했다. 연구진은 이를 ‘행동 환각’이라고 설명했다. 예시를 보여주면 줄어들었지만 완전히 사라지지는 않았다. 사람과 자연스럽게 대화하는 능력이 곧 로봇을 안전하게 움직이는 능력은 아니라는 뜻이다.

이 연구에서 가장 조심해서 봐야 할 부분은 뭘까?

커피 만들기와 간식 배달처럼 인상적인 장면이 많지만, 여러 실험은 성공 사례를 보여주는 데 초점이 맞춰져 있었다. 몇 번 시도해서 몇 번 성공했는지 정확한 분모가 없는 과제도 있다. 로봇이 사용할 기본 동작은 전문가가 미리 만들어야 했고, 물체를 찾기 위해 표식을 붙인 환경도 사용했다. 언어모델은 로봇 안에서 실행된 것이 아니라 데이터센터에서 불러오는 형태였기 때문에 네트워크가 끊겼을 때의 성능과 전력 소비도 확인되지 않았다.

그렇다면 현재 기술은 어디까지 온 걸까?

지금의 언어모델은 준비가 잘된 로봇에게 복잡한 일을 시키는 ‘상위 관리자’ 역할을 할 수 있다. 사람의 부탁을 여러 단계로 나누고, 실패했다는 신호를 받으면 다른 동작을 골라볼 수도 있다. 하지만 로봇이 무엇을 보고 어떻게 움직일지는 여전히 센서 시스템과 기본 동작 목록에 크게 의존한다. 무엇이든 알아서 배우는 만능 로봇이라기보다, 잘 정리된 도구 상자에서 필요한 도구를 꽤 영리하게 꺼내는 단계에 가까워 보인다.

---

앞으로 필요한 연구

실행 전에 없는 동작과 위험한 순서를 자동으로 걸러내는 기술

지시가 애매할 때 추측하지 않고 사람에게 다시 묻는 방법

이전 실패와 조언을 새로운 상황에도 맞게 기억하는 기술

표식을 붙이지 않은 복잡한 공간에서 물체를 정확히 찾는 연구

통신 장애와 돌발 상황을 포함한 대규모 장기 안전성 시험

읽으면서 든 생각이나 질문

이 논문을 보고 있으면 로봇의 똑똑함이 어디에 들어 있는지 헷갈리기 시작한다. 말을 이해하는 언어모델도 중요하지만, 사용할 동작을 만든 사람과 센서를 연결한 기술자도 빠질 수 없다. 로봇이 멋지게 커피를 완성한 순간은 한 모델의 능력이라기보다, 여러 사람이 미리 준비한 지식이 한곳에서 이어진 결과에 더 가까운 것 같다.

로봇이 인간이 골라서 이름 붙인 동작 안에서만 판단한다면, 그 로봇의 지능은 언어모델에 있는 걸까, 동작을 만든 사람에게 있는 걸까?

원문: https://blog.naver.com/kjw6240_/224427657399