noteandwhy 님의 블로그

"로봇이 동료의 고장을 알아보려면"

noteandwhy — Thu, 22 Oct 2026 17:07:41 +0900

논문 정보

제목: Toward Cooperative Team-diagnosis in Multi-robot Systems

저자: Michael D.M. Kutzer, Mehran Armand, David H. Scheid, Ellie Lin, Gregory S. Chirikjian

저널: The International Journal of Robotics Research, 27권 9호, 1069-1090쪽

게재: 2008년 9월

DOI: 10.1177/0278364908095700

원문: 논문 원문 PDF | 출판사 논문 정보

한 문장 평가

로봇이 정해진 동작을 하는 모습을 보고 고장 종류를 어느 정도 가려냈지만, 다른 로봇이 직접 관찰하며 함께 진단하거나 부품을 고친 실험은 아니었다.

지난번 부품 교체와 이번 연구는 어떻게 이어질까?

지난 글의 수리 로봇은 목표 부품을 찾아 떼고 끼웠다. 그런데 어느 부품이 고장 났는지는 이미 알고 시작했다. 이번 논문은 그 앞에 놓인 질문을 다룬다. 로봇이 이상하게 움직일 때, 다른 로봇은 무엇을 보고 원인을 짐작할 수 있을까? 저자들은 이를 '팀 진단'으로 이어갈 첫 단계로 연구했다. 다만 여기서 보여준 것은 고장 추정까지다. 부품 교체는 논문의 후반부에서 앞으로의 절차로 제안했을 뿐 시험하지 않았다.

연구진은 대체 뭘 확인하려 했을까?

바퀴가 움직이지 않으면 모터가 멈춘 걸까, 바퀴가 빠진 걸까? 겉에서 보기만 해서는 헷갈릴 수 있다. 연구진은 로봇에게 일부러 왼쪽과 오른쪽으로 도는 동작을 시키고, 실제로 어느 방향으로 얼마나 움직였는지 비교했다. 사람도 자동차가 이상하면 앞으로만 달려 보지 않고 핸들을 양쪽으로 돌려 보듯, 고장마다 다른 반응이 드러나는 시험 동작을 찾으려 한 것이다.

어떤 로봇을 가지고 시험했을까?

연구진은 바퀴 두 개로 움직이는 같은 형태의 로봇 네 대를 만들었다. 한 대는 바퀴 부품 두 개, 중앙 제어 부품, 집게 부품을 합친 네 개의 모듈로 이루어졌다. 모듈은 자석식 연결 장치로 분리할 수 있게 설계됐다. 그러나 논문에서 진단 실험에 쓴 것은 두 대였고, 한 대를 진단 대상으로 삼았다. 나머지 팀원이 모여 고장 난 동료를 둘러보고 토론한 실험은 아니었다.

관찰하는 로봇이 직접 카메라로 봤을까?

아니다. 이 대목은 제목만 보고 놓치기 쉽다. 연구진은 다른 로봇이 볼 수 있는 정보를 대신 얻으려고 실험장 위에 카메라를 달았다. 진단 계산도 외부 컴퓨터에서 했다. 대상 로봇 역시 컴퓨터와 선으로 연결돼 있었다. 따라서 실물 로봇의 움직임을 관찰한 실험은 맞지만, 로봇 한 대가 자기 카메라와 컴퓨터만으로 다른 로봇을 현장에서 진단했다고 말할 수는 없다.

고장을 알아보는 동작은 어떻게 정했을까?

대상 로봇은 먼저 반시계 방향, 그다음 시계 방향으로 돌았다. 천장 카메라는 그동안 로봇의 위치와 몸이 향한 방향을 기록했다. 연구진은 오른쪽과 왼쪽 바퀴에 같은 명령을 줬는데도 궤적이 달라지는지를 살폈다. 두 번의 회전이 마치 간단한 건강검진이다. 다만 이 시험 동작은 실제 로봇에서 어떤 고장이 서로 비슷해 보일지를 충분히 확인해 최적화한 결과가 아니라, 단순한 시험 장치를 바탕으로 직관적으로 정한 것이다.

컴퓨터는 움직임만 보고 어떻게 판단했을까?

연구진은 정상인 경우와 여러 부품이 고장 난 경우를 미리 목록으로 만들었다. 관찰할 수 있는 상태를 정리해 43가지로 묶었다. 컴퓨터는 각 상태에서 로봇이 어떤 궤적을 그리는지 배운 뒤, 새 궤적이 어느 상태와 가장 닮았는지 확률로 골랐다. 모르는 사람의 필체를 맞히려고 여러 사람의 글씨를 미리 익혀 두는 것과 비슷하다. 그래서 목록에 없는 새로운 고장은 따로 알아채는 문제가 남는다.

실험 결과는 얼마나 좋았을까?

실물 로봇에서 상태마다 각 회전 궤적을 30번 관찰했다. 절반인 15개는 학습용, 나머지 15개는 평가용으로 나눴다. 상태당 학습 관찰을 10개 쓴 경우, 평가 자료에서 맞게 판정한 횟수와 틀리게 판정한 횟수의 비가 약 5.3 대 1이었다. 한 번에 관찰 다섯 개를 묶어 판단하자 약 9.2 대 1까지 올랐다. 그러나 학습 관찰을 15개로 늘리면 약 4.2 대 1로 낮아졌고, 한 번에 관찰 열 개를 묶어도 약 8.8 대 1이었다. 숫자를 더 넣으면 무조건 좋아지는 문제는 아니었던 셈이다. 이 비율은 성공 확률이 아니며, 판정을 유보한 경우도 따로 있다.

컴퓨터로 만든 훈련 자료만 써도 됐을까?

연구진은 로봇의 움직임을 계산한 모형으로 만든 자료도 학습에 써 봤다. 모형에서 만든 자료로 다시 그 모형의 상태를 맞힐 때는 43가지 중 43가지를 맞혔다. 하지만 실물 로봇의 관찰 자료로 시험하니 맞은 판정 대 틀린 판정의 비가 약 1.2~1.3 대 1에 머물렀다. '모형 안에서 43개 전부 정답'을 실제 로봇에서도 완벽하게 진단했다는 뜻으로 옮기면 곤란하다. 연습장에서 맞힌 답과 실제 시험장 답이 달랐던 것이다.

서로 다른 고장이 왜 똑같아 보였을까?

논문에는 왼쪽 바퀴가 한 방향으로 고정된 상태에서 오른쪽 바퀴가 빠진 경우와, 오른쪽 바퀴도 고정된 경우가 나온다. 바퀴의 상태는 다르지만 천장 카메라에는 두 움직임이 비슷하게 보였다. 연구진은 전원과 통신용 선이 로봇을 끌거나 비트는 힘, 느린 카메라 관찰 속도가 영향을 줬을 것으로 봤다. 계산 모형에는 그 선의 힘을 넣지 않았다. 모형에서는 잘 갈라지던 두 고장이 실물에서는 겹쳐 보인 이유다.

그렇다면 여러 로봇이 함께 보면 해결됐을까?

그 가능성은 제안했지만 직접 검증하지 않았다. 논문은 한 카메라가 여러 번 본 결과를 여러 로봇이 서로 다른 각도에서 본 결과에 비유한다. 하지만 두 경우가 정말 같은 정보를 주는지는 별도 실험이 필요하다. 다른 로봇의 카메라가 가려질 수도 있고, 관찰하는 로봇 자신이 고장 났을 수도 있다. 팀 진단이라는 이름과 여러 로봇이 실제로 독립 관찰을 모아 판단했다는 결과를 구분해야 한다.

이 논문의 한계는 어디에 있을까?

고장은 연구진이 미리 정한 43가지 상태 안에서 넣었다. 모형이 예상하지 못한 고장, 환경이 바뀌었을 때의 움직임, 관찰자 자신의 고장은 해결하지 못했다. 짧은 회전 시험만으로는 서로 다른 고장이 같은 궤적을 만들기도 했다. 더 길게 움직여 보면 구별될 수 있지만 그만큼 진단 시간과 에너지가 든다. 무엇보다 다른 로봇의 탑재 카메라로 진단해 부품 교체까지 이어가는 완전한 팀 수리는 이 논문의 실험 범위 밖이다.

그렇다면 현재 기술을 어떻게 읽어야 할까?

2008년 연구라는 점을 먼저 기억해야 한다. 오늘날 진단 로봇 전체의 최고 성능을 보여주는 최신 비교 시험은 아니다. 다만 한 로봇에게 일부러 동작을 시키고 밖에서 관찰해 고장 후보를 좁히는 방식이 왜 필요한지 잘 드러낸다. 지난 글이 '어느 부품을 갈지 알 때'의 수리였다면, 이번 글은 그 부품을 알아내는 일이 생각보다 까다롭다는 설명에 가깝다. 로봇이 로봇을 제대로 고치려면 두 연구의 능력이 한 과정으로 이어져야 한다.

앞으로 필요한 연구

로봇에 달린 카메라로 다른 로봇을 직접 진단하기

목록에 없는 고장을 만나면 모른다고 알리는 방법 만들기

비슷하게 보이는 고장을 가르는 짧고 안전한 시험 동작 찾기

고장 난 관찰자의 판단을 걸러 내며 여러 로봇의 정보를 합치기

진단 결과를 부품 교체와 수리 뒤 기능 확인까지 연결하기

읽으면서 든 생각이나 질문

지난 글의 수리 로봇은 어느 부품을 갈아야 할지 답안지를 받고 출발했다. 이번 논문은 그 답안지를 쓰는 일부터 쉽지 않다고 보여준다. 오른쪽 바퀴가 빠졌는지 멈췄는지, 멀리서 본 움직임만으로는 같은 고장처럼 보일 수 있다. 그때 로봇이 자신 있게 틀린 부품을 떼면 수리는 오히려 새 고장을 만드는 일이 된다. '고칠 수 있는 손'만큼 '확신할 수 없는 눈'도 중요하겠다는 생각이 들었다.

로봇이 동료의 고장을 확신하지 못할 때, 수리를 미루는 판단은 실패일까, 아니면 가장 책임 있는 수리의 첫 단계일까?

원문: https://blog.naver.com/kjw6240_/224450328334

"로봇이 다른 로봇의부품을 갈아 끼우려면"

noteandwhy — Tue, 13 Oct 2026 03:10:14 +0900

논문 정보

제목: A Robot Capable of Autonomous Robotic Team Repair: The Hex-DMR II System

저자: Joshua D. Davis, Yunuscan Sevimli, M. Kendal Ackerman, Gregory S. Chirikjian

학회 논문: Advances in Reconfigurable Mechanisms and Robots II, 619-631쪽, Springer

게재: 2015년 11월 24일 온라인 공개, 2016년 단행본 수록

DOI: 10.1007/978-3-319-23327-7_53

한 문장 평가

"로봇이 다른 로봇의 부품을 스스로 찾아 떼고 끼우는 장면까지 보여줬지만, 고장 진단부터 정상 작동 확인까지 끝내는 수리는 아직 아니었다."

이번에는 로봇이 정말 다른 로봇을 고쳤을까?

지난 글에서는 로봇팔이 굳은 관절을 안고도 일하도록 몸의 순서를 바꿨다. 이번에는 한 걸음 더 나간다. 로봇 한 대가 다른 로봇에게 다가가 부품을 떼고, 빈자리에 새 부품을 끼운다. 다만 '수리 완료'라고 하기에는 아직 빈칸이 있다. 연구진은 부품을 빼는 과정과 넣는 과정을 따로 시험했다. 고장을 찾아내고, 교체품을 가져와, 수리 뒤 다시 일하는지 확인하는 전 과정은 보여주지 않았다.

연구진은 무엇을 확인하고 싶었을까?

사람이 들어가기 힘든 곳에서 로봇이 고장 나면 누가 고칠까? 연구진은 같은 팀의 다른 로봇이 정비공 역할을 할 수 있는지 물었다. 핵심은 망가진 부품을 기계 전체와 분리해 떼어 내고, 정상 부품을 그 자리에 붙이는 것이다. 휴대전화 전체를 버리는 대신 배터리 팩 하나를 바꾸는 장면에 가깝다. 단, 이 비유처럼 부품을 쉽게 갈 수 있으려면 로봇도 처음부터 그렇게 설계돼 있어야 한다.

어떤 로봇이었을까?

Hex-DMR II는 가운데 몸체에 서로 다른 기능의 부품을 둘러 붙인 로봇이다. 모든 기능을 갖춘 한 대에는 바퀴 부품 3개, 전원 1개, 제어 1개, 부품을 다루는 팔 1개, 카메라 1개가 들어간다. 모두 7개다. 가운데 몸체에는 위아래 두 층에 최대 12개를 붙일 자리가 있어서, 설계상 여분 5자리를 둘 수 있다. 하지만 이번 실험에서 위층과 아래층 사이로 부품을 옮기는 장치는 구현되지 않았다. '여분을 실을 자리'와 '그 여분을 자동으로 꺼내 교체하기'는 다른 이야기다.

고장 난 부품은 어떻게 찾았을까?

수리하는 로봇은 카메라로 상대 로봇 위의 색 표시를 찾아 다가갔다. 이어 부품 앞면에 붙인 4비트 바코드를 읽었다. 목표 부품이 아니면 상대 주위를 돌며 다음 부품을 확인했다. 여기서 중요한 점이 있다. 바코드를 읽었다고 고장 원인을 진단한 것은 아니다. 어느 부품을 떼야 하는지는 이미 정해져 있었다. 연구진도 고장 진단은 후속 연구에서 다루겠다고 적었다.

부품을 떼는 일은 어떻게 했을까?

수리 로봇은 바퀴로 몸을 옆으로 조금씩 움직여 상대의 부품과 위치를 맞췄다. 앞쪽의 길쭉한 결합 핀을 부품에 끼우고, 가운데 몸체에 고정된 나사를 돌려 풀었다. 나사가 빠졌다는 신호는 팔에 달린 전류 센서로 확인했다. 마지막에는 뒤로 물러나며 부품을 빼냈다. 사람 손으로 나사를 풀고 고장 난 부품을 통째로 꺼내는 순서를, 바퀴와 결합 장치가 맡은 셈이다.

새 부품은 어떻게 끼웠을까?

끼우기 실험에서는 수리 로봇이 정상 부품을 이미 들고 시작했다. 카메라로 바코드가 없는 빈자리를 찾고, 부품을 그곳에 맞춘 뒤 나사를 조였다. 전류 센서가 모터에 걸리는 힘이 커졌다고 알려주면 조임을 멈췄다. 논문의 전체 수리 구상에는 고장 부품을 내려놓고 다른 로봇에게서 정상 부품을 가져오는 단계도 있다. 하지만 그 이동과 전달까지 자율적으로 이어 붙인 실험은 제시하지 않았다.

실험은 실제 현장과 얼마나 비슷했을까?

시뮬레이션만 한 것은 아니다. 실물 로봇 두 대로 원격 도움을 받는 시험과 자율 시험을 진행했다. 다만 두 로봇은 처음부터 61cm 떨어진 자리에 놓였고, 수리 로봇의 방향도 상대를 기준으로 90도 돌아간 상태로 정해뒀다. 떼어 낼 부품의 위치 역시 미리 정했다. 처음 보는 잔해 속에서 고장 난 로봇을 찾아 헤매는 상황이 아니다. 이번 결과는 위치를 준비한 실험실에서 부품을 다루는 능력을 확인한 것이다.

그래서 실제로 무엇을 해냈을까?

수리 로봇은 상대를 찾고 바코드로 목표 부품을 확인한 다음, 전원 부품을 스스로 떼어 내는 과정을 보였다. 부품을 끼우는 자율 절차도 따로 보여줬다. 연구진은 부품을 찾고 빼는 동작은 반복해서 시연할 수 있었다고 썼다. 하지만 끼우기는 매번 믿을 만큼 안정적이지 않았다. 논문은 각 절차를 몇 번 시도했고 몇 번 성공했는지 숫자로 밝히지 않는다. 수리 시간이나 수리 뒤 원래 임무로 돌아간 비율도 측정 결과로 제시하지 않았다.

왜 끼우는 일이 더 어려웠을까?

부품을 뺄 때는 수리 로봇의 팔만 상대 부품과 맞추면 된다. 끼울 때는 팔 끝에 매단 새 부품까지 빈자리에 정확히 들어가야 한다. 손에 무거운 상자를 들고 작은 선반 칸에 넣는 쪽이, 선반에서 상자를 빼는 것보다 까다로운 것과 비슷하다. 연구진은 부품의 무게 배분, 나사 장치의 맞물림 오차, 팔의 움직임 범위를 다시 살펴봐야 한다고 봤다. 이 설명은 저자들의 논의이고, 어느 원인이 실패를 몇 퍼센트씩 만들었는지는 따로 측정하지 않았다.

그럼 모듈형 로봇이면 누구나 수리할 수 있을까?

그렇지는 않다. 이번 로봇의 부품에는 같은 방식으로 풀고 조일 수 있는 나사와 맞춤 핀이 달려 있다. 다른 로봇의 배터리나 카메라에 그대로 달려가 끼울 수 있는 만능 정비공은 아니다. 교체할 정상 부품도 어딘가에 있어야 한다. 또 이 로봇은 카메라, 바코드, 색 표시가 보이는 조건에서 상대를 찾았다. 표시가 가려지거나 서로 호환되지 않는 부품이라면 이번 방법이 그대로 통한다고 말하기 어렵다.

이 논문의 가장 큰 빈칸은 뭘까?

정확한 고장 진단이 없다. 부품을 뺀 뒤 버리고, 여분을 찾아 가져오고, 다시 끼운 뒤 전원이 살아났는지 확인하는 연속 실험도 없다. 끼우기 자체가 불안정한데 성공률의 분모와 실패 횟수도 제시되지 않았다. 따라서 이 논문을 '로봇이 로봇을 완전히 자율 수리했다'고 소개하면 과장이다. 실제로 보인 것은 자율 수리를 이루는 두 동작, 부품 제거와 부품 삽입이다.

이 연구가 보여주는 기술 수준은 어디까지일까?

2015년에 온라인 공개된 이 연구는 로봇끼리 실제 부품을 갈아 끼우는 일이 단순한 상상은 아니라는 것을 보여준다. 앞선 글의 재배치가 고장을 안고 버티는 방식이었다면, 여기는 고장 부품을 물리적으로 빼는 방식이다. 그렇다고 이 오래된 실험 하나로 오늘날 모든 수리 로봇의 수준을 말할 수는 없다. 이 논문이 분명히 보여준 경계는 이렇다. 준비된 자리에서 떼고 끼우는 동작은 가능했지만, 스스로 고장을 알아내고 교체품을 확보해 끝까지 안정적으로 수리하는 일은 남아 있었다.

앞으로 필요한 연구

어느 부품이 왜 고장 났는지 다른 로봇이 스스로 진단하기

고장 부품을 내려놓고 정상 부품을 찾아오는 과정을 한 번에 잇기

부품을 끼울 때 생기는 위치 오차를 감지하고 바로잡기

시도 횟수와 성공률, 걸린 시간, 수리 뒤 기능 회복을 함께 측정하기

표시가 가려지거나 부품이 여러 개 고장 난 조건에서도 시험하기

읽으면서 든 생각이나 질문

로봇 수리 영상에서 가장 눈에 띄는 순간은 나사를 풀고 새 부품을 끼우는 장면일 것이다. 그런데 읽고 나니 정작 어려운 일은 그 앞뒤에 몰려 있었다. 무엇이 고장 났는지 알아야 하고, 새 부품이 어디 있는지 찾아야 하고, 끝나면 정말 다시 일할 수 있는지 확인해야 한다. 손놀림을 익히는 것과 정비공이 되는 것 사이에는 생각보다 긴 거리가 있는 셈이다.

로봇이 로봇을 '고쳤다'고 말하려면, 새 부품을 끼운 순간이면 충분할까? 아니면 다시 맡은 일을 해내는 것까지 확인해야 할까?

원문: https://blog.naver.com/kjw6240_/224439715566

"고장 난 관절을 고치지 않고 다시 일하는 로봇"

noteandwhy — Mon, 12 Oct 2026 00:06:09 +0900

논문 정보

제목: A Fault-Tolerant Approach for Modular Robots through Self-Reconfiguration

저자: Jian Qi 외 7명

저널: Advanced Intelligent Systems, 6권 7호, 논문번호 2300774

게재: 2024년 6월 13일 온라인 공개

DOI: 10.1002/aisy.202300774

한 문장 평가

"관절이 굳은 로봇은 멀쩡한 부품의 순서를 바꿔 실험실 작업 능력을 일부 되찾았지만, 고장 난 관절 자체를 고치거나 낯선 고장을 스스로 찾아낸 것은 아니었다."

지난번과는 어떤 수리가 다른 걸까?

지난 글에서는 다른 로봇이 없어진 다리를 새로 만들어 붙였다. 이번에는 새 부품이 등장하지 않는다. 여러 마디를 이어 만든 로봇팔에서 관절 하나가 움직이지 않으면, 멀쩡한 마디와 고장 난 마디의 순서를 바꾼다. 고장 난 관절을 치료하는 것보다는, 일할 수 있는 자세를 되찾도록 몸을 다시 짜는 방법이다. 로봇 수리라는 큰 주제 안에서도 '복구'와 '고장을 안고 버티기'는 다르다는 점이 재미있었다.

연구진은 대체 뭘 확인하려 했을까?

로봇팔이 끝에 달린 집게를 목표 위치로 가져가려면 여러 관절이 맞춰 움직여야 한다. 그중 하나가 굳으면, 집게가 닿을 수 있는 곳이 줄어든다. 연구진은 고장 난 마디를 덜 중요한 자리로 옮기면 작업을 계속할 수 있는지 확인했다. 부품을 버리거나 새것을 끼우지 않고, 손에 남은 것을 재배열하는 셈이다.

어떤 로봇을 가지고 시험했을까?

여러 개의 같은 형태 모듈을 일렬로 이어 만든 로봇팔이다. 모듈끼리 연결을 풀었다가 다른 순서로 붙일 수 있고, 시험 장치에는 그 과정을 도와주는 자석식 연결판이 있다. 실물 검증에는 모듈 7개가 쓰였다. 연구진은 관절이 0도 또는 90도에서 움직이지 않는 고장을 각각 재현했다. 연구실에 설치한 로봇팔 시험이지, 우주에서 고장 난 로봇을 수리한 실험은 아니다.

모듈 순서는 어떻게 바꿨을까?

로봇팔을 이루는 마디를 몇 묶음으로 나눈 뒤, 연결판에 잠시 붙여 지탱하면서 다른 묶음과 이어 붙였다. 선반의 책을 옮길 때 남은 책이 무너지지 않게 한쪽을 받쳐 두는 것과 비슷하다. 컴퓨터는 먼저 목표 배치를 찾고, 모듈이 서로 부딪히지 않고 그 배치로 갈 움직임을 계획했다. 논문에서는 후보를 탐색하는 방법과 충돌을 피하는 경로 탐색 방법을 함께 썼다. 부품을 통째로 교환하는 방식은 아니다.

왜 고장 난 관절의 자리까지 중요했을까?

같은 관절 하나가 굳어도 어느 마디에 있느냐에 따라 로봇팔이 쓸 수 있는 자세가 달라진다. 연구진이 8개 모듈의 도달 가능한 자세를 계산했을 때, 8번 모듈이 0도에서 굳으면 고장 전 자세의 69.23%만 남았다. 같은 종류의 고장이 2번, 4번, 6번에 있을 때는 계산상 100%가 남는 경우도 있었다. 이 수치는 8개 모듈을 놓고 계산한 자세의 비율이다. 실물 로봇이 69.23%의 확률로 작업에 성공했다는 뜻이 아니다.

그럼 굳은 관절을 마음대로 옮기면 됐을까?

그렇게 간단하지 않았다. 모듈을 옮기는 도중에도 로봇팔은 자기 몸을 지탱하고 연결판에 닿아야 한다. 고장 난 관절 때문에 곧바로 목표 자리로 가지 못하면 중간 자리를 거쳐야 했다. 연결판의 어느 지점을 쓰느냐에 따라 가능한 경로와 움직여야 하는 양도 달랐다. '옮기면 된다'보다 '어떤 순서로 옮길 수 있나'가 더 큰 문제인 셈이다.

실제 로봇은 무엇을 해냈을까?

연구진은 모듈 7개를 이은 실물 로봇팔에서 두 가지 고장 조건을 시험했다. 먼저 7번 모듈의 관절을 0도에서 고정한 경우, 모듈 배치를 바꾼 뒤 목표 지점에 닿을 수 있는 자세가 한 가지에서 세 가지로 늘었다. 논문은 이 덕분에 조립 작업을 이어갈 수 있었다고 설명한다. 두 번째로 첫 번째 모듈이 90도에서 굳었을 때는 모듈 순서를 바꾸기 전에는 닿지 못하던 목표에, 바꾼 뒤 집게가 닿았다. 실제 하드웨어에서 움직임을 확인한 결과다.

한 번에 두 군데가 고장 나도 괜찮았을까?

논문은 두 관절이 함께 굳은 경우도 계산하고 경로를 계획했다. 모듈 10개짜리 로봇팔에서 8번과 10번에 고장을 넣은 사례는 도달 가능한 자세가 고장 전의 70.1%로 줄었고, 계획한 재배치 뒤 계산상 100%로 돌아왔다. 하지만 실물 시험은 7개 모듈의 단일 관절 고장 두 가지였다. 10개 모듈, 두 군데 고장의 100%라는 숫자를 실제 로봇에서 반복 확인한 성공률처럼 말하면 안 된다.

새 부품도 없이 해결했다면 항상 이득일까?

새 부품을 가져올 필요가 없다는 건 분명 장점이다. 하지만 관절은 여전히 고장 난 채다. 다른 작업을 하려고 로봇팔을 뻗으면 다시 한계가 드러날 수 있다. 모듈을 떼었다 붙이는 동안 작업도 멈춰야 하고, 이번 방법에는 자석식 연결판 같은 받침도 필요하다. 어떤 자리로 옮길지에 따라 동작 경로가 길어질 수도 있다. 부품 교체 비용을 아끼는 대신, 배치를 바꾸는 시간과 움직임의 제약을 감수하는 방식이다.

로봇이 고장을 스스로 알아챘을까?

아니다. 실험은 어느 관절이 어떤 각도에서 굳었는지 이미 아는 상태에서 시작했다. 연구진은 고장 감지 기술을 나중에 결합해야 할 과제로 남겼다. 고장을 찾아내는 일과, 고장을 알고 나서 몸을 재배치하는 일은 별개다. 이번 논문이 보여준 것은 주로 두 번째다. 눈앞의 로봇이 갑자기 멈췄을 때 원인을 진단하고 바로 대응하는 정비공은 아직 아니다.

이 결과를 모든 로봇 수리로 넓혀도 될까?

아직 어렵다. 다룬 고장은 관절이 정해진 각도에서 굳는 경우였고, 실물 검증은 연결판이 준비된 평면 작업대에서 두 조건으로 진행했다. 느슨하게 흔들리는 관절, 통신이 끊긴 모듈, 배터리나 센서 고장은 시험하지 않았다. 논문에도 3차원 공간으로 넓히고 고장 감지와 결합하는 연구가 앞으로 필요하다고 적혀 있다. 실물 실험의 반복 횟수나 현장 사용 성공률도 제시되지 않았다.

그렇다면 현재 기술은 어디까지 온 걸까?

로봇의 관절 일부가 굳어도 모듈의 순서를 바꿔 특정 작업을 이어가는 수준까지는 왔다. 이 논문은 그 과정을 계산만이 아니라 실물 로봇팔에서도 보였다. 다만 고장 난 관절을 고친 것은 아니다. 지난 글의 다리 제작은 '부품을 새로 만들어 붙이기'였고, 이번 연구는 '고장을 안고도 할 일을 찾기'다. 진짜 자율 수리에는 이 둘에 더해 고장 진단과 수리 뒤 성능 확인까지 이어져야 할 것 같다.

앞으로 필요한 연구

어느 관절이 왜 멈췄는지 스스로 찾아내는 진단

굳은 관절 말고 센서·통신·전원 고장에서도 재배치 시험하기

연결판 없이 3차원 공간에서 몸을 지탱하며 모듈 옮기기

배치를 바꾸는 시간과 전력, 연결 실패율을 반복 측정하기

재배치만으로 버틸지 새 부품으로 교체할지 판단하는 기준

읽으면서 든 생각이나 질문

'수리'라고 하면 망가진 부분이 새것처럼 돌아와야 할 것 같다. 그런데 이 논문은 조금 다른 질문을 던진다. 지금 가진 몸으로도 일을 마칠 수 있다면, 꼭 고장 난 관절부터 고쳐야 할까? 손가락 하나를 못 쓸 때 다른 손가락으로 물건을 잡듯, 로봇도 남은 움직임을 다시 배분할 수 있다. 물론 그건 치료가 아니라, 고장을 안고 일하는 방법에 더 가깝다.

로봇이 고장 난 몸으로도 임무를 끝낼 수 있다면, 우리는 언제 일을 계속 시키고 언제 수리를 위해 멈추게 해야 할까?

원문: https://blog.naver.com/kjw6240_/224438439959

"다리 잃은 로봇을 고쳐주는 로봇"

noteandwhy — Mon, 12 Oct 2026 00:01:59 +0900

논문 정보

제목: Automatic Leg Regeneration for Robot Mobility Recovery

저자: Liyu Wang, Ronald S. Fearing

학회: 2019 IEEE International Conference on Robotics and Automation (ICRA), 7353-7359쪽

게재: 2019년 5월

DOI: 10.1109/ICRA.2019.8793596

한 문장 평가

"수리 로봇은 다른 로봇의 없어진 다리를 현장에서 만들어 붙이고 걷는 속도를 거의 되찾게 했지만, 고장을 스스로 찾아내거나 낯선 손상을 알아서 고친 것은 아니었다."

이번 논문은 무엇을 확인하려 했을까?

로봇이 멀리 나가 다리가 부러지면 어떻게 해야 할까? 예비 다리를 통째로 챙기거나 사람이 가지러 가는 방법이 먼저 떠오른다. 연구진은 다른 길을 시험했다. 수리 로봇이 재료를 들고 있다가 필요한 모양의 다리를 그 자리에서 만들어 붙일 수 있을까? 그리고 붙인 뒤에 고장 난 로봇이 실제로 다시 잘 걸을까? 이번 글은 로봇 수리 시리즈의 첫 편으로, 다른 로봇을 물리적으로 고친 실험을 다룬다.

로봇이 정말 다른 로봇을 고쳤을까?

그렇다. 다리가 여섯 개 달린 작은 이동 로봇이 앞쪽 오른쪽 다리를 잃은 상태로 수리 장치에 다가갔다. 수리 로봇은 그 로봇을 붙잡아 위치를 맞추고, 미리 준비한 띠 모양 재료를 접어 새 다리를 만들었다. 완성한 다리는 자석으로 붙였다. 다리를 받은 로봇은 장치에서 빠져나와 다시 걸었다. 컴퓨터 속 수리 장면만 보여준 논문은 아니다.

그럼 처음 보는 고장도 알아서 찾아냈을까?

여기서 '자동'의 범위를 정확히 봐야 한다. 연구진은 어느 다리가 없는지 알고 실험을 준비했다. 수리 장치도 정해진 순서대로 움직였다. 가까이 왔는지 감지하는 센서와 로봇이 들렸는지 확인하는 센서는 쓰지만, 카메라로 손상을 살펴보고 원인을 진단한 것은 아니다. 수리 장면에서는 다리가 이미 없는 상태로 시작했다. 다른 종류의 고장을 만나면 무엇을 고칠지 스스로 정하는 로봇은 아직 아니었다.

다리를 새로 만드는 재료는 무엇이었을까?

평범한 종이를 즉석에서 뽑아 쓴 것은 아니다. 연구진이 미리 만든 띠에는 플라스틱 필름, 종이판, 열을 받으면 붙는 접착층이 들어 있었다. 접힐 부분과 잘라낼 부분도 미리 정해 놓았다. 수리 장치가 띠를 밀어 넣고, 열로 접착층을 부드럽게 만든 뒤 정해진 자리에서 접었다. 종이접기처럼 보이지만, 접는 선까지 준비된 부품을 현장에서 완성하는 방식에 가깝다. 완성된 예비 다리를 가져다 끼우는 것과는 다르지만, 아무 재료로나 다리를 만들어내는 것도 아니다.

두 로봇은 어떻게 손발을 맞췄을까?

다리를 잃은 로봇은 바닥의 선을 따라 수리 장치까지 움직였다. 장치가 접촉을 감지하자 다리 제작 순서가 시작됐고, 이동 로봇은 몸이 들린 상태를 감지해 움직임을 멈췄다. 수리 장치는 로봇을 들어 올려 다리 붙일 자리를 맞추고 띠를 접었다. 접촉 감지와 몸의 기울기 정보는 시작과 정지 신호로 쓰였다. 다리를 접는 각도나 가열·냉각 시간은 미리 정해져 있었다. 로봇 둘이 계속 상황을 의논하며 수리 방법을 바꾼 것은 아니다.

수리에는 얼마나 걸렸을까?

논문은 로봇들이 맞닿은 뒤 수리 장치에서 떨어질 때까지 335초가 걸렸다고 썼다. 약 5분 35초다. 그림에 나온 전체 장면은 접근을 시작한 때부터 다시 걸어 나갈 때까지 362초였다. 서로 다른 구간을 잰 숫자다. 실험실에서 미리 정한 다리 하나를 만드는 시간으로 읽어야지, 현장에서 고장을 발견하고 복귀하기까지의 전체 시간으로 보면 안 된다.

한 번 보여준 것 말고 반복해서도 됐을까?

연구진은 수리의 여러 단계를 따로 반복했다. 손상된 로봇의 위치를 맞추는 과정은 40번 중 40번, 새 다리를 접어 만드는 과정은 10번 중 10번, 수리 장치에서 로봇을 놓아주는 과정은 30번 중 30번 성공했다. 남아 있는 고장 난 다리를 떼는 과정은 40번 중 36번 성공했다. 실패한 네 번에는 자석이 완전히 떨어지지 않아 다리가 다시 붙었다. 이 수치는 각 단계의 성공률이다. 전체 수리 과정을 수십 번 연속으로 성공했다는 뜻은 아니다.

새 다리를 붙이면 걷는 속도도 돌아왔을까?

평평한 바닥에서 선을 따라 걷게 하며 다리가 온전할 때, 앞다리 하나가 없을 때, 새 다리를 붙였을 때를 비교했다. 평균 전진 속도는 차례로 초속 0.010m, 0.004m, 0.009m였다. 다리를 잃자 원래 속도의 40%로 느려졌고, 새 다리를 붙인 뒤에는 원래 속도의 90%까지 올라왔다. '90% 회복'은 다리의 강도가 90%라는 뜻도, 잃었던 속도의 90%를 되찾았다는 계산도 아니다. 원래 로봇의 속도와 비교한 값이다.

다리를 붙인 뒤에는 원래 로봇과 똑같았을까?

속도는 비슷해졌지만 완전히 같지는 않았다. 순간 최대 전력은 온전할 때 평균 17.07W, 다리가 없을 때 24.67W, 수리 뒤 20.44W였다. 수리 뒤에도 온전할 때보다 약 19.7% 높았다. 이동 거리와 로봇 무게를 함께 고려한 에너지 지표는 오히려 수리 뒤가 온전할 때보다 9.3% 낮게 나왔다. 흥미로운 결과지만 각 조건을 세 번씩만 시험했고, 전력은 외부 전원을 연결해 측정했다. 이 숫자만으로 배터리가 더 오래 간다고 말할 수는 없다.

미리 만든 예비 다리를 끼우는 것보다 무엇이 달랐을까?

예비 부품을 통째로 바꾸는 방식은 필요한 부품이 준비돼 있어야 한다. 이 연구는 접힐 자리가 미리 설계된 띠를 들고 있다가 다리 모양으로 접어 붙였다. 같은 재료에서 모양을 달리 만들 여지가 있다는 점은 장점이다. 대신 띠 자체는 사람이 준비해야 하고, 가열과 냉각에 시간이 든다. 이번 시험은 실제로 서로 다른 여러 손상에 맞춰 다리를 바꿔 만들었는지 보여주지 않았다. 가능성과 검증된 범위를 나눠 봐야 한다.

진짜 재난 현장에 바로 데려가도 될까?

아직은 어렵다. 수리 로봇은 실험실에 놓인 장치였고, 재료를 접는 열풍기는 콘센트 전기를 썼다. 이동 로봇도 바닥에 표시된 선을 따라 장치에 왔다. 부러진 부위를 처음부터 찾아내는 진단, 여러 다리나 센서·모터의 교체, 울퉁불퉁한 현장에서의 수리는 시험하지 않았다. 걷기 성능 역시 평평한 바닥에서 조건마다 세 번 측정했다. 멋진 장면이지만 아직은 정해진 고장 하나에 맞춘 실물 시연이다.

그렇다면 로봇 수리 기술은 어디까지 온 걸까?

이 논문은 로봇이 다른 로봇에게 새 기계 부품을 만들어 붙이고, 그 덕에 이동 능력이 돌아오는 과정을 실제로 보여줬다. 그래서 '로봇 수리는 상상 속 이야기'라고만 말하기는 어렵다. 동시에 현재의 수리 로봇은 수리 대상과 재료, 손상 부위, 작업 순서가 미리 준비돼야 한다. 사람 정비공처럼 현장에 가서 고장을 찾아 다양한 부품을 고치는 단계까지는 거리가 있다.

앞으로 필요한 연구

어느 부품이 망가졌는지 로봇이 스스로 찾아내는 진단

자석이 다시 붙는 실패를 알아차리고 재시도하는 수리

다리뿐 아니라 발, 센서, 모터까지 고칠 수 있는 재료와 장치

전원선과 바닥 표시 없이 낯선 장소에서 수리 로봇이 이동하기

수리 전후 성능을 더 많은 반복과 다양한 지형에서 확인하기

읽으면서 든 생각이나 질문

처음에는 '다리가 다시 자란다'는 제목이 조금 과장처럼 보였다. 원문을 보니 로봇이 다리를 스스로 자라게 한 게 아니라, 다른 로봇이 준비된 띠를 접어 새 다리를 만들어 줬다. 그래도 실제로 다시 걷는 장면까지 확인했다는 점은 꽤 인상적이다. 수리란 결국 부품을 붙이는 한 동작이 아니라, 고장을 알아보고 맞는 부품을 만들고 제대로 움직이는지 확인하는 긴 과정인 것 같다.

로봇이 다른 로봇을 고칠 수 있게 된다면, 고친 뒤에 '이제 다시 임무에 보내도 된다'는 판단까지 로봇에게 맡겨도 될까?

원문: https://blog.naver.com/kjw6240_/224438436778

"로봇이 사람에게 부탁할 때"

noteandwhy — Wed, 7 Oct 2026 01:23:38 +0900

논문 정보

제목: REALM: Real-Time Estimates of Assistance for Learned Models in Human-Robot Interaction

저자: Michael Hagenow, Julie A. Shah

저널: IEEE Robotics and Automation Letters, 10권 6호, 5473-5480쪽

게재: 2025년 6월

DOI: 10.1109/LRA.2025.3560862

원문: 논문 정보 | 공개 원문

한 문장 평가

"로봇이 사람에게 필요한 도움의 크기를 골라 부탁하자 통제된 작업에서는 조종 부담과 시간이 줄었지만,

로봇이 자신 있게 틀릴 때까지 알아채는 기술은 아니었다."

이 논문은 대체 뭘 확인하고 싶었던 걸까?

전에 읽은 재난로봇 논문에서는 사람이 언제 끼어들어야 할지가 마음에 남았다. 이번 논문은 거기서 한 발 더 들어간다. 로봇이 막혔을 때 사람에게 모든 조종을 넘겨야 할까? 아니면 둘 중 하나만 골라 달라고 해도 될까? 연구진은 로봇이 자기 판단의 불확실성을 살펴보고, 필요한 만큼만 도움을 청할 수 있는지 시험했다.

로봇은 자기가 헷갈린다는 걸 어떻게 알았을까?

연구진은 로봇이 앞으로 움직일 방법을 하나만 내놓게 하지 않았다. 학습한 AI에 같은 상황을 여러 번 물어 앞으로의 움직임을 여럿 뽑았다. 예상이 거의 한곳에 모이면 망설임이 적고, 여러 방향으로 흩어지면 판단이 흔들리는 셈이다. 이런 흩어짐을 수치로 따져 도움을 요청했다. 다만 예상이 서로 다르다고 꼭 위험한 것은 아니다. 둘 다 괜찮은 길일 수도 있다.

사람에게는 어떤 도움을 부탁했을까?

선택지는 네 가지였다. 로봇이 혼자 계속하기, 두 길 중 하나를 사람에게 고르게 하기, 사람이 한 방향만 조금씩 바로잡기, 사람이 조종을 통째로 맡기다. 갈림길만 문제라면 왼쪽과 오른쪽 중 하나를 고르면 된다. 좁은 홈에 물체를 끼울 때 각도가 애매하면 그 부분만 손봐 줄 수 있다. 어디로 가야 할지 전반적으로 모호할 때는 사람이 직접 움직인다. 사람의 손을 빌리는 정도가 각기 다르다.

그 네 가지 중 하나는 어떻게 골랐을까?

로봇은 도움을 받은 뒤 예상 경로의 흩어짐이 얼마나 줄지 계산했다. 그만큼 사람이 계속 조종해야 하는지도 함께 따졌다. 쉽게 말해 '이 질문 하나면 길이 정해지나?'와 '사람 손이 얼마나 오래 묶이나?'를 같이 본 것이다. 사람에게 더 많은 일을 맡기는 방식에는 불이익 점수를 줬다. 이 점수는 로봇이 스스로 배운 값이 아니라 연구진이 시험하며 조정한 값이다.

진짜 작업 현장에서 시험했을까?

실제 로봇팔을 쓴 실험은 맞다. 하지만 돌아가는 공장 라인에서 시험한 것은 아니다. 연구진이 마련한 탁상 작업에서 열쇠 모양의 부품을 집어 틀에 맞게 넣었다가, 부품 색에 따라 빨간 통 또는 파란 통으로 옮겼다. AI는 먼저 가상 작업 환경에서 만든 동작 기록 1500개로 학습했다. 시험에 필요한 애매함도 연구진이 설계했다. 현장의 예기치 못한 고장까지 검증한 실험으로 읽으면 안 된다.

사람은 로봇이 못 보는 무엇을 봤을까?

이 실험의 AI는 카메라 영상을 보지 못하게 학습됐다. 사람은 부품이 놓인 곳, 끼워 넣는 틀의 각도, 부품의 색을 볼 수 있었다. 부품 시작 위치 네 곳과 틀의 회전 각도 세 가지, 부품 색을 바꿔가며 시험했다. 로봇의 한계가 우연히 드러난 게 아니라, 사람이 필요한 상황을 일부러 만든 셈이다. 이 방식이 눈 달린 로봇에서도 똑같이 잘될지는 아직 알 수 없다.

사람이 도와주는 장면은 어땠을까?

참가자는 손으로 쥐는 조종 장치인 스페이스마우스를 썼다. 로봇팔 끝의 불빛이 흰색이면 그대로 지켜보고, 노란색이면 움직임의 한 방향을 고쳤다. 빨간색일 때는 두 선택지 중 하나를 골랐고, 초록색이면 로봇팔을 직접 조종했다. 다만 빨간색일 때 두 경로가 화면에 그려져 보인 것은 아니다. 참가자는 버튼이 왼쪽과 오른쪽을 뜻한다는 설명을 듣고 골랐다. 실제로 쓰기 좋은 안내 방식인지는 더 살펴봐야 한다.

비교 상대는 사람이 계속 조종하는 방식이었을까?

그렇지는 않다. 비교 방식도 평소에는 로봇이 혼자 움직였다. 다만 AI의 예상이 크게 흩어지면 사람에게 전체 조종을 넘겼다. 이번 방식은 같은 상황에서 둘 중 하나를 고르게 하거나 한 방향만 고쳐 달라고 할 수도 있었다. 실험은 '항상 사람이 조종'과 '완전 자율'의 대결이 아니라, 도움을 청할 때 얼마나 세밀하게 부탁하느냐를 비교한 것이다.

시뮬레이션에서는 얼마나 잘 골랐을까?

연구진은 별도의 2차원 가상 길에서 어떤 종류의 망설임을 넣었는지 알고 AI의 선택을 확인했다. 실제로 도움이 필요 없던 지점에서는 85.6%, 한 방향을 고쳐야 했던 지점에서는 80.5%, 사람이 직접 조종해야 했던 지점에서는 87.0%를 맞혔다. 두 갈래로 나뉘는 지점은 모두 알아봤다. 이 숫자는 가상 길에서 도움의 종류를 알아맞힌 비율이다. 실제 로봇이 임무를 성공한 비율로 옮겨 읽으면 안 된다. 갈림길이 바뀌는 부근이나 AI가 선택지를 충분히 만들어내지 못한 때는 틀리기도 했다.

실제 로봇팔에서는 결과가 어땠을까?

참가자 10명이 두 방식을 각각 세 번 연습한 뒤, 방식마다 한 번씩 기록을 남겼다. 모두 두 방식으로 작업을 마쳤지만, 처음 기록에서 모두 한 번에 성공한 것은 아니다. 이번 방식에서는 한 참가자의 허용 가능한 동작을 안전 정지가 막았고, 비교 방식에서는 다른 참가자가 부품을 떨어뜨려 각각 다시 했다. 논문은 이번 방식에서 작업 시간과 계산한 사람 입력량이 통계적으로 줄었다고 보고했다. 참가자 10명 중 7명은 이번 방식을 더 좋아했다.

그러면 사람도 확실히 덜 힘들었을까?

여기서는 말을 조금 아껴야 한다. 논문의 '입력량'은 사람이 느낀 피로를 직접 잰 값이 아니다. 한 방향을 고친 시간에는 1, 전체를 조종한 시간에는 5를 곱하고, 선택 버튼을 누른 횟수를 더한 지표다. 5는 조종해야 하는 방향과 집게 조작을 센 값이지, 사람이 다섯 배 더 힘들었다는 뜻이 아니다. 설문에서는 일의 부담감이나 사용 편의성에 두 방식 사이의 뚜렷한 차이가 나오지 않았다. 손을 덜 썼다는 결과와 마음이 편했다는 결과는 다른 이야기다.

언제는 로봇의 부탁을 믿기 어려울까?

로봇이 여러 길을 떠올리면 사람을 부를 수 있지만, 한 길만 떠올리면서 그 길이 틀렸다면 어떨까? 이 연구의 방법은 그런 '자신 있는 오답'을 잡아내지 못할 수 있다. 반대로 어느 길로 가도 괜찮은데 괜히 사람을 부를 수도 있다. 연구진도 AI의 흔들림이 항상 도움의 필요를 뜻하지 않고, 사람 역시 늘 정답을 아는 건 아니라고 인정했다. 참가자가 먼저 조종권을 가져오는 기능도 이번 실험에는 없었다.

이 결과를 재난 현장이나 공장에 바로 적용해도 될까?

아직은 어렵다. 실제 로봇팔 시험도 연구진이 만든 작업 하나였고 참가자는 10명이었다. 비교한 상대는 전체 조종을 요청하는 방식 하나뿐이다. 학습 자료와 가상 길도 연구진이 만들어, 낯선 현장이나 다양한 사람에게 그대로 통할지는 모른다. 도움 요청의 벌점도 사람이 미리 맞췄다. AI를 학습한 장비는 NVIDIA V100, 로봇 시험에서 판단에 쓴 장비는 RTX 3070 Ti였다. 작은 로봇에 이 계산을 그대로 넣을 수 있다는 증거도 아니다.

그렇다면 현재 기술은 어디까지 온 걸까?

로봇은 이제 자기 예상이 어떻게 갈리는지 보고, 사람에게 필요한 도움의 형태를 골라 부탁할 수 있다. 적어도 이 탁상 작업에서는 매번 전체 조종을 맡기는 것보다 효율적이었다. 하지만 '망설임'을 아는 것과 '틀렸음'을 아는 것은 다르다. 지금은 로봇이 사람을 부르는 방법을 다듬는 단계이지, 사람에게 정말 연락해야 하는 모든 순간을 알아내는 단계는 아닌 것 같다.

앞으로 필요한 연구

로봇이 자신 있게 틀릴 때도 사람이 개입할 수 있는 통로 만들기

두 길 모두 괜찮을 때 불필요한 도움 요청을 줄이는 방법

사람마다 다른 조종 실력과 부담을 반영해 도움 방식 고르기

카메라와 다양한 물체가 있는 낯선 작업에서 반복 검증하기

두 선택지와 한 방향 수정 밖의 도움 방식도 비교하기

읽으면서 든 생각이나 질문

재난로봇 글을 읽을 때는 '로봇이 언제 사람을 불러야 하지?'가 궁금했다. 이 논문을 보니 다음 질문은 '불러서 뭘 부탁하지?'였다. 로봇이 모든 조종을 넘기는 것만이 사람과 함께 일하는 방법은 아니다. 짧은 선택 하나로 일이 풀린다면 사람도 로봇도 제 할 일을 이어갈 수 있다. 물론 로봇이 자기 망설임을 제대로 읽었다는 전제가 붙는다.

로봇이 도움을 요청할지 스스로 정한다면, 로봇이 아무 도움도 청하지 않고 자신 있게 내린 잘못된 판단의 책임은 누구에게 있을까?

원문: https://blog.naver.com/kjw6240_/224433577790

"작은 드론에 작은 AI를 태워봤다"

noteandwhy — Wed, 7 Oct 2026 01:21:15 +0900

논문 정보

제목: Distilling Tiny and Ultrafast Deep Neural Networks for Autonomous Navigation on Nano-UAVs

저자: Lorenzo Lamberti 외 6명

저널: IEEE Internet of Things Journal, 11권 20호, 33269-33281쪽

게재: 2024년 7월 22일 온라인 공개, 10월 15일자 호 수록

DOI: 10.1109/JIOT.2024.3431913

한 문장 평가

"작은 AI를 얹은 드론은 낯선 실내 코스를 느린 속도에서 다섯 번 모두 통과했지만,

속도를 높이자 같은 작은 모델은 회전을 끝내지 못했다."

이 논문은 대체 뭘 확인하고 싶었던 걸까?

드론이 장애물을 피하려면 카메라 영상을 보고 바로 방향을 정해야 한다. 그런데 손바닥만 한 드론에는 큰 컴퓨터를 싣기 어렵다. 연구진은 비행 중 드론 안에서 돌아갈 만큼 작은 영상 AI를 만들면서도, 장애물 앞에서 제대로 길을 고를 수 있는지 확인했다. 쉽게 말하면 머리를 가볍게 만들었을 때 눈치까지 같이 가벼워지는지 본 실험이다.

왜 굳이 AI를 작게 만들어야 했을까?

이전 모델 PULP-Dronet v2는 드론의 작은 칩에서 초당 최대 19장의 영상을 처리했다. 날아가는 드론은 장면이 계속 바뀌니, 계산이 늦으면 다음 방향을 정할 여유도 줄어든다. 이 모델의 가중치도 약 320kB였다. 숫자만 보면 작아 보이지만, 드론에 실은 GAP8 칩의 내부 메모리는 512kB다. 영상 처리와 다른 일에도 자리가 필요하다. 연구진이 계산량과 모델 크기를 함께 줄이려 한 이유다.

어떤 드론이 날았을까?

실험에는 지름 약 10cm인 Crazyflie 2.1 드론을 썼다. 카메라와 GAP8 칩이 달린 AI-deck을 얹었고, 비행 시험 때 배터리와 부품을 포함한 무게는 35g이었다. 앞쪽 흑백 카메라 영상의 일부를 잘라 AI에 넣으면, AI는 앞이 막혔을 가능성과 어느 쪽으로 틀지에 해당하는 값을 냈다. 모터를 직접 움직이는 일은 기존 비행 제어기가 맡았다. AI가 드론의 모든 감각과 조종을 혼자 책임진 것은 아니다.

진짜 밖에서 자유롭게 날아다닌 걸까?

학습 자료는 사람이 드론을 직접 몰며 실내외 20개 환경에서 모은 약 6만 6천 장의 영상이었다. 하지만 성능을 비교한 비행 시험은 통제된 실내 비행장에서 진행했다. 연구진은 폭 2m의 U자 통로에 장애물을 놓고, 드론이 장애물을 피해 180도 회전해 끝까지 가는지 봤다. 이 코스는 학습 자료에 없었지만, 일반 건물이나 재난 현장처럼 예측 못 한 일이 끝없이 생기는 곳도 아니다. 천장에 설치한 카메라 24대는 실험 뒤 비행 경로를 분석하는 데 썼다.

작은 AI는 어떻게 만들었을까?

기존 영상 AI의 계산 방식을 바꾸고 중간 통로의 폭도 줄였다. 영상의 특징을 한 번에 뒤섞어 계산하던 일을 두 단계로 나눠 처리하는 방식인데, 요리를 할 때 모든 재료를 한꺼번에 볶는 대신 재료별 손질과 마지막 섞기를 나누는 것에 가깝다. 논문 제목에는 ‘증류’가 들어가지만, 큰 교사 AI의 답을 작은 학생 AI가 따라 배우는 지식 증류 실험은 아니다. 이 연구에서 실제로 확인한 방법은 모델 구조를 단순하게 만들고, 계산에 쓰는 숫자도 줄이는 것이다.

숫자를 줄인다는 건 무슨 뜻일까?

연구진은 먼저 32비트 숫자로 모델을 학습한 뒤, 드론에 넣기 전에 가중치와 계산 중간값을 8비트로 바꿨다. 이를 양자화라고 한다. 소수점까지 길게 적던 장부를 필요한 자리만 남겨 짧게 쓰는 셈이다. 같은 구조의 모델에서는 가중치 저장 공간이 4분의 1로 줄었다. 물론 숫자를 줄이면 오차가 생길 수 있다. 논문에서도 모델에 따라 방향 예측 오차가 조금 늘었고, 한 모델은 장애물 판별 정확도가 2%포인트 떨어졌다.

AI는 어디서 배웠고, 어디서 일했을까?

학습은 비행 전에 모아둔 자료로 진행했고, 완성된 8비트 모델을 드론의 GAP8 칩에 올려 비행 중 사용했다. 논문은 학습에 쓴 컴퓨터의 구체적인 사양은 밝히지 않았다. 비행할 때는 외부 서버에 영상을 보내 판단을 맡기지 않았고, 전력 소모가 큰 와이파이도 껐다. 다만 자료를 모으는 과정에서는 무선 통신을 썼다. ‘통신 없이 날았다’는 말은 학습 자료를 모을 때까지 통신이 없었다는 뜻은 아니다.

그래서 얼마나 작고 빨라졌을까?

가장 작은 모델은 드론의 GAP8 칩에서 최고 성능 설정으로 초당 최대 139장의 영상을 추론했다. 이전 모델의 초당 19장과 비교하면 약 7.3배다. 논문은 모델 메모리도 최대 168배 줄었다고 보고했다. 다만 가장 작은 모델의 절대 크기는 초록과 본문에 서로 다르게 적혀 있어, 여기서는 배수만 옮긴다. 초당 139장은 AI 추론 속도이지 드론의 카메라, 제어기, 비행 전체가 모두 그 속도로 움직였다는 뜻은 아니다.

전기와 배터리도 덜 썼을까?

논문은 드론 전체가 아니라 AI를 계산하는 GAP8 칩의 전력을 측정했다. 가장 작은 모델은 절전 설정에서 평균 약 34mW를 쓰고 영상 한 장을 판단하는 데 약 0.4mJ가 들었다. 최고 속도로 계산할 때는 모델들 모두 칩 전력이 평균 약 100mW였다. 더 빨리 계산하는 설정과 전기를 아끼는 설정이 다른 셈이다. 배터리가 실제로 몇 분 더 오래 갔는지, 드론 전체 전력은 얼마나 줄었는지는 측정 결과가 없다.

실제로 장애물을 피하며 날았을까?

정지한 장애물 네 개가 있는 U자 통로에서 목표 속도를 초속 0.5m로 맞추자, 가장 작은 모델은 다섯 번의 비행을 모두 끝까지 마쳤다. 이전 모델은 첫 구간부터 다섯 번 모두 통과하지 못했다. 여기서 ‘성공’은 장애물을 하나 피한 것이 아니라 통로의 세 구간을 모두 지나 끝까지 간 경우다. 연구진은 모델별로 속도 세 가지와 장애물 조건 두 가지를 나눠, 조건마다 다섯 번씩 총 90번 시험했다.

작기만 하면 언제나 더 좋았을까?

그렇지는 않았다. 정지 장애물 코스에서 목표 속도를 초속 1m로 높이자 가장 작은 모델은 다섯 번 모두 U자 회전을 끝내지 못했다. 더 큰 새 모델은 같은 조건에서 다섯 번 중 세 번 완주했다. 가장 작은 모델은 영상 시험에서도 방향 예측 오차가 큰 모델보다 높았다. 모델을 작게 만든 덕에 판단은 빨라졌지만, 빠르게 날며 급하게 돌아야 할 때는 방향을 정하는 능력이 부족해진 셈이다.

움직이는 장애물이 나오면 어땠을까?

두 번째 시험에서는 첫 장애물을 지난 뒤 통로 한가운데 새 장애물이 나타나게 했다. 가장 작은 모델은 초속 0.5m와 1m 조건에서 각각 다섯 번 중 세 번 전체 코스를 마쳤다. 초속 1.5m에서는 완주하지 못했다. 더 큰 새 모델은 같은 순서로 다섯 번 중 세 번, 다섯 번 모두, 다섯 번 중 두 번 완주했다. 느리게 날 때의 성공만 보고 빠른 비행까지 괜찮다고 말할 수 없는 이유다.

좋은 결과가 나온 이유는 모델을 줄여서일까?

그렇게만 보기는 어렵다. 이전 모델은 ‘어느 쪽으로 틀지’를 배운 사진과 ‘앞이 막혔는지’를 배운 사진이 서로 달랐다. 이번에는 사람이 드론을 몰며 찍은 한 장의 사진마다 방향 입력과 장애물 표시를 함께 붙였다. 정지한 장애물을 보면서도 빈틈 쪽으로 도는 장면을 배울 수 있었던 것이다. 연구진도 이전 모델이 못 하던 코스를 겨냥해 시험을 설계했다고 밝혔다. 이번 승리를 모델 경량화 하나의 효과로만 돌리면 중요한 절반을 놓친다.

이 결과를 실제 현장에 바로 적용해도 될까?

아직은 이르다. 비행장은 통제돼 있었고, 시험 횟수도 조건마다 다섯 번이었다. 조명 변화, 먼지, 바람, 갑자기 나타나는 사람, 배터리가 줄어드는 상황을 한꺼번에 검증한 것은 아니다. 학습용 영상에는 사람이 몰아 준 방향이 들어갔으므로, 사람의 운전 방식이 바뀌면 모델이 어떻게 반응할지도 더 봐야 한다. 드론이 더 빠른 속도에서 실패한 점도 실제 사용 전에 풀어야 할 문제다.

그렇다면 현재 기술은 어디까지 온 걸까?

이 연구는 작은 드론이 영상을 외부 서버로 보내지 않고도, 드론 안의 작은 칩으로 장애물을 보고 방향을 정하며 낯선 실내 코스를 날 수 있음을 보여줬다. 다만 잘 날았던 조건은 느린 속도와 정해진 시험 코스였다. 작은 AI를 만드는 기술은 ‘드론에 실을 수 있나’에서 ‘어떤 상황까지 믿고 맡길 수 있나’로 질문이 옮겨간 단계인 것 같다.

앞으로 필요한 연구

빠른 비행과 급회전에서도 작은 모델이 방향을 놓치지 않는 방법

바람, 어두운 조명, 먼지 속에서 반복 비행하며 실패율 확인하기

AI 칩뿐 아니라 드론 전체의 전력과 배터리 시간을 함께 측정하기

처음 보는 장애물 앞에서 자신 없는 판단을 알아차리고 감속하는 기술

모델 크기, 학습 자료, 8비트 변환의 효과를 따로 비교하는 실험

읽으면서 든 생각이나 질문

손바닥만 한 드론이 스스로 길을 고른다는 말은 꽤 근사하다. 그런데 이 드론이 길을 익힌 데에는 사람이 모은 영상과 사람이 몰았던 방향이 들어 있다. 드론 안에 AI가 있다는 사실만으로 드론 혼자 배운 것은 아니다. 어디서 배웠고, 어느 속도에서 시험했는지를 함께 봐야 ‘자율’이라는 말의 크기도 알 수 있을 것 같다.

드론이 외부 도움 없이 스스로 날더라도, 그 판단의 기준이 사람이 골라준 장면과 운전 기록으로 만들어졌다면 우리는 어디까지를 드론의 자율성이라고 부를 수 있을까?

원문: https://blog.naver.com/kjw6240_/224433576640

"손가락 위치는 의수가, 쥐는 힘은 사람이 정해봤다"

noteandwhy — Tue, 6 Oct 2026 01:41:09 +0900

논문 정보

제목: Shared human-machine control of an intelligent bionic hand improves grasping and decreases cognitive burden for transradial amputees

저자: Marshall A. Trout, Fredi R. Mino, Connor D. Olsen, Taylor C. Hansen, Masaru Teramoto, David J. Warren, Jacob L. Segil, Jacob A. George

저널: Nature Communications, 16, 10418

게재: 2025년 12월 9일

DOI: 10.1038/s41467-025-65965-9

한 문장 평가

“사용자가 얼마나 세게 쥘지는 직접 정하고 의수가 각 손가락을 물건에 붙이는 일을 거들자 더 안정적으로 잡고 신경도 덜 쓸 수 있었지만, 의수 사용자 네 명을 연구실에서 짧게 시험한 결과라 집에서도 하루 종일 편할지는 아직 모른다.”

이 논문은 대체 뭘 확인하고 싶었던 걸까?

요즘 전동 의수는 여러 손가락을 움직이고 다양한 모양으로 물건을 잡을 수 있다. 문제는 그 많은 관절을 팔에 남아 있는 근육 신호만으로 섬세하게 조종하기가 어렵다는 것이다. 손가락 하나를 조금 움직이려 했는데 다른 손가락까지 따라오거나, 컵을 잡았다가 힘을 너무 줘 찌그러뜨릴 수도 있다. 연구진은 모든 움직임을 사용자에게 맡기는 대신, 의수가 물건과 닿는 위치를 알아서 잡아주고 사용자는 쥐는 힘을 조절하게 하면 더 편해지는지 확인했다. 쉽게 말하면 운전은 사람이 하되, 차선 가운데를 유지하는 일은 기계가 살짝 거드는 것과 비슷하다.

진짜 일상생활에서 사용해본 걸까?

실제 팔 절단 환자가 물리적인 의수를 착용했다는 점에서는 시뮬레이션보다 현실에 가까웠다. 달걀 옮기기, 종이 집기, 얇은 일회용 컵을 입까지 가져가기처럼 일상에서 볼 법한 동작도 시험했다. 그래도 실험 장소는 연구실이었고, 연구진이 준비한 물건과 정해진 순서에 따라 짧게 진행됐다. 집에서 며칠 동안 요리하거나 옷을 입고, 예상하지 못한 물건을 잡아본 시험은 아니다. 논문도 장기간의 가정 내 임상시험이 필요하다고 선을 그었다.

어떤 의수와 기술을 사용했을까?

연구진은 판매 중인 다관절 의수인 TASKA Hand의 손가락 끝을 개조했다. 각 손가락에는 물건이 약 1.5cm 안으로 다가왔는지 보는 적외선 센서와, 실제로 닿았을 때 힘을 재는 압력 센서를 넣었다. 작은 신경망인 MLP는 센서 값을 보고 손가락이 물건까지 얼마나 더 움직여야 하는지 계산했다. 사용자의 팔에서는 32개 전극으로 근육 신호를 읽고, 수정된 칼만 필터가 각 손가락을 어떻게 움직이려는지 추정했다. AI가 사용자의 행동을 통째로 결정한 것은 아니다. 의수는 손가락을 물건 표면까지 데려갔고, 사용자는 그 상태에서 더 꽉 쥘지 힘을 풀지 정했다.

실험은 어떻게 진행했을까?

참가자는 팔 절단이 없는 사람 9명과 팔꿈치 아래가 절단된 사람 4명이었다. 팔 절단이 없는 참가자 중 6명은 깨지기 쉬운 모형을 2분 동안 옮기거나, 공을 2분 동안 떨어뜨리지 않고 드는 과제를 했다. 팔 절단 참가자 4명은 정해진 힘을 넘기지 않으면서 물체를 최대 2분 동안 들어야 했다. 동시에 불규칙하게 진동이 오면 버튼을 눌렀다. 버튼을 늦게 누를수록 의수 조종에 더 많은 정신을 쓰고 있다고 본 것이다. 연구진은 사람이 전부 조종했을 때와, 사람과 의수가 함께 조종했을 때를 비교했다.

그래서 실제로 더 잘 잡았을까?

팔 절단이 없는 참가자들의 깨지기 쉬운 물체 옮기기 성공률은 사람이 혼자 조종했을 때 59±23%였고, 공동 제어에서는 89±10%였다. 참가자 6명이 조건마다 두 번씩 한 시험, 총 12개의 성공률을 비교한 결과다. 공을 드는 시험에서는 평균 낙하 횟수가 2.33회에서 0.25회로 줄었다. 팔 절단 참가자 4명의 조건별 14회 시험에서는 물체를 떨어뜨리거나 망가뜨리지 않고 버틴 시간이 7.81±12.33초에서 51.56±45.0초로 늘었고, 평균 힘은 14.86N에서 9.74N으로 낮아졌다. 진동에 반응하는 시간도 0.74초에서 0.62초로 짧아졌다. 연구진은 이를 자신들이 정한 반응시간 범위에 대입해 인지 부담이 24% 줄었다고 해석했다. 다만 물체를 떨어뜨린 횟수는 9.64회에서 4.64회로 줄어드는 경향만 있었고, 통계적으로 확실한 차이는 아니었다.

왜 이런 차이가 생겼을까?

근육 신호만으로 손가락 여러 개를 동시에 움직이면 신호가 흔들리고 서로 섞일 수 있다. 작은 움직임이 갑자기 큰 힘으로 이어지기도 한다. 공동 제어에서는 의수가 각 손가락을 물건 표면까지 맞춰줬다. 사용자는 모든 손가락의 위치를 계속 신경 쓰지 않고 “조금 더 세게”나 “살짝 풀자”에 집중할 수 있었다. 물건이 작아 손가락이 많이 구부러진 상태라면, 남은 좁은 움직임 범위에 사용자의 명령을 다시 나눠 담아 미세하게 조절했다. 비유하자면 사용자가 쓸 수 있는 조절 다이얼을 더 촘촘하게 만들어준 셈이다. 실제 제어에서는 사람과 의수의 명령을 계속 섞었으며, 사람이 먼저 끝내고 기계가 이어받는 식은 아니었다.

공동 제어가 언제나 더 좋았을까?

그렇지는 않았다. 깨지기 쉬운 물체를 빠르게 옮기는 시험에서는 공동 제어가 성공률은 높였지만, 옮기는 속도와 인지 부담에서는 확실한 차이가 나오지 않았다. 일회용 컵 시험도 한 명만 정량적으로 비교했는데, 사람만 조종했을 때는 6번 모두 실패했고 공동 제어에서는 6번 중 4번 성공했다. 반면 컵을 입까지 가져가는 시간은 유의미하게 빨라지지 않았다. 연구진은 센서가 물건을 늦게 보거나 가려진 물건을 놓치면 보조가 늦을 수 있다고 설명했다. 사용자는 아직 잡을 생각이 없는데 의수가 먼저 손가락을 붙일 가능성도 논의했다. 이런 상황을 직접 반복 측정한 결과는 아니지만, 도움의 타이밍이 어긋나면 사용자가 의수와 씨름해야 할 수도 있다는 뜻이다.

이 연구에서 특히 조심해서 봐야 할 부분은 뭘까?

팔 절단 참가자는 4명뿐이었고 모두 남성이었다. 참가자들은 한 종류의 왼손 TASKA 의수와 연구용 소켓을 사용했으며, 장기간 익숙해진 자신의 의수로 시험한 것도 아니다. 일상 동작 중 성공률을 반복 측정한 컵 과제는 참가자 한 명의 결과였다. 배터리가 실제로 하루 동안 버티는지, 센서가 땀이나 먼지에 얼마나 견디는지, 집에서 몇 달 사용해도 도움이 유지되는지는 측정하지 않았다. 처음에는 편하지만 시간이 지나면 사용자가 기계의 도움에 익숙해지는지, 반대로 기계의 움직임 때문에 자기 손처럼 배우기 어려워지는지도 아직 답하지 못했다.

그렇다면 현재 기술은 어디까지 온 걸까?

이 논문이 직접 보여준 것은 손가락 끝의 센서와 작은 AI가 물건과 닿는 위치를 실시간으로 계산하고, 실제 절단 환자의 잡기 능력과 주의 부담을 개선할 수 있다는 점이다. 그렇다고 사용자의 의도를 완벽하게 읽거나 집안일을 알아서 해주는 손은 아니다. 내가 보기에 현재 가장 현실적인 모습은 사람이 “무엇을 어떻게 잡을지” 정하고, 의수가 “각 손가락을 어디에 붙일지” 거드는 방식인 것 같다. 혼자 다 하는 손을 만들기보다, 사용자에게 남겨둘 일과 의수가 거들 일을 잘 나누는 쪽이 먼저 쓸모를 보여준 셈이다.

앞으로 필요한 연구

집에서 수개월 동안 사용하는 장기 임상시험

나이, 성별, 절단 상태와 의수 경험이 다양한 참가자 비교

병뚜껑 열기와 신발끈 묶기 같은 복잡한 동작 시험

센서가 물건을 놓쳤을 때 바로 사용자에게 제어권을 돌려주는 기술

배터리, 무게, 통신 지연과 센서 내구성까지 포함한 완전 착용형 시스템

읽으면서 든 생각이나 질문

사람의 손은 물건을 잡을 때마다 손가락 관절 수십 개를 하나씩 계산하지 않는다. 많은 조정은 몸이 알아서 처리하고, 우리는 컵을 들겠다는 목적에만 집중한다. 좋은 의수도 사용자가 더 많은 명령을 잘 내리게 만드는 기계보다는, 굳이 생각하지 않아도 되는 일을 늘려주는 기계에 가까워야 할 것 같다.

의수가 사용자의 의도를 조금 앞질러 손가락을 움직이기 시작한다면, 그 행동은 어디까지 사용자의 행동이라고 할 수 있을까?

원문: https://blog.naver.com/kjw6240_/224432446121

"로봇이 새 일을 배워도예전 일을 잊지 않게 하려면"

noteandwhy — Tue, 6 Oct 2026 01:39:07 +0900

논문 정보

제목: Preserving and combining knowledge in robotic lifelong reinforcement learning

저자: Yuan Meng 외 7명

저널: Nature Machine Intelligence

게재: 2025년 2월 5일

DOI: 10.1038/s42256-025-00983-2

한 문장 평가

"열 가지 일을 차례로 배운 로봇은 평균 성공률 84%와 평균 망각 점수 0을 기록하고 배운 동작을 묶어 탁자도 치웠지만, 학습은 정돈된 시뮬레이션에서 과제마다 100만 단계씩 진행했고 실제 로봇에서는 더 배우지 않았다."

이 논문은 대체 뭘 확인하고 싶었던 걸까?

인공지능은 새로운 일을 배울 때 예전에 배운 일을 갑자기 못하게 되는 경우가 많다. 버튼 누르기를 열심히 가르쳤더니 전에 잘하던 서랍 닫기를 잊어버리는 식이다. 이를 ‘파국적 망각’이라고 부른다. 연구진은 로봇이 여러 작업을 하나씩 차례로 배우면서 이전 기술을 기억하고, 나중에는 기억한 기술들을 이어 붙여 더 긴 작업까지 할 수 있는지 확인했다. 사람처럼 평생 배우는 로봇을 만들 수 있는지 작은 시험을 해본 셈이다.

로봇은 기억을 어떻게 정리했을까?

연구진이 만든 LEGION은 새 과제를 만날 때마다 내부의 ‘지식 공간’을 살펴봤다. 예전에 배운 일과 비슷하면 기존 지식에 연결하고, 성격이 다른 일이면 새로운 묶음을 만들었다. 서류를 아무 상자에나 쌓는 대신, 필요한 만큼 새 서랍을 만들며 분류하는 것과 비슷하다. 여기에는 디리클레 과정 혼합 모형이라는 방법이 사용됐다. 이름은 꽤 무섭지만, 핵심은 저장해야 할 과제 수를 처음부터 정하지 않아도 된다는 것이다.

로봇에게 과제의 이름도 알려줬을까?

관절과 물체 위치만 보고 과제를 구분하게 하지는 않았다. 연구진은 사전학습된 언어모델 RoBERTa를 이용해 “문을 열어라”, “서랍을 닫아라” 같은 설명을 숫자 묶음으로 바꿨다. 로봇은 이 언어 정보와 현재 물체 위치를 함께 보고 어떤 지식을 꺼낼지 정했다. 언어모델이 작업 순서를 직접 계획한 것은 아니다. 파일에 이름표를 붙여 로봇이 알맞은 서랍을 찾도록 도와준 쪽에 가깝다.

어떤 일들을 어떤 순서로 배웠을까?

과제는 손 뻗기, 밀기, 집어서 옮기기, 문 열기, 수도꼭지 열기, 서랍 닫기, 버튼 누르기, 말뚝 뽑기, 창문 열기, 창문 닫기까지 모두 열 가지였다. 연구진은 쉬운 일부터 어려운 일로 순서를 정했다. 로봇은 한 과제를 100만 단계 동안 연습한 뒤 다음 과제로 넘어갔고, 1만 단계마다 지금까지 나온 모든 과제를 다시 시험했다. 열 가지를 한 번 도는 데 총 1천만 번의 학습 단계가 필요했던 셈이다.

‘한 번만 주어진 과제’라면 정말 한 번 연습한 걸까?

논문에서 말하는 ‘한 번만 주어진 과제’는 시범을 딱 한 번 봤다는 뜻이 아니다. 학습 순서에서 각 과제가 한 구간씩만 등장했다는 뜻이다. 각 구간에서는 100만 단계 동안 반복해서 연습했다. 따라서 이 연구는 한두 번의 시범으로 기술을 익히는 연구가 아니라, 충분히 연습한 기술을 다음 과제를 배운 뒤에도 지킬 수 있는지 본 연구다. 표현만 보고 “한 번 보고 배웠다”고 이해하면 로봇이 조금 억울할 정도로 훈련량이 많다.

결과는 정말 예전 일을 잊지 않았을까?

다섯 개의 무작위 시드로 반복한 시뮬레이션에서 열 과제를 모두 배운 뒤 평균 성공률은 0.84였다. 망각 점수는 평균 0.0이었다. 이 점수는 각 과제를 처음 배운 직후와 모든 학습이 끝난 뒤의 성공률 차이를 계산한 값이라, 0이면 평균적으로 성능이 떨어지지 않았다는 뜻이다. 먼저 배운 기술이 다음 학습에 얼마나 도움을 줬는지를 나타내는 전이 점수는 0.10이었다.

나중에 배운 일이 예전 일에 도움을 주기도 했을까?

문 열기 과제는 처음 배운 직후 성공률이 0.4였지만, 수도꼭지 열기를 배운 뒤 0.8로 올라갔다. 연구진은 수도꼭지를 돌리며 배운 움직임이 문을 여는 데도 도움이 됐을 가능성이 있다고 해석했다. 밀고 당기는 동작도 나중에 서랍을 닫는 데 사용됐다. 새로운 공부가 옛 기억을 지우는 대신, 가끔은 예전 실력까지 끌어올린 것이다.

언어와 기억 서랍이 실제로 도움이 됐을까?

일반적인 강화학습 모델 SAC는 언어 정보 없이 과제를 차례로 배웠을 때 최종 평균 성공률이 약 0.2였다. 언어 정보를 추가하자 0.45까지 올라갔다. 모든 지식을 하나의 큰 묶음에 넣은 LEGION 변형은 0.6을 기록했고, 과제에 따라 지식 묶음을 늘리는 완전한 LEGION은 0.84에 도달했다. 과제의 이름표와 지식을 나누어 보관하는 방식이 각각 성능에 도움을 준 셈이다.

예전 일을 다시 연습하면 더 빨리 기억해냈을까?

연구진은 손 뻗기, 밀기, 수도꼭지 열기, 버튼 누르기, 창문 닫기 다섯 과제를 세 차례 반복해서 학습시켰다. 기억 저장 공간에는 최근 세 과제의 자료만 남겼다. 첫 번째 과제의 자료가 완전히 사라진 뒤 다시 그 과제를 만났을 때도, 로봇은 처음보다 빠르게 성능을 회복했다. 첫 번째와 두 번째 학습을 비교하면 평균 향상 폭은 11.96%, 첫 번째와 세 번째를 비교하면 21.36%였다. 완전히 기억하고 즉시 성공한 것은 아니지만, 다시 배우는 속도가 빨라졌다.

실제 로봇도 같은 일을 했을까?

학습은 주로 시뮬레이션에서 진행했고, 완성된 모델을 KUKA iiwa 로봇 팔에 옮겼다. 실제 실험에서는 리얼센스 카메라로 물체를 보고 열 가지 작업을 각각 최소 세 번 시험했다. 밀기, 집어서 옮기기, 문 열기처럼 어려운 작업도 성공률 0.67 이상을 기록했다. 로봇은 이미 배운 기술 일곱 개를 이어 붙여 ‘탁자 치우기’를 수행했고, 순서를 바꾼 두 가지 사례와 커피 만들기도 시연했다. 긴 작업들은 성공 영상으로 제시됐지만 반복 횟수와 전체 성공률은 따로 보고되지 않았다.

실제 환경은 우리 집과 얼마나 달랐을까?

실험대의 물체에는 위치를 쉽게 찾을 수 있는 에이프릴태그가 붙어 있었다. 로봇은 팔끝 위치, 물체 자세, 목표 위치처럼 잘 정리된 정보를 입력으로 받았다. 처음 보는 컵을 영상만 보고 알아내거나, 사람이 갑자기 물건을 옮기는 상황은 시험하지 않았다. 실제 로봇에서 모델의 값도 고정돼 있었다. 로봇이 일하면서 계속 배운 것이 아니라, 시뮬레이션에서 배운 기억을 실제 팔로 꺼내 보여준 것이다.

모든 일을 한꺼번에 배우는 것보다 좋았을까?

그렇지는 않았다. 열 과제를 동시에 보여주는 다중과제 학습에서는 최종 평균 성공률이 0.94로, 차례로 배운 LEGION의 0.84보다 높았다. LEGION의 장점은 최고 점수가 아니라, 앞으로 어떤 과제가 들어올지 모르는 상태에서 하나씩 배우는 조건을 다뤘다는 데 있다. 대신 성능 일부를 포기했고 쉬운 일부터 어려운 일로 이어지는 학습 순서도 미리 정해줬다. 세상에 공부 순서까지 완전히 자유로운 평생학습은 아직 없었다.

정말 아무 자료도 보관하지 않고 기억했을까?

LEGION도 이전 경험을 저장해 다시 사용하는 재생 버퍼에 의존했다. 연구진은 이 부분이 강화학습 알고리즘인 SAC에서 비롯된다고 설명했지만, 과거 자료 없이 기억을 유지한 것은 아니다. 보상 함수도 과제마다 사람이 미리 정해줬다. 무엇을 성공으로 볼지, 어떤 행동에 점수를 줄지는 로봇이 스스로 발견하지 않았다. 기억 관리 방법은 새로웠지만 교과목과 채점표는 여전히 사람이 만든 셈이다.

그렇다면 현재 기술은 어디까지 온 걸까?

로봇은 정해진 열 가지 조작 기술을 차례로 배우고, 예전 기술을 크게 잊지 않으며, 일부 기술을 묶어 더 긴 작업에 사용할 수 있었다. 이것은 매번 로봇을 처음부터 다시 훈련해야 하는 문제를 줄일 가능성을 보여준다. 현재의 ‘평생학습’은 열린 세상에서 스스로 공부할 거리를 찾는 단계는 아니다. 사람이 고른 과제와 보상, 표식이 붙은 물체 안에서 배운 내용을 비교적 잘 정리하는 단계에 더 가깝다.

앞으로 필요한 연구

과거 경험을 계속 저장하지 않아도 기술을 유지하는 방법

처음 보는 물체와 어수선한 공간에서도 과제를 구분하는 기술

쉬운 순서가 아닌 임의의 과제 순서에서도 기억을 지키는 연구

실제 로봇이 작업하면서 안전하게 계속 배우는 방법

목표와 보상까지 사람의 설계 없이 수정할 수 있는 기술

읽으면서 든 생각이나 질문

이 로봇이 기억한 것은 사람이 정한 열 가지 과제와 성공 기준이었다. 무엇을 배울지 정하고, 이름표를 붙이고, 잘했는지 채점한 사람까지 기억의 일부라고 볼 수도 있다. 로봇의 기억이 늘어날수록 로봇이 독립적으로 똑똑해지는 것인지, 사람의 지식을 더 정교하게 정리하는 것인지 경계가 조금 흐려지는 것 같다.

배울 과제와 성공의 기준을 모두 사람이 정해줬다면, 그 로봇이 쌓은 경험은 정말 로봇 자신의 기억이라고 부를 수 있을까?

원문: https://blog.naver.com/kjw6240_/224432445252

"카메라 앞에서 스스로를 학습한 로봇"

noteandwhy — Thu, 1 Oct 2026 00:34:31 +0900

논문 정보

제목: Teaching robots to build simulations of themselves

저자: Yuhang Hu, Jiong Lin, Hod Lipson

저널: Nature Machine Intelligence

게재: 2025년 2월 25일

DOI: 10.1038/s42256-025-01006-w

한 문장 평가

"로봇은 카메라 한 대로 자기 몸의 모양을 익히고 팔이 휘어진 뒤 내부 모델도 다시 맞췄지만, 깨끗한 배경과 고성능 컴퓨터가 필요한 실험이라 현장에서 스스로 회복했다고 말하기에는 아직 이르다."

이 논문은 대체 뭘 확인하고 싶었던 걸까?

로봇을 만들 때는 보통 사람이 설계도와 관절 길이를 입력해 가상의 로봇을 먼저 만든다. 그래야 팔을 움직였을 때 손이 어디로 가는지, 중간에 몸이 장애물과 부딪히지는 않는지 계산할 수 있다. 연구진은 이 설계도를 사람이 직접 만들어주지 않아도 로봇이 자기 모습을 촬영한 영상만 보고 몸의 모양과 움직임을 배울 수 있는지 확인했다. 쉽게 말하면 “네 팔이 어떻게 생겼는지 내가 알려줄게”가 아니라 “직접 움직여보고 네 몸을 알아봐”라고 한 셈이다.

로봇이 정말 거울을 본 걸까?

논문은 거울을 비유로 사용했지만, 실제 실험에는 고정된 RGB 카메라 한 대가 쓰였다. 로봇이 여러 관절을 움직이면 카메라는 자세가 달라질 때마다 사진을 찍었다. 연구진은 이 과정을 아기가 목적 없이 팔다리를 움직여보는 모습에 빗대어 ‘운동 옹알이’라고 불렀다. 사진 속 로봇과 당시의 관절 각도를 짝지어 보여주자, 인공지능은 어떤 각도에서 팔이 공간의 어느 부분을 차지하는지 배웠다.

평면 사진만 보고 입체적인 몸을 어떻게 배웠을까?

연구진은 FFKSM이라는 자기 몸 모델을 만들었다. 이 모델은 공간 속 한 점을 찍고 “관절이 이 각도라면 이 자리에 로봇의 몸이 있을까?”를 계속 묻는다. 수많은 점에 같은 질문을 던지면 팔의 입체적인 모양이 나타난다. 사진 한 장에서 바로 완벽한 3차원 설계도를 뽑은 것은 아니다. 여러 자세에서 찍은 사진과 관절 센서 값을 모아, 예상한 모습과 실제 사진의 차이가 줄어들도록 모델을 반복해서 학습시켰다.

어떤 로봇과 장비를 사용했을까?

실험에는 연구진이 3D 프린터로 만든 두 종류의 4관절 로봇 팔이 사용됐다. 두 로봇은 일부 관절 방향과 팔의 모양이 달랐다. 로봇에는 엔비디아 젯슨 나노가 달려 있었고, 인텔 리얼센스 D435 카메라는 깊이 정보 없이 일반 RGB 영상만 촬영했다. 팔은 검은색과 파란색으로 칠했고 배경은 단순하게 정리했다. 카메라가 사람 많은 작업장 한복판에서 로봇을 찾아낸 것이 아니라, 로봇만 잘 보이는 작은 촬영장을 마련해준 셈이다.

로봇은 자기 몸을 얼마나 많이 움직였을까?

각 관절의 움직임을 9도 간격으로 나누어 여러 자세를 만들었다. 관절이 목표 각도에서 0.5도 안으로 들어오면 카메라가 사진을 찍었고, 1초 안에 도착하지 못하면 충돌이 일어난 것으로 보고 그 방향의 움직임을 멈췄다. 이렇게 관절 각도와 100×100픽셀 사진을 묶은 자료 1만2천 개를 모았다. 그중 8천 개는 학습, 2천 개는 학습 상태 확인, 나머지 2천 개는 최종 시험에 사용했다.

그래서 자기 몸을 제대로 그려냈을까?

연구진은 두 로봇의 전체 팔과 두 번째 로봇의 끝부분을 따로 예측하게 했다. 시험용 사진 2천 장에서 FFKSM은 훈련 사진을 무작위로 가져오는 방법과 관절 각도가 가장 비슷한 사진을 고르는 방법보다 세 조건 모두에서 낮은 이미지 오차를 기록했다. 다만 실제 3차원 모양을 직접 재서 비교한 것은 아니다. 예상한 모습을 다시 2차원 사진으로 그린 뒤 실제 사진과 비교했다. 연구진도 이를 논문의 한계로 따로 밝혔다.

카메라 위치가 바뀌어도 괜찮았을까?

보충 실험에서는 카메라를 로봇으로부터 80cm, 100cm, 120cm 떨어진 곳에 놓고 각각 세 번씩 모델을 학습했다. 사진 속 로봇 크기를 보정한 평균 제곱 오차는 각각 0.003486, 0.003684, 0.003748이었다. 세 거리에서 큰 차이는 없었지만, 연구진은 로봇이 화면 밖으로 나가지 않으면서도 가능한 한 크게 보이도록 카메라를 놓는 것이 좋다고 설명했다. 어디에 대충 세워둬도 되는 카메라까지는 아니었던 셈이다.

배운 몸의 모양을 실제 움직임에도 사용했을까?

로봇은 직접 배운 모델을 이용해 팔끝으로 입체적인 나선 모양을 따라갔다. 장애물을 피해 목표 지점까지 움직이는 시험도 진행했다. 이때 장애물의 위치와 크기는 미리 주어졌고, 경로는 RRT라는 기존 탐색 알고리즘이 찾았다. 자기 몸 모델은 “이 자세를 취하면 팔이 장애물에 닿는가?”를 확인하는 역할을 맡았다. 성공 장면은 제시됐지만, 몇 번 시도해서 몇 번 성공했는지와 다른 경로에서의 평균 오차는 보고되지 않았다.

팔이 휘어지자 로봇은 어떻게 반응했을까?

연구진은 두 번째 로봇의 팔 일부를 일부러 휘어진 부품으로 바꿨다. 원래 몸을 기준으로 예상한 사진과 카메라에 찍힌 모습이 달라지자 내부 모델이 더는 현실과 맞지 않는다는 사실을 확인할 수 있었다. 이후 휘어진 상태에서 자료를 10개, 100개, 1천 개, 1만 개씩 모아 모델을 다시 학습시켰다. 자료가 늘어날수록 예상한 모습이 실제 휘어진 팔과 가까워졌다. 여기서 ‘회복’한 것은 부러진 팔 자체가 아니라 로봇이 머릿속에 가지고 있던 자기 몸의 지도였다.

그럼 고장 난 뒤에도 일을 계속할 수 있었을까?

논문은 휘어진 몸에 맞춰 예측 모델을 고치는 데까지 보여줬다. 고장 전과 같은 작업을 다시 수행해 성공률이 얼마나 회복됐는지는 측정하지 않았다. 로봇이 손상 원인을 판단하거나 부품을 수리한 것도 아니다. 새 영상을 모아 모델을 미세조정하는 과정도 필요했다. 따라서 “로봇이 스스로 고장을 고쳤다”보다는 “몸이 달라졌을 때 내부 지도를 다시 그릴 가능성을 보여줬다”고 표현하는 편이 정확하다.

작은 모델이면 로봇 안에서도 바로 돌아갔을까?

모델 용량은 333KB로, 연구진이 비교한 이전 방식의 1.1MB보다 작았다. 그렇다고 계산까지 가벼웠다는 뜻은 아니다. 100×100×64개의 공간 지점을 확인해 한 번의 입체적인 몸 모양을 만드는 데 데스크톱용 RTX 3090 GPU에서 0.3초가 걸렸다. 로봇에는 젯슨 나노가 달려 있었지만, 논문은 같은 계산을 젯슨에서 얼마나 빠르고 적은 전력으로 처리했는지 보고하지 않았다. 작은 가방이라고 해서 안에 든 물건까지 가볍다고 단정할 수는 없는 셈이다.

이 결과를 실제 작업장에도 적용할 수 있을까?

아직은 넘어야 할 조건이 많다. 로봇은 단순한 배경 앞에 고정됐고, 팔을 쉽게 분리하기 위해 색깔도 구분해 칠했다. 장애물의 위치와 크기도 미리 알고 있었다. 시험한 로봇은 두 종류의 단순한 4관절 팔이었으며, 사람과 부딪히는 상황이나 카메라가 가려지는 상황은 다루지 않았다. 조명이 달라지고 먼지가 쌓이며 물체가 계속 오가는 공장에서는 자기 몸부터 영상에서 찾아내는 일이 훨씬 어려워진다.

그렇다면 현재 기술은 어디까지 온 걸까?

로봇이 사람이 만든 정확한 설계도 없이도 영상과 관절 센서만으로 자기 몸의 대략적인 모양을 배울 수 있는 단계까지는 왔다. 몸이 바뀌면 새 자료를 받아 내부 모델을 다시 맞추는 것도 가능했다. 아직은 로봇이 현장에서 혼자 손상을 발견하고 작업을 이어가는 수준이 아니다. 현재 기술은 “내 몸에 무슨 일이 생겼는지 스스로 해결하는 로봇”보다 “지금 알고 있는 내 몸과 실제 모습이 다르다는 것을 계산할 수 있는 로봇”에 더 가깝다.

앞으로 필요한 연구

복잡한 배경과 조명에서도 로봇이 자기 몸만 정확히 찾아내는 기술

작은 컴퓨터에서도 몸의 모양을 실시간으로 계산하는 방법

손상 뒤 실제 작업 성공률까지 회복되는지 확인하는 반복 실험

여러 관절을 가진 로봇과 몸이 휘는 소프트 로봇으로 범위를 넓히는 연구

적은 자료로 몸의 변화를 배우면서 기존 움직임은 잊지 않는 기술

읽으면서 든 생각이나 질문

이 연구에서 로봇은 자기 몸을 ‘느낀’ 것이 아니라, 관절을 움직였을 때 카메라에 어떤 모습이 나타날지 계산했다. 그런데 사람도 눈을 감은 채 팔을 뻗을 때 머릿속의 몸 지도를 사용한다. 출발점은 전혀 다르지만, 겉으로 드러나는 기능만 놓고 보면 둘의 경계가 생각보다 흐릿해 보인다.

자기 몸을 정확히 예측하는 능력이 ‘자기 자신을 안다’는 뜻이라면, 우리는 어느 순간부터 계산을 자아라고 불러야 할까?

원문: https://blog.naver.com/kjw6240_/224427673248

"말을 알아듣는 로봇에게도 동작 사전이 필요했다"

noteandwhy — Thu, 1 Oct 2026 00:14:47 +0900

논문 정보

제목: A robot operating system framework for using large language models in embodied AI

저자: Christopher E. Mower 외 22명

저널: Nature Machine Intelligence

게재: 2026년 3월 16일

DOI: 10.1038/s42256-026-01186-z

한 문장 평가

"로봇이 사람의 말을 여러 단계의 행동으로 바꾸고 일이 꼬이면 계획도 고쳤지만, 미리 준비된 동작과 구체적인 사람의 조언이 없으면 아직 쉽게 길을 잃었다."

이 논문은 대체 뭘 확인하고 싶었던 걸까?

사람은 로봇에게 “관절을 30도 돌린 다음 집게를 4cm 벌려”라고 말하고 싶지 않다. 그냥 “커피 만들어줘”라고 말하고 싶다. 연구진은 거대언어모델이 이런 일상적인 부탁을 알아듣고, 로봇이 실행할 수 있는 여러 동작으로 바꿔줄 수 있는지 확인했다. 이를 위해 언어모델과 로봇 운영체제인 ROS를 연결한 ‘ROS-LLM’이라는 틀을 만들었다. 쉽게 말하면 언어모델을 로봇의 손발이 아니라, 해야 할 일을 순서대로 정하는 작업반장 자리에 앉힌 셈이다.

언어모델이 로봇의 팔과 다리를 직접 움직였을까?

언어모델이 모터를 직접 제어한 것은 아니다. 로봇에게는 물체 찾기, 집기, 내려놓기, 특정 장소로 이동하기처럼 미리 만들어진 ‘기본 동작’이 있었다. 언어모델은 이 동작들의 이름과 설명을 읽고 필요한 것을 골라 순서를 정했다. 요리사가 없는 재료를 만들어낼 수 없듯, 로봇도 동작 목록에 없는 행동은 제대로 실행할 수 없다. 그래서 이 연구에서 언어모델이 잘했다는 말은 새로운 움직임을 처음부터 만들어냈다는 뜻보다, 준비된 동작을 상황에 맞게 이어 붙였다는 뜻에 가깝다.

로봇은 사람의 부탁을 어떻게 행동으로 바꿨을까?

사용자가 문장으로 부탁하면 언어모델은 현재 센서 정보, 사용할 수 있는 동작 목록, 이전에 실패했는지를 함께 읽었다. 그다음 한 번에 동작 하나를 고르거나, 전체 순서를 만들거나, 파이썬 코드와 행동 트리를 작성했다. 한 동작씩 고르면 주변 상황이 바뀔 때 대응하기 쉽지만 언어모델을 계속 불러야 한다. 반대로 처음부터 전체 계획을 만들면 빠르게 진행할 수 있지만, 중간에 컵이나 상자가 움직였을 때 계획이 금방 낡아버린다. 미리 여행 일정을 짜는 것과 갈림길마다 지도를 다시 보는 것의 차이와 비슷하다.

처음 보는 동작도 가르칠 수 있었을까?

연구진은 사람이 로봇 팔을 직접 잡고 움직여 젓기, 붓기, 프라이팬 흔들기, 식탁 닦기 같은 동작을 보여줬다. 로봇은 이 움직임을 ‘동적 움직임 프리미티브’라는 방식으로 기록했다. 복잡한 궤적을 처음부터 다시 계산하기보다, 사람이 보여준 움직임의 모양을 재사용하는 방법이다. 이렇게 배운 동작에 이름과 설명을 붙여 목록에 추가하자, 언어모델은 “파스타를 만들어줘”라는 부탁에 맞춰 필요한 동작을 골랐다. 다만 다양한 주방과 재료에서 반복 시험한 결과는 아니어서, 한 번 배운 동작을 어디서나 능숙하게 쓴다고 보기는 어렵다.

어떤 로봇들이 무슨 일을 했을까?

UR5 로봇 팔은 커피를 만드는 데 필요한 12개의 동작을 차례로 실행했다. ViperX 300 로봇 팔은 피펫과 시험지를 사용해 산성도를 확인하는 화학 실험을 따라 했다. 두 대의 KUKA 로봇은 에어하키를 했고, 네 발로 걷는 ANYmal과 로봇 팔을 합친 ALMA는 주방으로 이동해 건강한 간식을 가져왔다. 사과와 피자가 놓여 있었는데 언어모델은 사과를 골랐다. 적어도 건강한 간식이 무엇인지는 사람과 의견이 비슷했던 모양이다.

진짜 생활환경에서도 시험한 걸까?

시뮬레이션에만 머물지는 않았다. 여러 종류의 실제 로봇이 물건을 집고 이동했다. 그렇다고 평범한 가정이나 실제 화학 연구실에 그대로 풀어놓은 실험은 아니다. 주방과 실험대는 연구용으로 꾸민 공간이었고, 카메라가 물체 위치를 쉽게 찾을 수 있도록 에이프릴태그라는 표식을 붙인 경우가 많았다. 따라서 실제 로봇에서 작동했다는 점은 의미가 있지만, 어수선한 집이나 사람이 오가는 작업장에서도 똑같이 움직인다는 뜻은 아니다.

숫자로 보면 얼마나 잘했을까?

화학 실험에서는 네 가지 과제를 놓고 여러 언어모델을 비교했다. 풀이 예시를 주지 않았을 때 DeepSeek-7B, Qwen-7B, Llama-8B는 네 과제를 모두 실패했다. 예시를 보여주자 각각 2개, 3개, 1개 과제에 성공했다. 훨씬 큰 Llama-70B는 예시가 있든 없든 4개 중 3개에 성공했다. 논문의 그림 설명에는 각 조건을 두 번 시험했다고 적혀 있지만, 결과 표는 과제별 성공 여부만 0과 1로 정리했다. 그래서 이 숫자를 대규모 성공률처럼 받아들이기는 어렵다. 그래도 작은 모델에 예시 하나가 제법 도움이 됐고, 큰 모델도 완벽하지 않았다는 흐름은 분명했다. 전체 실험 결과

움직임 자체도 더 좋아졌을까?

에어하키 실험에서는 언어모델이 조절할 만한 숫자를 찾아주고, 별도의 최적화 프로그램이 시뮬레이션에서 200번 시험하며 값을 다듬었다. 그 결과 시뮬레이션에서 공을 제대로 치는 비율은 34.0%에서 46.6%로 올랐다. 실제 로봇에서는 사람이 손으로 값을 맞췄을 때 30.0%였던 성공률이 52.0%까지 올라갔다. 여기서도 언어모델이 직접 연습한 것은 아니다. 언어모델은 “이 숫자들을 조절해보자”고 범위를 좁혔고, 반복 실험은 최적화 프로그램이 맡았다.

멀리 떨어진 사람도 로봇을 도울 수 있었을까?

유럽에 있는 사람이 채팅으로 지시하고, 아시아에 있는 로봇이 이를 실행하는 시험도 진행했다. 참가자 7명 모두 장애물을 다루고 물체를 옮기는 두 과제를 마쳤다. 평균 완료 시간은 첫 번째 과제가 6분 9초, 두 번째 과제가 9분이었고 통신에는 약 2~3초의 지연이 있었다. 성공했다는 점은 흥미롭지만, 참가자가 7명뿐이고 정해진 과제를 수행한 실험이다. 재난 현장처럼 통신이 끊기거나 주변이 계속 바뀌는 상황까지 검증한 것은 아니다.

일이 꼬이면 로봇이 알아서 고쳤을까?

로봇이 상자를 집으려는 순간 연구진이 상자를 옮긴 실험이 있었다. 첫 시도는 실패했다. 사람이 “위치를 다시 확인하고 집어”라고 알려주자 로봇은 상자를 다시 찾고 작업을 마쳤다. 두 번째 시험에서는 앞서 받은 조언을 프롬프트에 넣어주자, 새 조언 없이도 같은 문제를 해결했다. 이것은 로봇이 스스로 평생 기억을 만든 것과는 다르다. 연구진이 이전 조언을 다시 읽을 수 있게 넣어준 것이다. 그래도 실패한 계획을 무작정 반복하지 않고, 센서를 다시 확인하는 행동으로 바꿀 수 있다는 점은 보여줬다.

사람이 조언하면 언제나 문제가 풀렸을까?

“순서가 틀렸어”처럼 두루뭉술하게 말하면 큰 도움이 되지 않았다. “파란 큐브를 먼저 집고 그다음 빨간 큐브 위에 놓아”처럼 무엇을 어떻게 바꿔야 하는지 말해야 했다. 사람의 조언을 받을 수 있다는 것과 사람의 의도를 정확히 알아듣는 것은 다른 문제인 셈이다. 언어모델은 “다른 큐브”와 “그 나머지 큐브”처럼 비슷해 보이는 표현에도 서로 다른 계획을 만들었다. 말을 편하게 시킬 수는 있었지만, 말 한마디를 꽤 신중하게 골라야 했다.

언어모델이 없는 동작을 만들어내기도 했을까?

그런 문제도 있었다. 동작 목록에는 ‘한 숟갈 뜨기’만 있는데 세 숟갈을 요구하면, 같은 동작을 세 번 실행하지 않고 존재하지 않는 ‘세 숟갈 뜨기’라는 동작을 만들어내기도 했다. 연구진은 이를 ‘행동 환각’이라고 설명했다. 예시를 보여주면 줄어들었지만 완전히 사라지지는 않았다. 사람과 자연스럽게 대화하는 능력이 곧 로봇을 안전하게 움직이는 능력은 아니라는 뜻이다.

이 연구에서 가장 조심해서 봐야 할 부분은 뭘까?

커피 만들기와 간식 배달처럼 인상적인 장면이 많지만, 여러 실험은 성공 사례를 보여주는 데 초점이 맞춰져 있었다. 몇 번 시도해서 몇 번 성공했는지 정확한 분모가 없는 과제도 있다. 로봇이 사용할 기본 동작은 전문가가 미리 만들어야 했고, 물체를 찾기 위해 표식을 붙인 환경도 사용했다. 언어모델은 로봇 안에서 실행된 것이 아니라 데이터센터에서 불러오는 형태였기 때문에 네트워크가 끊겼을 때의 성능과 전력 소비도 확인되지 않았다.

그렇다면 현재 기술은 어디까지 온 걸까?

지금의 언어모델은 준비가 잘된 로봇에게 복잡한 일을 시키는 ‘상위 관리자’ 역할을 할 수 있다. 사람의 부탁을 여러 단계로 나누고, 실패했다는 신호를 받으면 다른 동작을 골라볼 수도 있다. 하지만 로봇이 무엇을 보고 어떻게 움직일지는 여전히 센서 시스템과 기본 동작 목록에 크게 의존한다. 무엇이든 알아서 배우는 만능 로봇이라기보다, 잘 정리된 도구 상자에서 필요한 도구를 꽤 영리하게 꺼내는 단계에 가까워 보인다.

앞으로 필요한 연구

실행 전에 없는 동작과 위험한 순서를 자동으로 걸러내는 기술

지시가 애매할 때 추측하지 않고 사람에게 다시 묻는 방법

이전 실패와 조언을 새로운 상황에도 맞게 기억하는 기술

표식을 붙이지 않은 복잡한 공간에서 물체를 정확히 찾는 연구

통신 장애와 돌발 상황을 포함한 대규모 장기 안전성 시험

읽으면서 든 생각이나 질문

이 논문을 보고 있으면 로봇의 똑똑함이 어디에 들어 있는지 헷갈리기 시작한다. 말을 이해하는 언어모델도 중요하지만, 사용할 동작을 만든 사람과 센서를 연결한 기술자도 빠질 수 없다. 로봇이 멋지게 커피를 완성한 순간은 한 모델의 능력이라기보다, 여러 사람이 미리 준비한 지식이 한곳에서 이어진 결과에 더 가까운 것 같다.

로봇이 인간이 골라서 이름 붙인 동작 안에서만 판단한다면, 그 로봇의 지능은 언어모델에 있는 걸까, 동작을 만든 사람에게 있는 걸까?

원문: https://blog.naver.com/kjw6240_/224427657399