글 목록)
1화 : https://www.coplay.kr/community/posts/161

안녕하세요!
지난번, 로봇 부품을 3D 프린터로 뽑으려는 와중 압도적인 제작 시간에 그만 정신을
잃은 르린이(LeRobot 어린이라는 뜻 ㅎ) 지나가던사람입니다.

아무래도 그 이후 3D 프린터는 어떻게 되었는지 궁금해하는 사람이 계실거 같아서..
현재진행형으로 열심히 부품 뽑으라고 굴리고 있습니다

(실제 동작 방법과는 무관합니다)

지금 이 글을 쓰는 현재까지도 옆에서 며칠 째 무급 야간 노동으로 열심히 부품을 뽑고 있습니다..

(며칠 째 야근 중인 3D 프린터 군(추정 나이: 만 2세))

그래서 아직 부품도 제작하고 있고 다른 주문한 부품들도 도착하려면
시간이 걸리고 해서 로봇 제작기가 불가피하게 미뤄지고 말았습니다

~~(그래서 이제 뭐함?)~~

그래서 당분간은 로봇이 도착하기 전에 다른 주제들에 대해서 글을 써보려고 하는데요

LeRobot이 사용하는 학습 방법인 모방 학습(Imitation Learning)에 대해서 매우 쉽게
모두가 이해할만한 낮은 눈높이(= 제 눈높이)로 설명해보고자 합니다

우선 모방 학습을 설명하기에 앞서서
이해에 도움이 되는 사례를 하나 보여드리고자 합니다

이 글을 읽으시는 독자 분들도 '자식은 부모의 거울이다.' 라는 말을
한번 즈음은 들어보셨을거라고 생각이 됩니다!

자식은 무의식적으로 부모의 말이나 행동거지 등을
배우게 된다는 뜻이니까 부모의 행동도 조심해야 한다는 말이죠~
~~(바른 생활 어린이 이전에 바른 생활 어른이가 있다)~~

위의 영상을 보신다면 한 살 짜리 아이가 벌써부터 사투리 억양을 완벽히 구사하고
있는 것을 볼 수 있습니다.

과연 아이가 저 사투리를 배울 때 누군가가 사투리는 이렇게 말해야 한다고
가르치거나 했었을까요?

저 아이는 자연스럽게 유창한 사투리를 지닌
부모님의 말투를 따라 저런 유창한 사투리 보유자가 되었을 것입니다.

모방 학습도 저 아이의 행동과 비슷한 학습 방식을 지니고 있습니다.
주어진 행동 데이터 속에 있는 행동과 최대한 비슷하게 따라하도록 학습하는 방식입니다.

모방 학습은 크게 관찰(observation), 인지(perception), 행동(action)로 나누어서 생각할 수 있습니다.

운전을 예로 들자면

관찰 = "응? 자동차가 갑자기 멈췄네?" => 데이터를 확인하는 단계
인지 = "앞에 있는 자동차가 갑자기 멈췄구나" => 전문가가 취한 행동을 학습하기 위해 데이터를 처리하고 인식
행동 = "앞에 있는 자동차가 갑자기 멈추면 나도 멈춰야지!"

이라고 생각하면 이해하기 편할 것 같습니다.

이때 모방학습의 정책, 행동 원칙은 데이터에 들어있는 행동(Demonstration)과 최대한 비슷한 행동을 하게 끔 설계가 됩니다.

마치 아빠의 행동을 따라하는 아이처럼 데이터의 행동을 따라하는 모델이 되는거죠

데이터의 행동을 따라하는 학습 방식인 만큼 절대적으로 데이터의 품질은 중요합니다
퀄리티가 떨어지는 데이터를 학습하는 모델의 결과 역시 안좋을 수 밖에 없습니다.

(AI의 롤 실력을 모방학습 시키려면 위와 아래 둘 중 어느 데이터를 써야할 지는
이 글을 읽으시는 독자 분들이라면 말하지 않아도 알 것이다)

이런 모방 학습은 어느 분야에서 잘 쓰일 수 있을까요?
대표적인 예시로 자율 주행이 있을 수 있습니다.

자율 주행에서 모방 학습은 정말 중요합니다.

만약 AI가 아무것도 모르는 상태로 자율 주행 강화 학습을 시작하려고 하면 어떻게 될까요?

위의 영상마냥 실제로 도로를 제대로 다니지도 못하고 벽을 타고 다닐 수도 있을 것입니다.
왜냐하면 아직 AI는 도로를 어떻게 다니는지에 대한 학습이 전혀 이뤄지지 않았기 때문입니다.

만약 저 상태로 실제 도로 주행 학습을 시키게 되면..?
상상도 못할 끔찍한 일이 벌어질 것임은 분명합니다..

Imitation Learning: A Brief Introduction - Pamekitti Blog

이러한 모방 학습 방식은 Robotics에 활용되곤 하는데요
사람이 직접 로봇 팔을 이용해 조작하는 데이터를 기반으로 학습하여
보다 정교한 일을 해내도록 할 수 있습니다

LeRobot에서도 모방학습에 사용될 수 있는 다양한 Dataset을
가지고 있습니다!!

제가 확인해본 것만 해도 옷 접기, 컵 옮기기, 접시 쌓기 등등..
다양한 데이터를 가지고 있으니 관심 있으신 분들은 아래 링크에서 확인해보시면 좋을 것 같습니다!
↓↓↓↓↓↓↓↓↓↓↓↓↓↓↓↓↓↓↓↓↓
https://huggingface.co/lerobot

이상으로 모방학습에 대한 간단한 설명 글을 마쳐보았습니다..
정말 간단한 수준으로 적었기에 데이터의 퀄리티를 높이는 법, 모방 학습의 단점과
그에 따른 해결 방법과 같은 Deep한 내용은 다루지 않았습니다..
~~(저에게도 미흡한 부분입니다)~~

그래도 이번 글을 통해 여러분께서 모방 학습의 Concept 정도는
이해하게 했으면 제 입장에서는 성공인것 같습니다

이상으로 글을 마치며 다음 포스트 때 찾아오겠습니다~~

커뮤니티

커뮤니티