인트로Intro
SAM3는 무엇인가?What is SAM3?
2분 영상. 지금 크루가 어떻게 협응하는지, 그리고 SAM3가 그것을 어떻게 바꾸는지.Two minutes on how a crew coordinates today, and what SAM3 changes.
리서치Research
단계적 리서치 접근법과 리서치 결과A staged research approach, and what it found
러시아·우크라이나 전쟁 이후 군에서 드론의 비중이 빠르게 커졌다. 한국군도 50만 장병을 드론 운용 인력으로 키우겠다는 목표를 세우고 여러 사업을 진행 중이다. 데스크 리서치에서 눈에 띈 건 위아래의 불균형이었다. 고성능 장비를 중심으로 한 하향식 운용 체계는 이미 갖춰져 있는데, 병사가 직접 들고 나가는 상향식 체계는 거의 비어 있었다. 군이 말하는 목표는 “드론을 개인 화기처럼 쉽고 간편하게 쓰는 것”인데, 고성능 장비로는 그 단가와 규모를 맞출 수 없다. 기술로도, 예산으로도 맞지 않는다. 그래서 우리는 상향식 운용 체계를 타겟으로 잡았다.Since the war in Ukraine, drones have become central to how armies operate. Korea has set a goal of training 500,000 soldiers to fly them, and several programs are underway. What stood out in desk research was the imbalance between the top and the bottom. The top-down system, built around high-end equipment, is already in place. The bottom-up system, where a soldier carries a drone out himself, was almost empty. What the military says it wants is a drone “as easy to use as a personal rifle,” and high-end equipment can’t meet that price or that scale. Not technically, and not on budget. So we aimed at the bottom-up side.
처음 가설은 훈련 제품이었다. 장병에게 드론 조종을 훈련시키는 것. 그 가설을 들고 정찰·타격 드론을 운용하는 육군 부대를 찾아가 운용자와 교관을 만났다. 현장에서 실제 운용을 지켜본 뒤에 가설이 틀렸다는 걸 알았다. 아래 인용은 그때 들은 말이다.My first hypothesis was a training product: something that teaches soldiers to fly. I took it to an Army unit that operates recon and strike drones and talked with operators and instructors. After watching how they actually work, I knew the hypothesis was wrong. The quotes below are from those conversations.
리서치 단계Research stages
우크라이나 실전 데이터, 크루 구조, DELTA 분석Ukraine field data, crew structure, DELTA
크루 협응을 훈련시키는 시뮬레이터A simulator that trains crew coordination
부대 인터뷰와 관찰로 운용 실태 확인Unit interviews and observation
답은 훈련이 아니라 인터페이스였다The answer was an interface, not training
현재의 드론 운용 방식 · 출처 KFN 국방TVHow drone operations work today · Source: KFN
현재 드론 운용 방법How drones are operated today
영상에서 보이는 것처럼, 협응은 전부 아날로그다. 정찰드론 파일럿과 타격드론 파일럿은 무전이 잘 통해야만 작전을 이어갈 수 있고, 그래서 가능하면 서로 가까이 붙어 있어야 한다. 변수가 계속 생기는 전장에서 이 조건 자체가 위험이 된다.As the video shows, coordination is entirely analog. The recon pilot and the strike pilot can only keep working as long as the radio link holds, which means they have to stay physically close to each other. On a battlefield full of variables, that requirement is itself a risk.
작전이 성공했는지도 바로 알 수 없다. 모든 것이 사람 입을 거치기 때문에, 작전이 끝난 뒤 현장에서 직접 보고하거나 무전으로 전달해야 한다. 지휘관은 그 보고를 듣고 나서야 다음 작전을 판단한다. 1분 1초가 급한 상황에서 딜레이가 계속 쌓인다.There is also no quick way to know whether a mission succeeded. Everything passes through someone’s mouth, so the result has to be reported in person after the fact or relayed by radio. Only then can the commander decide what happens next. In a situation where every second counts, the delays keep stacking up.
리서치 발견Research findings
군은 더 나은 교육을 원하지 않았다. 교육이 아예 필요 없기를 원했다.They didn’t want better training. They wanted training to be unnecessary.
드론을 개인화기처럼 단순하게 만들어서 빨리 실전에 투입하는 것이 우선이었다. 더 직관적인 조종 방식이라면 돈을 더 낼 수 있다고 했다. 훈련 시뮬레이터 가설은 여기서 끝났다.The priority was making the drone as simple as a personal rifle so it can go into service fast. They said they would pay more for a more intuitive way to fly. The training simulator idea ended here.
“드론을 개인 화기처럼 사용하기 쉽게…”“Make the drone as easy to use as a personal rifle.”
팀워크는 전역과 함께 사라진다.Teamwork leaves with the person.
정찰수가 타격수에게 길, 표적, 위협을 말로 전달한다. 서로 말하는 방식을 맞추는 연습이 필요한데, 맞춰 놓으면 18개월 뒤 한 명이 전역한다.The recon pilot tells the strike pilot the route, the target and the threats, by voice. The two have to practice each other’s phrasing, and once they have it, one of them is discharged 18 months in.
“두 기수의 합이 안 맞으면 오해가 곧 실패다. 그런데 합을 맞출 시간이 없다.”“If the two of them are out of sync, a misunderstanding is a failure. And there’s no time to get in sync.”
협응은 100% 음성이고, 지휘관은 현장을 알 수 없다.Coordination is 100% voice, and the command post can’t see any of it.
협응 내용은 크루 둘 사이에서만 오가고 기록되지 않는다. 지휘통제실은 실시간으로 알 수 없고, 통신이 끊기면 아무것도 볼 수 없다.Everything stays between the two pilots and nothing is recorded. The command post can’t follow in real time, and if the radio drops, it sees nothing at all.
“통신이 끊기는 순간, 지휘부는 아무것도 볼 수 없다.”“The moment comms drop, command sees nothing.”
유저 플로우User flow
유저 시나리오 13단계13 stages of the user scenario
리서치를 바탕으로 이상적인 사용 시나리오를 만화와 인포그래픽 형식으로 그렸다. 정찰드론과 타격드론이 함께 투입되어 임무를 끝내기까지 어떤 흐름으로 진행되는지, 열세 컷으로 정리했다.Based on the research, I drew the ideal scenario as a set of cartoon-style infographics. Thirteen scenes follow a recon drone and a strike drone from the moment they deploy together to the moment the mission ends.
솔루션Solution
리서치 결과를 세 가지 기능으로 만들었다Turning the findings into three features
세 발견에서 세 원칙을 세웠고, 각 원칙을 기능 하나로 만들었다.Each finding became a design principle, and each principle became a feature.
어떤 설계를 했나?What did we design?
어떤 결정을 내렸나?What did we decide?
위치를 말에서 떼어냈다.I took position out of speech.
사람들이 좌표를 더 잘 말하도록 훈련시키기, 아니면 위치를 말에서 떼어내 지도 탭으로 옮기기.Train people to describe positions better, or take position out of speech and put it on a map tap.
지도 탭. 핑.The map tap. The ping.
훈련은 18개월마다 리셋되지만 인터페이스는 남는다.Training resets every 18 months. An interface stays.
지도가 2D라 핑에 높이가 없다. 첫 버전은 이 한계를 수직선으로 그대로 보여줬다. 최종은 지상 지점에 고정한 핀으로, 거리에 따라 크기가 변한다. 정확한 위치는 핑으로 보내고, 판단과 맥락은 여전히 말로 한다.The map is 2D, so a ping has no altitude. The first version showed that limit as a vertical line. The final version is a pin fixed to the ground point that scales with distance. Exact position goes through the ping; judgment and context still go through voice.
타격 콘솔을 XR용으로 따로 설계했다.I designed the strike console for XR separately.
웹 콘솔을 XR로 그대로 옮기기, 아니면 타격 콘솔만 XR용으로 따로 설계하기.Port the web console into XR as it is, or design the strike console for XR from scratch.
따로 설계.Design it separately.
직관 조종은 두 손에 컨트롤러, 머리에 헤드셋이다. 화면은 헤드셋 안에 있어야 하고, 방도 보여야 한다. 그러려면 픽셀 타일 대신 시야각 단위 창, 툴바 대신 컨트롤러 입력이 필요하다.Intuitive control means a controller in each hand and a headset on. The screen has to be inside the headset, and the room has to stay visible. That needs windows measured in degrees instead of pixel tiles, and controller input instead of a toolbar.
레이아웃과 입력을 처음부터 다시 짰다. 대신 핑, 표적, 지도, 색, 이벤트 API는 웹과 완전히 같게 고정했다. 디자인 시스템 하나, 코드베이스 하나에서 콘솔 세 개가 나왔다.Layout and input were rebuilt from scratch. What stayed identical to the web console: the ping, the target, the map, the colors and the event API. One design system, one codebase, three consoles.
표적은 사람이 지정하고 지휘부가 승인한다.A person designates, and command approves.
YOLO가 찾은 표적을 자동으로 지정하기, 아니면 사람이 지정하고 지휘통제실이 승인하기.Let the detection model mark targets automatically, or have a person mark them and the command post approve.
사람이 지정, 지휘부가 승인.A person marks the target; the command post approves.
표적 결정은 사람이 해야 한다. 그리고 누가 결정했는지 기록에 남아야 한다.A targeting decision has to be made by a person, and it has to be on record who made it.
클릭 두 번만큼 느리다. 탐지는 앰버로 뜨고, 사람이 클릭하면 레드가 되고, 지휘통제실이 승인해야 교전이다.It is two clicks slower. A detection shows in amber, a person’s click turns it red, and nothing proceeds until the command post approves.
기술적으로 어떻게 구현했나?How was it built?
직관적인 조종Intuitive control
조종기를 처음 잡는 사람도 바로 날릴 수 있게 만드는 것이 목표였다. 손을 움직이면 드론이 그 방향으로 따라온다. 스틱 두 개를 나눠 쓰는 법을 익힐 필요가 없다.The goal was to let someone fly on the first try. Move your hand and the drone follows that direction. There are no two sticks to learn.
손이 움직이는 방향으로 드론이 따라오고, 손을 놓으면 그 자리에 멈춘다. Quest 컨트롤러로 설계했다. 숙련에 수십 시간 걸리던 것을 한 시간 안에 끝내는 것이 목표다. 아직 설계 단계이고, 라이브 시스템은 기본 조종기로 날렸다.The drone follows the direction your hand moves and stops where it is when you let go. Designed for Quest controllers. The goal is to bring tens of hours of practice down to about an hour. This is still at the design stage; the live system was flown with a standard controller.
핑Ping
정찰수가 지도를 탭한다. 타격수의 1인칭 화면에 그 지점의 핀이 뜨고, 방위와 거리는 타격 드론 기준으로 계산된다.The recon pilot taps the map. A pin appears at that spot in the strike pilot's first-person view, with bearing and distance calculated from the strike drone.
표적 지정Target designation
YOLO가 후보를 찾고, 사람이 하나를 지정하고, 지휘통제실이 승인한다. 세 화면이 동시에 바뀐다.The detection model proposes candidates, a person marks one as the target, and the command post approves. All three screens update at once.
드로잉Drawing
핑과 표적으로 부족할 때는 화면에 직접 그린다. 경로, 방향, 주의할 지점처럼 말로 하면 길어지는 것을 선 하나로 넘긴다. 그린 것은 세 화면에 그대로 뜨고, 남겨두는 펜과 3초 뒤 사라지는 펜을 골라 쓴다.When a ping or a designation isn't enough, you draw straight on the screen. A route, a direction, a spot to watch: things that take a paragraph to say take one line to draw. Whatever you draw appears on all three screens, with a pen that stays and a pen that fades after three seconds.
공유 자막 (STT)Shared captions (speech-to-text)
크루가 말하는 순간 자막으로 바뀌어 세 콘솔에 함께 뜬다. 무전이 잘 들리지 않아도 글로 남고, 지휘부는 현장의 대화를 실시간으로 본다. 작전이 끝나면 그 기록이 그대로 보고가 된다.What the crew says turns into captions on all three consoles as it is spoken. Even when the radio is hard to hear, the words stay in text, and command follows the conversation live. When the mission ends, that record is the report.
YOLO 자동 탐지Automatic target detection (YOLO)
정찰 영상에서 차량과 사람을 자동으로 찾아 표시한다. 사람이 화면을 일일이 훑지 않아도 되고, 찾아낸 것 중에서 무엇을 표적으로 삼을지만 판단하면 된다.Vehicles and people are picked out automatically in the recon video. Nobody has to scan the screen by eye; the only judgment left is which of them becomes a target.
실시간 동기화Live sync across the three consoles
같은 데이터, 세 개의 뷰. 지휘통제실은 지정하고 승인한다. 정찰수는 찾고 핑을 보낸다. 타격수는 받아서 실행하고 보고한다. 동기화 서버가 핑, 표적, 자막을 세 콘솔에 전달한다.Same data, three views. The command post designates and approves. The recon pilot finds and pings. The strike pilot receives, executes and reports. A sync server carries pings, targets and the transcript to all three consoles.
인터랙티브 프로토타입Interactive prototype
콘솔을 직접 써보세요.Try the consoles.
엔지니어에게 넘긴 실제 프로토타입이다. 데모 데이터로 돌아가고, 서버와 드론만 없다. 영어로 열리고, KO를 누르면 한국어 원본이 나온다. 데스크톱용이라 폰에서는 아래 영상으로 대신 보여준다.These are the actual prototypes I handed to the engineers, running on demo data. Only the live server and the drones are missing. Anything you do in one console shows up in the other two. They are built for a desktop screen.
3을 누르면 지도가 열린다. 아무 곳이나 클릭하면 핑이 찍힌다.Press 3 to open the map. Click anywhere to drop a ping.
2를 누르면 타격 영상이 열린다. 방금 찍은 핑이 핀으로 서 있다.Press 2 to open the strike video. The ping you just dropped is standing there as a pin.
1을 누르고 탐지 박스를 클릭하면 표적으로 지정된다.Press 1 and click a detection box to designate it as a target.
HAMMER에서는 배경을 드래그해서 둘러보고, 창을 길게 눌러서 옮길 수 있다. DEMO 패널로 핑 수신을 켜고 끈다. 어느 콘솔에서든 ?를 누르면 단축키가 나온다.In HAMMER (the strike pilot’s headset view), drag the background to look around and long-press a window to move it. Press ? in any console for the shortcuts.
마무리Final thoughts
Final Thoughts & Where It’s Going
사용자가 원한 건 더 나은 교육이 아니라, 교육이 필요 없는 것이었다. 그 한마디가 제품 방향을 정했다.The users didn’t want better training. They wanted to need no training at all. That one sentence set the direction of the product.
SAM3는 발표로 끝나지 않았다. 지금은 실제 부대와 함께 테스트를 이어가고 있다. 운용자들이 써보고 남긴 피드백을 받아 기능을 고치고, 부대마다 다른 운용 방식에 맞춰 화면과 흐름을 조정하는 중이다.SAM3 did not end with the presentation. We are testing it with an actual unit now. Operators use it, send back what breaks and what is missing, and we adjust the features and the flow to how each unit actually works.
현장에서 나오는 요구는 처음 설계할 때 예상하지 못한 것들이 많다. 그걸 하나씩 반영하면서 시스템을 맞춰가고 있다.Much of what comes back from the field is what we never anticipated at the design stage. We are folding it in, one piece at a time.
Other Projects from Carnegie Mellon University
© 2026 Felix Choi Portfolio. All rights reserved.
Made with care and plenty of coffee
Contact
213 294 5690
hifelix.design@gmail.com
Open to new opportunities. Let's talk.