엣지 AI 디바이스 트렌드

라즈베리 파이에서 AI가 돌아간다고?

올해 초에 라즈베리 파이 5에 Coral TPU를 연결해서 실시간 객체 인식을 돌리는 영상을 봤다. 30fps로 사람, 자동차, 고양이를 구분했다. 8만 원짜리 보드에서. 클라우드 연결 없이. 이게 가능한 시대가 온 거다.

3년 전에 같은 걸 하려면 AWS에 GPU 인스턴스를 띄우고, 이미지를 API로 보내고, 응답을 받아야 했다. 네트워크 지연이 200~300ms 있으니까 실시간은 꿈이었다.

엣지 AI가 뭔지 정리하면

AI 연산을 클라우드 서버가 아니라 디바이스 자체에서 수행하는 것. 스마트폰, IoT 센서, 자동차, 카메라 같은 "가장자리(edge)" 기기에서 모델을 직접 돌린다. 데이터가 기기 밖으로 나가지 않으니까 프라이버시도 좋고, 네트워크 없이도 동작하고, 지연 시간도 거의 없다.

핵심은 모델 경량화 기술이다. GPT-4 같은 초거대 모델은 디바이스에서 못 돌린다. 근데 특정 작업(얼굴 인식, 음성 감지, 이상 탐지)에 특화된 작은 모델은 충분히 가능하다. 양자화(quantization), 지식 증류(knowledge distillation), 프루닝(pruning) 같은 기술로 모델 크기를 수십 분의 일로 줄인다.

어디에 쓰이고 있나

스마트폰. 애플 Neural Engine, 구글 Tensor 칩이 이미 엣지 AI다. 아이폰 사진에서 배경을 분리하는 게 클라우드가 아니라 폰에서 처리된다. 시리나 구글 어시스턴트의 음성 인식 초기 처리도 디바이스에서.

자율주행. 자동차가 사람을 인식하고 브레이크를 밟는 데 클라우드 왕복 200ms를 기다릴 수 없다. 엣지 AI가 필수다. 테슬라의 FSD 칩이 초당 144조 연산을 차 안에서 처리한다.

스마트 공장. 생산 라인에서 불량품을 실시간으로 검출. 공장 네트워크가 끊겨도 검출이 멈추면 안 되니까 엣지에서 처리한다. 한 제조업체는 엣지 AI 도입 후 불량률이 2.3%에서 0.4%로 줄었다는 사례가 있다. (정확히는 6개월간의 평균치라고 했다.)

보안 카메라. 영상을 전부 서버로 보내면 대역폭이 엄청나다. 카메라 자체에서 "이상 행동 감지"를 하고, 이상이 있을 때만 서버에 알리는 방식. 대역폭을 93% 줄였다는 케이스가 있다.

개발자가 관심 가져야 하는 이유

엣지 AI 개발은 기존 백엔드/프론트엔드와 다른 스킬셋이 필요하다. 모델 최적화, 하드웨어 이해, 메모리 관리, 전력 효율. 이 분야의 인력이 아직 부족하다. 수요 대비 공급이 적으니까, 지금 시작하면 경쟁력이 생긴다.

나도 관심이 있어서 TensorFlow Lite로 간단한 프로젝트를 해봤다. 손글씨 인식 모델을 안드로이드에 올리는 것. 모델 학습 자체는 Colab에서 했지만, 추론은 폰에서 돌렸다. 결과는... 인식률이 PC에서 97%였는데 폰에서 89%로 떨어졌다. 양자화 과정에서 정밀도가 손실된 거다. 이 8% 차이를 줄이는 게 엣지 AI의 핵심 과제다.

한계도 분명하다

디바이스의 연산 능력은 클라우드에 비하면 여전히 미미하다. LLM 같은 대형 모델은 엣지에서 못 돌린다. 구글이 Gemini Nano를 폰에 넣으려고 하고 있지만, 기능이 많이 제한된다.

배터리도 문제다. AI 연산은 전력을 많이 쓴다. IoT 센서가 배터리로 동작하는데 AI까지 돌리면 교체 주기가 확 줄어든다.

그리고 보안. 모델이 디바이스에 있으면 리버스 엔지니어링이 가능하다. 모델 가중치를 추출당할 위험이 있다.

그래도 방향은 확실하다. 5G가 아무리 빨라져도 로컬이 더 빠르다. 데이터 프라이버시 규제가 강화될수록 데이터가 기기 밖으로 나가지 않는 엣지 AI가 유리해진다. 투자 금액으로 봐도 2025년 엣지 AI 시장이 전년 대비 41% 성장했다는 보고서가 있다.

관심 리스트에 올려둘 만한 분야다. 아직 나도 입문 수준이지만.