올해 화두는 '온디바이스 AI'···"핵심은 경량화"

오픈AI의 챗GPT 발(發) 생성형 인공지능(AI) 전쟁이 점차 소강상태로 접어드는 가운데, 새로운 격전지는 '온디바이스 AI'가 될 전망이다. 그간 생성형 AI가 쏟아낸 여러 가지 문제점들을 해당 기술이 보완할 수 있을 것이란 기대감에 업계 관심이 이곳으로 몰리는 추세다. 다만, 학계에서는 이 기술이 시장에 본격적으로 상륙하기 위해서는 파운데이션 모델의 '경량화' 작업이 선행 돼야 한다고 입 모은다.

18일 정보기술(IT) 업계에 따르면 삼성전자는 미국 캘리포니아주 새너제이에서 '2024 삼성 갤럭시 언팩'을 열고 첫 온디바이스 AI 스마트폰 갤럭시 S24 시리즈를 선보였다. 온디바이스 AI란 클라우드를 거치지 않고 기기 내부에서 AI 시스템을 구동하는 기술을 말한다. 다만, 갤럭시 S24 시리즈는 클라우드 방식을 함께 지원하는 하이브리드 형태로 공개됐다.

올해 IT 업계 최대 화두는 단연 온디바이스 AI다. 지난주 미국 라스베이거스에서 진행된 세계 최대 가전·IT 전시회 'CES 2024'에서도 다수 연사가 온디바이스 AI 기술에 대해 소개하는 시간을 가졌다.

당시 현장에서 기조연설에 나선 크리스티아누 아몽 퀄컴 최고경영자(CEO)는 "인터넷 연결 없이도 AI가 이용자의 모든 터치와 입력을 학습하고 다음 행동을 예측해 줄 것"이라며 긍정적인 평가를 내놨다. 펫 겔싱어 인텔 CEO도 "기기에서 정보를 처리하는 것이 데이터를 클라우드로 보내고 이를 다시 받는 것보다 더 저렴하다"며 이러한 주장에 힘을 실었다.

온디바이스 AI는 스마트폰, PC 자동차 등에 내장된 AI 칩이 사용자의 활용 방식을 스스로 학습해 개인에게 최적화된 서비스를 제공하는 방식으로 운영된다. 기존의 AI 서비스가 인터넷을 통해 특정 사이트에 접속하거나, 애플리케이션(앱)을 구동해 클라우드에 저장된 정보를 가져오는 과정을 거쳐야 했던 것과 달리 해당 기술이 상용화되면 기기에서 곧장 명령과 실행을 할 수 있게 된다.

이 기술이 조명받는 가장 큰 이유는 보안·시간·비용 측면에서의 강점 때문이다. 기기 밖으로 정보가 나가지 않으니 유출될 걱정도 없고, 빅테크 클라우드를 따로 거치지 않으니 결과물 도출까지 시간도 단축된다. 전력이나 데이터 수집 등을 이유로 많은 비용이 들었던 것에 비하면 이를 절감하는 효과도 있다.

온디바이스 AI가 업계 화두로 떠오른 만큼 학계에서도 다양한 견해를 내놓는다. 이병욱 서울과학종합대학원 디지털금융 주임교수는 "지난 1년여간 거대언어모델(LLM)들이 많이 나왔는데, 당초부터 이들의 최종 목적은 휴대폰 등 개인 디바이스에서 돌아가게끔 하는 것"이라며 "실생활에서 온디바이스 AI가 자리 잡으려면 결국 핵심은 파운데이션 모델의 경량화"라고 말했다. 이어 "여러 논문에서 소개됐듯 LLM의 성능은 파라미터 개수가 많다고 능사가 아니라 적절한 데이터 셋을 형성하는 게 중요하다"며 "황금 비율을 구현하는 게 관건이 될 것"이라고 덧붙였다.

최병호 고려대학교 인공지능연구소장은 "CES 2024에서 해당 기술이 3~6개월 안에 구현 가능할 것이라는 뉘앙스로 말한 터라 온디바이스 AI가 상용화될 날은 얼마 남지 않았다고 생각한다"며 "고도화하는 과정 속에서 기술적인 문제보단 서비스 문제를 해결하는 것이 상용화의 열쇠가 될 것이라 보는데, 제조 회사들이 이 부분을 얼마나 잘 보완할 수 있는지에 따라 기술 수준을 결정할 것"이라고 설명했다. 이어 "그간 서비스 기획을 잘했던 네이버·카카오가 이 분야에서 강점을 가질 수 있을 것으로 본다"고 내다봤다.

다만, 완성도를 높이기 위해선 여전히 해결해야 할 과제들이 산적해 있다는 의견도 있었다. 그는 "아직까지 최적화나 경량화, 클라우드에 대한 이슈는 있는 상황"이라며 "디바이스에 탑재하려면 경량화는 특히 필수적인데, 예를 들어 서비스 고도화를 위해 덩치 큰 파운데이션 모델의 CPU·GPU 속도를 높인다면 발열이나 배터리 문제가 생길 수 있다"고 말했다. 즉, 시장에 공개된 언어모델 크기로는 기기를 통해 서비스를 100% 구현하기는 어렵다는 얘기다.

이날 공개된 삼성전자의 갤럭시 S24시리즈와 마찬가지로 당장 시장에 공개될 서비스들은 클라우드의 힘을 빌려야 할 것이라는 설명인데, 그는 "초기에는 해당 기술을 하나의 기기로 집적화(集積化)하는 것은 어려울 테니 분명 클라우드를 일부 이용해야 할 것"이라며 "아직까지 온디바이스 AI 기술은 총체적으로 해결해야 할 숙제가 많이 남아 있는 상태인 만큼 세부적인 사항에 대해서 많은 논의가 필요할 것으로 보인다"고 바라봤다.