[IT Trends] 온디바이스AI와 SLM

온디바이스AI란?

• 2024년 주목해야 할 스마트폰 트렌드 5가지 중 하나.
• 'On + Device + AI' 즉, 모든 데이터의 처리를 기기 내부에서 직접 처리하는 인공지능.
• 대표적인 예시로는 차량에 내재되어 있는 충돌 방지 시스템.

 

온디바이스AI의 중요성

• 개인 정보 보호 : 사용자의 데이터를 기기 내에서 처리.
• 빠른 처리 속도 : 기기 내에서 곧바로 처리하기 때문에 데이터 전송 속도 절약.
• 인터넷 없이 사용 가능 : 외부서버에 의존하지 않기 때문에 인터넷을 사용할 필요가 없음.
• 초개인화 : 사용자의 데이터를 학습하여 사용자에게 맞춤화 된 정보 추천.

---

LLM의 단점과 그에 따른 SLM의 필요

• LLM은 수천억~수조개의 파라미터, SLM은 수십억개의 파라미터.
• LLM을 구축하는 데 막대한 비용과 시간이 들고 상당한 컴퓨팅 자원 소모.
• 기업은 LLM을 집중 개발하기 보다 특정 요구사항을 충족할 수 있는 SLM을 병행하는 전략.
• MS의 'Phi-2'는 27억개의 파라미터를 가진 소규모 모델이지만 25배 크기의 LLM과 동등한 위력을 가짐. 
• MS 루이스 바르가스 AI 담당 부사장 "네트워크 환경이 좋지 않은 시골지역에서도 디바이스를 통해 AI 경험을할 수 있다" 

 

SLM의 과제

• 대부분의 언어 모델과 마찬가지로 "사실적 부정확성, 편견의 재생산" 등 다양한 문제에 직면해 있다.
• 작은 크기로 인한 한계가 존재. 
• Phi-3 미니 모델의 경우, 크기가 작아 많은 양의 지식을 저장할 수 없다.

---

+) 내 생각

• 디바이스 안에 AI를 넣는 것은 효과적으로 생각은 되나 그에 따른 하드웨어 조건이나 기술력이 상품의 가격을 높일 것이라 생각.
• 온디바이스의 중요성인 '인터넷이 없는 환경에서도 효과적이다.'를 다시 생각해 볼 필요가 있다.

 

---

참고자료

'챗 GPT' 그 다음의 혁신…온디바이스 AI의 비밀

"AI폰에 필수"…빅테크, SLM 전쟁

"온디바이스 AI가 뭐길래”…삼성·애플·구글까지 참전 - 글로벌이코노믹

[한장TECH] AI업계 홀린 작은 고추 ‘SLM’…구글 이어 MS도 참전

마이크로소프트, 소형 언어 모델 파이-3 시리즈 발표 "SLM만의 강점 있어"

LLM보다 sLM가 ‘쓸모’…개발 경쟁 치열 - 애플경제