– 모두의 AI를 만드는 가치, 업스테이지는 왜 AI OCR과 프라이빗 LLM에 집중했을까요?
들어가는 이야기
무늬만 AI 주의보
한동안 전세계 산업의 화두였던 ‘디지털 트랜스포메이션’의 개념은 최근 ‘인공지능(AI) 전환’으로 구체화되어 가고 있습니다. 디지털화를 계획 중인 많은 기업이 AI에 주목하고 있기 때문인데요.
소프트웨어정책연구가 진행한 2022년 한 조사에 따르면 국내 AI 기업들의 총매출은 2020년 대비 2배 성장한 4조원에 달했습니다. 또한 이 기간 AI 서비스 기업의 수는 933곳에서 1915곳으로 대폭 늘었지만 이 중 84.8%가 매출을 기록했죠. 같은 기간 20%p나 증가했는데요. 심화된 경쟁에도 수익기업 비중이 오히려 늘어난 건, 그만큼 다양한 산업의 AI 도입 수요도 크게 증가했음을 알 수 있는 대목입니다.
하지만 AI를 진짜 잘 활용하는 것과, 흉내만 내는 것은 다릅니다. 이는 의외로 많은 기업들의 드러나지 않는 고민이죠. 관련해 2023년 미국 증권거래위원회(SEC)와 연방거래위원회(FTC)는 ‘AI 워싱을 하지말라’는 경고 메시지를 내놓은 바 있는데요. AI 워싱은 AI와 관련이 없거나 미미한 기술 및 서비스에 ‘AI OO’처럼 AI를 부각해 현혹하는 수요자 기망 행위를 뜻합니다.
특히 강력한 기업 감시와 제재 권한을 지닌 기관들이 직접 AI 워싱 경고에 나섰다는 건 그냥 무시할 만한 것이 아닙니다. 그들이 직접 관리에 나설만큼 그동안 크고 작은 AI 워싱으로 부당이득을 취한 기업들이 크게 늘어났다는 점을 암시하기 때문입니다. 대세가 된 AI의 어두운 이면이죠.
하지만 이 같은 감시 때문이 아니라도 AI 워싱은 점차 더 어려워지고 있습니다. 사실 그간의 AI는 ‘학습형’ 혹은 ‘사용자 맞춤형 추천’ 등의 키워드를 앞세우며 포장하기가 상대적으로 쉬운 편이었죠. 이런 서비스는 결과물을 두고 진짜 AI가 관여한 것인지, 혹은 정교한 조건문 코드의 출력물인지 제3자가 검증하기 어려운 맹점이 있었던 까닭입니다.
반면, 챗GPT로 상징되는 생성형 AI는 다릅니다. AI로 만든 결과물이 즉각 눈에 보이는 형태로 제시되는 이 새로운 AI는 모든 사용자가 그 품질을 쉽게 가늠할 수 있다는 점에서 기존 AI와 큰 차이를 보입니다. 일례로 구글이 챗GPT 쇼크를 극복하겠다며 공개한 대항마 ‘바드(Bard)’는 발표 당일부터 오답을 내놔 망신을 샀죠. 당시 구글의 주가가 폭락하는 웃지 못할 결과도 따랐습니다. 이는 천하의 빅테크 기업들도 AI 기술의 민낯이 숨길 수 없이 드러나는 시대가 왔음을 상징하는 사건이었죠.
이처럼 AI 도입 장벽이 점차 높아지고 있는 시기를 맞아 AI 전환을 준비 중인 기업들의 고민은 한층 깊어질 수밖에 없는 상황입니다. 설상가상 AI 인재 구인난마저 심각한 수준인데 AI 혁신을 주문하는 안팎의 기대치는 점차 높아져 가고 있고요. 결국 최선의 해결책은 확실한 파트너를 확보하는 것으로 귀결되고 있는데요. 이런 이유로 최근 업스테이지(Upstage)처럼 검증된 AI 파트너들을 찾는 기업들의 발걸음이 점차 분주해지는 분위기입니다.
업스테이지의 탄생
AI 어벤저스의 ‘미션 3’
이번 스토리팩 기술편의 주인공, 업스테이지는 2020년 설립된 AI 전문 스타트업입니다. 홍콩과기대 AI 석학 출신이자 네이버 클로바AI팀의 리더였던 김성훈 대표가 동료였던 이활석 現 업스테이지 CTO(최고기술책임자), 박은정 現 업스테이지 CSO(최고서비스책임자)와 공동창업한 회사죠. 사명에는 고객사를 AI 무대(Stage)로 올려보낸다(Up)는 의미가 담겨 있습니다.
김 대표는 네이버 시절 만난 많은 기업이 AI 비즈니스를 막막해하는 점에 주목했다고 회고했습니다. 특히 안타까운 건 그들 중에는 이미 AI에 필요한 충분한 자산(데이터, 자본, 조직 등)을 갖춘 곳도 적지 않았던 점인데요. AI란 물은 들어왔고 나아갈 배도 튼튼한데 노를 저어줄 사공이 아쉬웠던 상황이었던 거죠. 이에 김 대표는 직접 유능한 동료들과 함께 그 노를 저어줄 사공이 되기로 결심한 것이 업스테이지의 창업 배경입니다.
물론 성공이 보장된 대기업을 나와 다시 시작하는 결정은 쉽지 않았을 겁니다. 하지만 업스테이지의 시작은 남달랐죠. 김 대표의 창업 소식이 전해지자 카카오, 엔비디아, 구글, 애플, 아마존, 메타 등 국내외 유수의 IT기업에서 일하던 AI 인재들이 속속 업스테이지 합류를 선언했기 때문입니다.
이는 업스테이지 스토리팩 인재편에도 소개한 김 대표의 화려한 이력, 공동창업자들의 검증된 능력과 성공 가능성에 대한 확신의 결과물이었는데요. 결과적으로 이 덕분에 업스테이지는 스타트업 중에선 이례적으로 업계 공인 ‘AI 어벤저스’란 별명과 함께 순조로운 첫발을 내딛게 됩니다.
AI 어벤저스, 사실 조금 낯간지러워 보이죠. 하지만 포장이 과했다고 보긴 어려웠습니다. 실제로 업스테이지가 문을 연 첫 1년 동안에만 100개 이상의 기업이 업스테이지에 AI 기술자문을 요청했거든요. 아직 성과조차 나오지 않은 신생 스타트업의 문을 누군가 3일에 한번은 두드린 겁니다.
업스테이지는 이 과정에서 기업들의 AI 기술 수요가 크게 ▲문서인식용 AI ▲초개인화 추천 AI ▲의미기반 검색 AI인 점을 확인했다고 합니다. 이에 곧바로 수요 대응을 위한 AI OCR(인공지능 광학문자인식) 및 LLM(거대언어모델) 기술 개발에 전사적 역량을 집중할 수 있었고요.
더불어 기업 운영 슬로건으로 ‘Making AI beneficial‘을 제시했습니다. 처음 회사를 세웠던 목표 그대로, 유익한 AI를 만들고 그것을 누구나 쉽게 쓸 수 있도록 하겠다는 의미입니다. 또한 단순한 표어가 아니라, 지금까지 업스테이지란 회사와 그들의 조직, 문화를 상징하는 공동의 가치로 중요한 역할을 하고 있죠.
AI OCR – 다큐먼트 AI
AI가 보험서류를 이해하게 된 의미
업스테이지가 처음 선보인 서비스는 AI OCR 솔루션 ‘Document AI(다큐먼트 AI)‘입니다. 문서의 디지털화, 특히 비정형데이터 처리에 뛰어난 성능을 자랑하죠.
우선 OCR이란 기계가 문서 내 글자를 인식하는 기술입니다. 쉬운 예로 요즘은 비대면 신분증 인증 시 카메라로 사진을 찍게 하죠? 그럼 신분증에 적힌 이름과 주민등록번호, 발급일자 등이 자동으로 입력되는데 이와 비슷한 기능은 대부분 OCR로 구현되는 것입니다.
하지만 OCR이 만능은 아닙니다. 어떤 경우는 인식을 못하거나 엉뚱하게 읽기도 합니다. 이 경우 사람이 직접 오타를 보정해야 하는데 그만큼 OCR의 효용은 낮아지죠. OCR은 1920년대에 첫 연구가 시작됐을 만큼 역사가 긴 기술이지만, 인간의 글자를 기계에 인식시키는 일은 생각보다 어려운 문제라 OCR 인식률 개선은 오랫동안 쉽지 않은 난제로 꼽혔습니다.
그나마 2010년대 후반 데이터 학습 및 추론에 특화된 딥러닝 AI가 OCR에 접목되면서 인식률이 80~90%까지 늘어난 건 긍정적이었죠. 그러나 인식률을 높일수록 제약조건도 많았습니다. 문서의 구조가 정형화되어 있어야 한다거나, 너무 복잡하면 안 된다거나 등등 말이죠. 그래서 AI OCR이라고 다 같은 것이 아니라, 요즘은 얼마나 다양한 문서에서 많은 정보를 균일하게 인식해낼 수 있는지가 솔루션의 기술 경쟁력을 좌우하는 핵심 요소라고 할 수 있습니다.
그러던 2023년 10월, 업스테이지가 내놓은 다음 발표가 업계의 이목을 집중시켰습니다. 국내 1위 생명보험사인 삼성생명에 공급한 다큐먼트 AI의 문서 인식률이 평균 95%를 기록했다는 내용인데요. 높은 인식률과 더불어 그 대상이 극악의 난이도로 평가되는 보험 서류였다는 점이 특히 주목할 만한 성과였습니다.
업계에 따르면 그동안 일선 보험사의 보험료 청구 담당자들은 1건당 평균 10장~15장에 달하는 문서를 수작업으로 처리해왔습니다. 이때 보험용 서류는 위 이미지처럼 대부분 내용이 빽빽하고 서식이 복잡하죠. 게다가 고객들이 병원에서 떼오는 증빙자료조차 형태가 제각각이라 손이 더 많이 갑니다.
이만한 문서를 처리하다보면 사람도 종종 실수를 하는데요. 이 때문에 사람의 인식률도 100%로 볼 수 없다고 가정할 때, 기계가 95%에 달하는 인식률을 보였다면 이미 사람에 거의 근접한 수준에 이르렀다는 얘기가 됩니다. 여기서 인식률은 차치하더라도 처리 속도는 기계인 만큼 당연히 사람보다 훨씬 빠르고요. 실제로 다큐먼트 AI 도입 후 담당자 1명이 5시간을 할애했을 업무가 단 수분이면 끝날 수 있게 됐다고 합니다.
지금은 ‘비정형 데이터’ 시대
앞서 AI OCR 기술의 차별화 요인은 다양한 종류의 문서처리 능력과 인식의 정확도라고 했습니다. 실제 현업의 요구사항도 마찬가지인데요. 다큐먼트 AI의 성공 요인은 처음부터 규격화된 문서 외에 다양한 학습 데이터를 적극 확보하고, 특히 높은 수준의 비정형 데이터 처리 능력을 확보한 점에 있습니다.
비정형데이터는 형태가 일정하지 않는 데이터를 말합니다. ‘표’로 정리하기 어려운 문자열이나 소리, 영상 데이터 등이 해당되죠. 단어도 사람마다 필체가 제각각인 손글씨로 쓰였다면 비정형 데이터에 속합니다. 반대로 컴퓨터로 쓴 글자도 출력 후 구겨짐, 흐려짐, 스캔 중 노이즈 발생 등의 인식 방해 요인이 생기면 비정형 데이터가 될 수 있습니다. 이를 처리하는 건 사람보다 유연함이 부족한 기계 입장에선 어려운 일이죠.
문제는 비정형 데이터가 한둘이 아니란 점입니다. 하지만 비정형 데이터에 담긴 가치가 작지 않아 무시할 수도 없습니다. 이해를 위해 잠시 눈을 감고, 친한 지인을 한명 떠올려 보세요. 내가 그 사람에 대해 알고 있는 것 중 단어나 숫자로 정의할 수 있는 정형 데이터는 몇개나 될까요? 아마 “내가 그를 잘 안다”고 말할 수 있는 이야기는 대부분은 비정형 데이터에 가까울 겁니다.
이와 함께 빅데이터 분석과 AI 시대엔 비정형 데이터의 가치가 더욱 높아지고 있습니다. 요즘 AI의 데이터 분석, 추천도 상당 부분 비정형 데이터에 근간을 두니까요. 덩달아 비정형 데이터를 잘 처리하는 OCR 기술의 가치도 높아졌습니다. OCR로 추출한 구조화된 데이터의 품질이 곧 양질의 AI를 만들 때 중요한 재료가 되기 때문입니다. 또한 이는 업스테이지가 창업 후 첫 서비스로 다큐먼트 AI를 내놓은 전략적 판단 근거가 되기도 했습니다.
실제로 다큐먼트 AI는 손글씨는 물론 흐린 문자, 구겨짐으로 형태가 망가진 글자 등 각종 비정형 데이터 처리 능력에 집중함으로써 보험이란 고난이도 영역에서도 유의미한 성과를 낼 수 있었죠. 이 같은 기술을 확보하기 위한 업스테이지 내부의 노력도 다채로웠습니다.
재미있는 예로 2023년 ‘사내 OCR 이미지 데이터 수집 챌린지’가 있는데요. 일상에서 마주할 수 있는 다양한 형태의 장면 글자(Scean text) 데이터를 임직원들이 직접 수집하고 제출하는 이벤트였습니다.
이때 총 7570장에 달하는 고품질 데이터가 확보됐는데요. 세로쓰기 글씨, 양각 혹은 음각 글씨, 점과 선으로 이뤄진 글씨, 밑줄이나 형광펜이 그어진 글씨 등에 가산점을 주는 식으로 기존 모델이 취약했던 부분을 보완하기 위한 데이터 확보에 힘썼다고 하죠. 또한 일반적으로 사람이 쓸만한 수준의 AI 모델 학습에는 약 5만장 정도의 이미지 데이터가 필요한데, 약점 보완에만 7000장 이상의 이미지를 추가로 확보했으니 다큐먼트 AI의 비정형 데이터 처리 성능이 남다른 것도 이해가 됩니다.
더 똑똑하게, 더 쉽게, 더 부담없이
더불어 업스테이지는 다큐먼트 AI가 고객사 데이터를 추가 학습하는 방식으로도 성능을 높일 수 있다고 설명했습니다. 삼성생명의 경우, 7종의 문서를 처리하는 목표에서 6종은 다큐먼트 AI의 사전학습 기본 모델로, 약제비 영수증 항목만 삼성생명의 데이터를 활용해 처리 성능을 보완했습니다.
특히 경쟁사들 대비 4분의 1정도의 데이터만 있어도 약 20% 높은 고성능의 고객사 특화 AI 모델 구현이 가능한 점 또한 다큐먼트 AI의 강점으로 꼽힙니다. 데이터를 적게 쓰고 고성능을 내는 것 또한 AI 업계에서 고평가하는 요인인데요. 하나를 가르치면 열을 아는 인재가 대우받는 것과 같은 맥락이죠.
사용성도 성능만큼 중요한 요소입니다. 성능이 좋아도 쓰기 어려운 기술은 가치가 퇴색되니까요. 업스테이지는 ‘Easy to Apply AI’를 목표로 자사 솔루션을 ‘노코드(No code)’ 혹은 ‘로우코드(Low-code)’로 제작하는 일에 역량을 집중하고 있습니다. 고객사에 AI 전문가나 개발자가 없어도 그들이 AI를 쉽게 활용할 수 있도록 하기 위함입니다.
그 일환으로 업스테이지는 다큐먼트 AI가 포함된 OCR 팩에 AI 학습용 데이터 라벨링 기능, 신규 데이터로 재학습이 가능한 기능 등을 포함해 고객사에 제공 중입니다. 이를 활용하면 AI 전문인력이 없는 고객사도 시스템을 입맛대로 구축하고, 성능 개선 방안도 모색할 수 있게 되죠. 비용 또한 자체 인력을 고용하는 것보다 줄어드므로 AI 무한경쟁 시대에서의 진입 장벽, 관리 부담이 줄어들게 됩니다.
다큐먼트 AI는 현재 삼성생명 외에도 한화생명이 보험심사 청구 자동화에 도입해 활용 중입니다. 현대글로벌서비스, 포스코는 문서 디지털화에 다큐먼트 AI를 도입했고요. 업스테이지가 짧은 업력에도 일찍이 이런 대어급 고객사들을 확보한 건 차별화된 기술력, 그리고 시작부터 현업 수요에 최적화된 솔루션 개발에 집중한 결과물입니다.
업스테이지의 다큐먼트 AI 고도화를 위한 다음 목표로 확장성 개선을 제시했습니다. 도식과 테이블 등 기존 컴퓨터가 인식하기 어려웠던 영역으로 점차 인식 범위를 확대해 나가는 거죠. 또한 분야가 달라도 AI 분류 작업은 반복 작업이 많다는 점에 착안, 자동화 처리 비율을 높여 AI 도입의 효율성을 계속 개선하는 작업도 진행 중입니다.
프라이빗 LLM – 솔라
명령어를 배우지 않아도 되는 세상
이어 업스테이지의 관심은 Private LLM(폐쇄형 거대언어모델)로 향합니다. 다큐먼트 AI로 데이터 영역의 수요를 충족했으니, 이를 바탕으로 검색과 추천 영역까지 정복하기 위함이었죠.
LLM은 기계가 인간의 자연어 질의를 이해하고 자연스러운 답을 낼 수 있도록 인공신경망(NLP)이 적용된 대형 언어모델입니다. 사람과 AI가 일상언어로 소통하려면 이 LLM의 역할이 굉장히 중요한데요. 과거에는 사람이 기계에 맞춰 미리 세팅된 단어나 문장, 즉 명령어로만 소통할 수 있었습니다. 명령어를 모르면 아무리 좋은 컴퓨터가 있어도 무용지물이었죠.
요즘 AI는 다릅니다. 오픈AI가 개발한 LLM ‘GPT 3.5’ 기반의 챗GPT만 해도 사용자들은 명령어를 고민하지 않습니다. 처음 사용할 때도 채팅창에 친구에게 말하듯 편하게 질문하고, 답변이 부족하면 그 부분만 추가로 물어봅니다. 그러면 챗GPT는 이전 대화의 맥락을 읽고 구체화된 질문에 따라 점차 사용자 의도에 부합한 결과물을 빠르게 내놓죠. LLM 덕분입니다.
사람과 AI의 소통 장벽이 낮아진 건 놀라운 변화로 이어지고 있습니다. AI에 내재된 엄청난 잠재력을 누구나 쉽게 끌어내 쓸 수 있게 됐기 때문입니다. 이미 이를 활용한 여러 일상용, 기업용 AI 서비스도 속속 개발되고 있습니다. 더 똑똑한 챗봇을 개발하거나 콘텐츠 아이디어를 얻기도 하고, 외국어 공부나 번역에도 유용하죠.
업스테이지도 기업 뿐 아니라 일반 사용자들도 쉽게 쓸 수 있는 챗GPT+카카오톡 서비스, AskUP(아숙업)을 서비스 중입니다. 아숙업은 사내 소통도구인 슬랙에 챗GPT를 연동해 쓰다 그 편리함에 반한 업스테이지에서 더 많은 사람들이 쉽게 챗GPT를 접할 수 있도록 카카오톡에 이식한 서비스라고 하네요. 사용자들의 반응도 뜨겁습니다. 2023년 12월 기준 무려 160만명이 아숙업을 이용 중이죠.
챗GPT, 만인의 연인은 아냐
하지만 기업 입장에서 GPT 3.5 같은 범용 LLM 기반 AI를 사업에 전방위적으로 활용하긴 다소 부담스러운 면이 있습니다. 만약 기업 내부용 AI나 전문화된 AI 서비스를 만들 때 범용 LLM을 쓰는 건 닭 잡는데 소 잡는 칼을 쓰는 것과 같습니다. 범용성을 염두에 둔 만큼 모델 사이즈가 그만큼 크고, 사용료도 비싸기 때문이죠.
보안은 더 예민한 문제입니다. 챗GPT 같은 공개형 AI에 기업 기밀이 입력될 경우, 그것이 AI의 학습 데이터로 쓰이거나 추후 제3자의 질문으로 공개될 수도 있거든요. AI는 아직 무엇이 기밀인지, 그 범주를 명확히 구분하지 못하므로 오픈AI도 ‘챗GPT에 민감한 내용은 입력하지 말라’고 권장하고 있습니다.
실제 보안사고도 있었습니다. 2023년 3월 국내 모 대기업 사업장에서 임직원들이 챗GPT에 공장 내 설비정보 등 기밀을 입력했다가 적발된 겁니다. 직원들이 범용 AI의 한계를 명확히 알지 못해 벌어진 일이었는데요. 기업 입장에선 챗GPT가 아무리 유용해도 사업에 활용하는 면은 부담이 따랐던 이유입니다.
따라서 요즘은 새롭게 프라이빗 LLM이 주목받고 있습니다. 기업이 사적으로 활용 가능한, 통제된 LLM이죠. 서버는 대개 독립형 클라우드나 외부 연결이 차단된 설치형(on-premise, 온프레미스)인데요. 이런 환경에서는 무엇을 입력하더라도 데이터가 외부로 유출될 가능성이 크게 낮아집니다. 또한 이를 이용해 기업이 내부적으로 안전하게 쓸 수 있는 AI나 특화 데이터를 학습시킨 전문 AI 서비스를 출시할 수도 있죠.
프라이빗 LLM의 잠재 수요를 간파한 업스테이는 현재 발빠른 시장 선점에 나선 상태입니다. 2023년 자체 프라이빗 LLM을 개발하고 한국어 중심 LLM 생태계가 글로벌 경쟁력을 갖도록 한국형 ‘허깅페이스-오픈LLM 리더보드’를 개발하는 등, 단기간에 눈에 띄는 족적을 만들기 시작했죠.
순조로운 시작, 대기업 Pick ‘솔라’
업스테이지가 개발한 프라이빗 LLM 이름은 ‘솔라(SOLAR, Specialized and Optimized Llm and Applications with Reliability)입니다. 전문화·최적화 LLM이란 의미처럼 기업의 특정 도메인(사업영역)을 조준한 경량 LLM이죠. 범용 LLM과 달리 기업의 특성과 요구사항을 토대로 맞춤 제작되며, 작은 사이즈 덕분에 상대적으로 적은 비용과 구형 인프라로도 고성능 AI 서비스 구현이 가능합니다.
실제로 업스테이지는 솔라를 ‘기업이 활용하기 좋은 프라이빗 LLM’을 목표로 설계했다고 설명합니다. 소형LLM으로 분류되는 매개변수 30B(300억개) 미만 모델 중에서도 성능이 좋지만 사이즈가 큰 13B 모델과, 사이즈는 작지만 지적 능력에 제약이 있는 7B 모델 사이에서 장점을 최적화한 10.7B 모델을 세계 최초로 개발한 거죠. 특히 13B 모델보다 작지만 자체 개발한 ‘Depth-Up-Scaling’ 방식을 적용, 모델의 사고 체계를 고도화함으로써 적은 데이터로도 우수한 성능을 낼 수 있도록 만들어진 것이 특징입니다.
또한 솔라의 사전학습 데이터도 LLM 벤치마크(성능비교 플랫폼)에 유리한 전용 데이터셋이 아니라, 자체 구축한 데이터를 활용했습니다. 이 덕분에 솔라는 기업이 요구하는 다양한 업무환경, 여러 분야의 실전에서도 빠른 개발 속도와 우수한 성능의 결과물을 제공할 수 있죠. 단순히 기술력 확보 차원을 넘어 프라이빗 LLM의 실제 비즈니스 가능성을 충분히 염두에 두고 만들어진 결과물인 셈입니다.
업스테이지에 따르면 이미 커넥트웨이브, 롯데쇼핑 등 대형 커머스 기업들의 솔라 LLM 기반의 특화 솔루션을 개발하고 있는데요. 의료, 교육계 등 보다 다양한 분야의 기업들과도 이미 계약이 예정돼 있다고 하네요.
이처럼 잘 만들어진 프라이빗 LLM의 확장성은 범용 LLM 못지 않습니다. 도메인에 따라 활용처가 무궁무진하죠. 업스테이지가 제공하는 솔라 기반의 ‘LLM apps’ 서비스에 따르면 우선 ▲검색 ▲요약 ▲조직화 ▲분류 ▲추출 ▲캐릭터화 등 6개 분야가 대표적입니다. 이를 활용하면 사내용 챗GPT부터 스마트 검색엔진, 자료 최적화 도구, 가상비서 제작 등 다양한 AI 솔루션 제작이 가능합니다.
LLM 시장 전망도 밝습니다. 복수의 시장조사기관들에 따르면 글로벌 LLM 시장은 향후 최소 1700조원, 최대 5000조원 규모의 시장이 예측되는데요. 참고로 주요 선진국인 한국의 2023년 정부예산이 639조원, 일본이 약 1100조원입니다. 한 나라의 연간 예산에도 뒤지지 않을 만큼 LLM 시장의 잠재력이 크다는 얘기죠.
물론 업스테이지가 그 시장을 홀로 차지할 순 없습니다. ▲MistralAI ▲Mosaic ▲Cohere ▲Predibase처럼 쟁쟁한 실력의 해외 경쟁자들도 이미 각자의 자리에서 훌륭한 성과를 내고 있죠. 업스테이지는 우선 비영어권 틈새시장을 먼저 공략하는 전략으로 세계 시장진출의 교두보를 마련하겠단 계획입니다. 구체적으론 ‘CJK(Chinese, Japanese, Korea)’라 불리는 동북아시아 3국 커버 언어모델 개발, 서비스 최적화 등이죠.
또한 앞서 다큐먼트 AI로 확보한 데이터 구조화 역량은 LLM 성능 고도화 경쟁에도 유리한 자산입니다. 대규모 언어모델의 성능을 최소 데이터로 극대화하려면 AI 친화적인 구조화 데이터 확보가 중요하거든요. 이에 특화된 다큐먼트 AI가 업스테이지표 LLM 최적화에 도움이 되리란 사실은 의심의 여지가 없죠. 업스테이지도 이를 통해 기업 경쟁, 신사업 발굴의 양 측면에서 차별화된 지속성이 확보될 것으로 기대하고 있습니다.
챗GPT 꺾은 K-LLM의 자존심
업스테이지는 한국 LLM의 ‘자존심’이기도 합니다. 솔라 공개보다 앞선 2023년 8월에는 허깅페이스의 ‘오픈 LLM 리더보드’ 1위란 쾌거를 달성한 일도 있죠. 해당 리더보드는 세계 500여개 오픈소스 모델의 추론과 상식 능력, 언어이해 능력, 할루시네이션(허위정보) 방지 등 지표를 바탕으로 점수와 랭킹이 공개되는 플랫폼입니다. ‘LLM계의 빌보드 차트’로 불릴만큼 업계에선 그 권위를 인정받습니다.
특히 해당 성과는 허깅페이스 리더보드 기준 세계 최초로 GPT 3.5의 점수를 추월한 기념비적 이정표이기도 합니다. 또한 같은해 9월에는 솔라가 글로벌 생성AI 활용 플랫폼 ‘Poe’의 메인 모델로 등록되는 쾌거도 이어졌는데요. 기존에는 오픈AI의 챗GPT, 구글 팜, 메타 라마, 엔트로픽 클로드 등 불과 4개의 LLM만 Poe 메인에 속했는데 솔라가 그 한자리를 차지한 겁니다. 글로벌 LLM들과 어깨를 견줄만 하단 평가를 받은 거죠.
이 기세를 몰아 업스테이지는 직접 한국형 LLM 리더보드 활성화에도 뛰어들었습니다. 그 일환으로 2023년 10월, 한국지능정보사회진흥원(NIA)와 손잡고 ‘Open Ko-LLM 리더보드’를 공개했는데요. 공개 2주만에 등록모델 100개를 돌파하며 업계의 지대한 관심을 받고 있습니다.
현재 이곳에선 개인 개발자부터 SK텔레콤, 한국전자통신연구원(ETRI), 마음AI, 고려대 등 다양한 기업과 학계가 일단위 순위 각축전을 벌이며 선의의 경쟁을 벌이고 있습니다. 글로벌 LLM들이 주로 영어로 학습된 것과 비교해 영어 데이터 비중이 낮은 한국에선 한국어 특화 LLM 개발도 중요한 숙제이기 때문입니다. 이는 세계적인 AI 활용 트렌드에서 한국인들이 영어권에 뒤지지 않으려면 정말 필요한 일이죠. 이런 움직임을 뒷받침하는 판을 대기업도 아닌 스타트업 업스테이지가 주도했다는 점 또한 놀랍습니다.
업스테이지는 향후 Open Ko-LLM 주요 연구자들을 초빙해 오픈 세미나를 개최하는 등 국내 LLM 생태계 활성화에 보다 적극적으로 기여하겠단 방침입니다. 또한 AI를 위한 한국어 데이터 부족 문제 해결, 대한민국 LLM 독립을 위한 1 Trillon 토큰 클럽 – ‘1T 클럽’도 발족했는데요. 책, 기사, 보고서, 논문 등 다양한 출처에서 1억단어 이상의 한국어 데이터를 기여하는 파트너사들로 구성됩니다. 결과적으론 한국형 LLM 활성화에 기여한다는 명분, 나아가 업스테이지의 이 분야 리더십 확보와 사업 측면에서도 유리한 발판을 마련해갈 것으로 기대됩니다.
끝맺는 이야기
아직 배고픈 업스테이지
업스테이지는 창립 이래 부침없는 성장세로 AI씬에서 존재감을 키워가고 있습니다. 누구도 부정하지 않는 업계의 기대주죠. 보통의 스타트업이 흔히 겪는 무명기, 투자 가뭄과도 거리가 멀어 보입니다. 창업 1년만에 316억원에 달하는 시리즈 A 투자도 유치했고요. 이후에도 꾸준히 좋은 성과를 보였기 때문에 이후 투자 라운드에도 성공 여부는 걱정할 필요가 없어 보이네요.
하지만 업스테이지는 여전히 지속가능성을 고민한다고 이야기합니다. AI 생태계가 계속 발전하려면 ▲데이터 공개 기준의 명확화 ▲기술 활용을 위한 파트너사 확보 등 함께 풀어갈 문제도 아직 많다고 보고 있죠. 기술 개발과 더불어 기업 대상 유·무료 AI 교육 사업에도 박차를 가하고 있는 건 이런 이유 때문입니다.
또한 중장기 목표는 ‘고객사가 어떤 데이터를 들고 오더라도 목표한 성능 달성, 클라우드(SaaS, PaaS) 형태로 쉽게 사용할 수 있도록 돕는 것’이라고 합니다. 사업이 기대 이상으로 잘 이뤄지고 있고, 다른 욕심이 생길 때이기도 하지만, AI를 누구나 쉽게 쓸 수 있도록 만들고 돕겠다는 태초의 목표만은 여전히 업스테이지의 최우선 과제로 이야기되고 있는 모습입니다.
