딥러닝(Deep Learning)이 인공지능 (Artificial Intelligence, AI) 기술의 핵심으로 각광받는 것은 더 이상 놀라운 일이 아닙니다. 그러나 크래프톤이 세계 최대 규모의 AI 학술대회인 ‘NeurIPS (Conference on Neural Information Processing Systems, 신경정보처리시스템학회, 이하 뉴립스) 2023’ 에 참가해, 국내 게임사 중 가장 많은 5편의 논문을 메인 트랙(Main Track)으로 등재했다는 것은 꽤 놀라운 일입니다. 특히 뉴립스는 AI 분야 탑티어 학회로, 논문 채택률이 약 26%에 불과할 정도로 까다롭게 심사하기 때문입니다. 크래프톤 블로그에서는 이 중 2편의 논문에 대해 자세히 알아보았습니다. AI와 딥러닝에 관심 있는 꿈나무들이라면 놓칠 수 없겠죠?
반갑습니다. 자기 소개 부탁드립니다.
이건: 안녕하세요, KRAFTON AI Research Center의 이건입니다. 저는 음성 합성 (text-to-speech, TTS) 연구를 하고 있으며 가장 최근에는 언어 모델(Language model) 기반 개인화/다국어 Text-to-Speech (TTS) 연구/개발에 참여했습니다. 음성 합성 외에도 Generative AI (생성형 AI) 자체에 관심이 많아서 이번 NeurIPS에 제출된 논문인 “이미지 생성 AI 모델 사용시 부적절한 이미지 생성 방지 (Censored Sampling of Diffusion Models Using 3 Minutes of Human Feedback)”에 참여하였습니다.
박범수: 안녕하세요, KRAFTON AI Research Center의 박범수입니다. 저는 비전 및 그래픽스 분야에서 진행되는 최신 연구 결과를 파악하고, 이를 게임 산업에 적절한 방법으로 적용할 수 있는 방법을 찾는 일을 하고 있습니다. 대학원 전공으로 강화학습을 사용하여 3D 캐릭터 애니메이션을 생성하는 연구를 했던 경험이 있어, 이번 NeurIPS에 제출된 “절차적 생성 환경에서 안정적으로 작동하며 계층적 작업구조를 효율적으로 학습하는 강화학습 기법 개발(Discovering Hierarchical Achievements in Reinforcement Learning via Contrastive Learning)” 논문에도 참여했습니다.
조제웅: 안녕하세요, KRAFTON 딥러닝 본부 Core Research Team 팀장을 맡고 있는 조제웅입니다.
*조제웅님은 인터뷰 당시 미국 출장중인 관계로 별도로 진행했습니다.
크래프톤이 세계 최대 규모의 인공지능 학술대회인 NeurIPS (뉴립스) 2023에 5편의 논문을 발표했다고 들었어요. 여러분이 참여한 논문에 대해 설명해주실 수 있을까요? 논문에서 달성한 주요 발견과 시사점은 무엇인가요? 또한, 게임 산업 분야에서 어떻게 응용할 수 있을까요?
이건: 저는 서울대 류경석 교수님, 홍익대 노승문 교수님 연구진과 함께 생성형 AI에서 부적절한 이미지가 생성되는 것을 방지하는 human feedback 기반의 센서링 기법 (Censored Sampling of Diffusion Models Using 3 Minutes of Human Feedback) 을 연구하였습니다. (바로가기)
이제는 원하는 이미지를 텍스트로 묘사하여 적은 비용으로 고 퀄리티 컨셉 이미지를 빠르게 얻어 게임 제작에 활용할 수 있는 시대가 도래했는데요, 이 중심에는 Diffusion (디퓨전) 모델이라는 생성형 모델(Generative mode)의 발전이 있습니다.
하지만 Diffusion 모델 학습에 사용한 데이터, 학습방법에 따라 모델에서 입력하는 텍스트와 전혀 상관없는 부적절한 이미지가 생성되는 경우들이 빈번했습니다. 회사에서 이미지를 생성하다 깜짝 놀라 뒤를 보게 되는 경우가 빈번하다는 피드백을 자주 받았습니다. 이를 해결하기 위해 본 논문에서는 학습되어 있는 Diffusion 모델을 재학습하는 큰 비용을 발생시키지 않고, 모델에서 생성된 이미지에 대한 소량의 human feedback (적절/부적절) 활용만으로도 부적절 이미지 생성을 방지하는 이미지 센서링 기법을 개발하였습니다.
좋은 퀄리티의 이미지를 생성하는 Diffusion 모델에서 부적절한 이미지 생성까지 방지해줌으로써 이미지 생성형 AI를 활용하는 게임 제작자들의 모델 활용도가 더욱 올라갈 것으로 기대하고 있습니다.
박범수: 저는 서울대 송현오 교수님 연구진과 함께 절차적 생성 환경 내에서 다양한 시각적 변화에도 안정적으로 작동하는 계층적 강화학습 기법을 연구하였습니다. (바로가기)
게임 에이전트 강화학습은 게임 내 플레이어 역할을 하는 시스템인 에이전트가 스스로 게임 환경을 탐색하며 게임을 어떻게 플레이하는지 배우는 방법론입니다. 이렇게 생성된 에이전트는 게임 테스트 또는 실제 사용자들에게 새로운 게임 경험을 제공하는 데 사용될 수 있습니다. 그러나 게임이 시각적으로 계속 변하거나, 여러 단계의 복잡한 과제를 해결해야 하는 경우 에이전트 학습은 여전히 어려운 문제입니다. 우리 연구에서는 대조학습(Contrastive learning) 기법을 강화학습에 통합하여 이를 해결하고자 하였습니다. 결과적으로, 에이전트가 복잡한 과제의 여러 단계를 스스로 이해하고 학습하며, 게임의 시각적 변화에도 안정적으로 작동하는 알고리즘 개발하게 되었습니다. 특히 제안한 알고리즘은 DeepMind (딥마인드)에서 최근 발표한 DreamerV3 알고리즘에 비해 약 50%의 성능 향상을 보였습니다.
저희 논문의 주요 발견은, 비교적 간단한 Policy Gradient 기반 강화학습 기법에 대조학습 기법을 활용할 경우, 적은 모델 파라미터 수로 기존 방법보다 시각적으로 다양한 절차적 생성환경에서 계층적 작업구조를 안정적으로 학습 가능한 강화학습 기법을 개발했다는 점입니다.
저희 연구진은 이번 연구 결과가 대규모 오픈 월드 게임에서도 잘 동작하는 강화학습 에이전트 개발에 도움이 될 것으로 기대하고 있습니다.
이번 연구 과정에서 가장 어려웠던 부분은 무엇인가요?
이건: 산학 협력으로 진행하는 프로젝트다 보니, 연구 실험을 구상하거나 아이디어를 발전시키는 데에 따르는 직접적 어려움은 없었습니다. 다만, 굳이 꼽자면 실험을 서로 나눠서 진행하거나 결과를 취합할 때의 커뮤니케이션에 에너지가 많이 들었던 것 같습니다. 아무래도 서로 업무 스타일이나 배경지식이 다른 상태에서 온라인에서 회의를 진행하고 작업을 공유하다보니 싱크업을 위해 들이는 시간과 노력의 비중이 큰 편이었습니다. 그럼에도 분업도 잘 되고 맡은 바 서로 최선을 다했기 때문에 좋은 성과로 이어졌다고 생각합니다.
박범수: 저는 연구 주제를 정하는 것이 가장 어려웠습니다. 연구 시작부터 약 4개월 간 다양한 주제에 대해 검토하고 가능성을 확인하는 기간을 가졌는데, 대부분의 주제가 불가능하거나 간단해서 연구에는 적합하지 않았습니다.
주제 탐색 기간에는 마인크래프트 (MineCraft) 게임을 연구하기도 했었는데요, 마인크래프트를 학습한 논문 모두 매우 많은 GPU와 시간을 사용하고 있어 비슷하면서 더 간단한 게임으로 옮겨 연구를 진행했습니다.
말씀주신 것처럼, 논문의 연구 주제를 정하고, 연구를 하는 과정은 어떻게 진행되나요? 사기업이다보니 본인이 원하는 연구만 할 수는 없을 것 같은데요.
조제웅: 장기적인 목표 달성을 위해 필요한 기술들과 해결해야 할 문제들을 식별하고 구체화하는 것을 제일 먼저 합니다. 이후, 필요한 인력 규모를 정하고, 관심 있는 연구원들이 모여 아이디어를 공유하고 솔루션을 개발하는 방식으로 프로젝트를 진행합니다. 논문 주제 선정은 장기 목표와 일치하는 한 연구원들에게 상당한 자율성을 제공합니다. 또한, 주도적인 역할을 맡지 않더라도 원하는 프로젝트에 자유롭게 참여할 수 있습니다.
설명 감사합니다. 이번엔 조금은 일반적인 질문을 드려볼게요. 크래프톤은 왜 딥러닝 분야의 연구 결과를 학회에 발표하나요?
조제웅: 저명한 딥러닝 학회의 피어 리뷰 (Peer review) 과정을 통해 크래프톤의 기술을 전세계 딥러닝 연구자들로부터 검증받을 수 있습니다. 이 과정은 또한 학회 제출을 통해 딥러닝 분야의 최신 연구 트렌드를 파악하고, 연구 방향을 적절히 조정하는 데 중요한 역할을 합니다. 이러한 활동은 크래프톤의 차세대 기술 역량을 강화하고, 기술력을 전세계적으로 알리는 데 기여하며, 우수한 인재들을 크래프톤에 유치하는 데도 중요한 기회가 된다고 생각합니다.
크래프톤의 AI 연구 방향성은 무엇인가요?
조제웅: 최근 생성형 AI의 눈부신 발전으로 우리 일상에서 AI 활용이 점점 더 만연해지고 있습니다. 현재 많은 회사들이 AI 기술 확보와 활용에 주력하고 있으며, 이러한 회사들은 대체로 두 가지 유형으로 나눌 수 있습니다. 첫 번째 유형은 대규모 데이터셋을 활용해 기초 AI 모델을 직접 학습하려는 플레이어, 두 번째 유형은 기초 AI 모델을 직접 학습하기 보다는 학습되어 있는 기초 모델을 사용하여 특정 작업을 수행하는 시스템을 개발하려는 플레이어입니다.
크래프톤은 후자 유형에 속합니다. 이미지 생성 AI를 가져와 적은 데이터셋을 활용하여 원하는 스타일의 이미지를 생성하거나, Large Language Model(LLM)과 강화학습을 통합하여 게임을 이해하고 플레이하면서 언어로 표현할 수 있는 게임 에이전트를 개발하는 등, 제공된 기초 모델을 잘 활용하여 원하는 시스템들을 만들어 게임제작 및 새로운 유저 경험에 AI 기술을 활용하는 것을 목표로 하고 있습니다. 이를 위해 크래프톤은 주어진 기초 모델을 활용하여 시스템을 구축할 때 발생하는 문제들을 파악하고 해결하는 데 연구 방향을 두고 있습니다.
크래프톤이 지금까지 이룬 주요 연구 성과는 무엇일까요?
조제웅: 앞서 이건님, 박범수님께서 소개해주신 이미지 생성 AI 모델 사용시 부적절한 이미지 생성 방지, 절차적 생성 환경에서 안정적으로 작동하며 계층적 작업구조를 효율적으로 학습하는 강화학습 기법 외에도 LLM과 메모리 기반의 챗봇, LLM 가속화 기술, Language model 기반 개인화/다국어 Text-to-Speech (TTS) 연구개발 등 올해만 NeurIPS (탑티어 머신러닝학회), ACL (전산언어학회), COLT (학습이론학회) 등 AI 국제 학회에 총 10편의 메인트랙 논문, 6편의 워크샵 논문을 게재하였습니다. 저희 딥러닝 본부 연구 성과의 자세한 내용은 홈페이지(https://www.krafton.ai/ko/research/publications/)를 통해 업로드하고 있습니다.
크래프톤 딥러닝 본부에서는 AI 기술이 회사의 미래에 어떤 역할을 할 것으로 보나요?
조제웅: 크게 두가지 역할을 기대하고 있습니다. 첫 번째로 AI 기술을 통해 ‘게임 제작 효율성의 혁신’을 가져와 다양한 도전적인 시도를 가능케 하는 것입니다. 두 번째로는 ‘버추얼 프렌드(Virtual Friend)’ 개발을 통해 유저들에게 기존에 없던 새로운 재밌는 경험을 제공하는 것을 기대하고 있습니다.
AI 연구를 하고 하는 데에 있어서, 중요하게 생각하는 철학 혹은 신념 같은 것이 있을까요?
이건: 저는 신기한 결과를 보거나 가설을 검증하는 과정이 재미있어서 연구를 시작했습니다. 그렇지만 최근 들어 (특히 생성형) AI 연구 수준이 일반 대중의 일상에까지 영향을 끼치고 있는 만큼, 제가 수행하는 연구가 Research community나 우리 사회 혹은 인류에 어떤 영향을 끼칠 것인지, 그것이 궁극적으로 행복한 결말로 이어질 수 있는지 따져보는 습관을 가져야겠다고 느낍니다.
박범수: 저는 연구 개발 과정에서 AI를 사람처럼 대하려고 노력합니다. AI를 연구하다 보면 AI에게 사람이 하지 못할 일을 시키기도 하는데요, 사람에게 일을 준다고 생각하면 AI에게 터무니없는 기능을 요구하는 행위를 더 직관적으로 알아차릴 수 있습니다. 이 외에도 AI를 연구하면서 마주하는 많은 현상들과 결과를 분석할 때도, 사람의 생각을 이해하려는 자세로 접근하는 편입니다.
마지막 질문입니다. 여러분이 생각하는 딥러닝이란 무엇인가요?
이건: “인류가 스스로를 귀납적으로 탐구할 수 있는 현존 최고의 방법“이라고 생각합니다. 인간은 스스로를 이해하기 위해 끊임없이 탐구합니다. 우리가 뇌의 비밀을 푸는 순간 새로운 세계가 열릴 것이라 믿습니다. 그러나 적어도 현재까지는 연역적으로 뇌를 해독하는 것이 쉽지 않은데요, 이 욕구를 기가 막히게 대체해 주는 것이 바로 딥러닝이라고 생각합니다. 딥러닝은 마치 인간을 모방해 인간보다 더 뛰어난 수행 능력을 얻는 게임 같거든요. 이 게임의 승자가 되는 비법은 간단합니다. 자기 스스로를 잘 관찰하고 분석하여 막강한 컴퓨팅 파워로 극대화하는 것이죠.
박범수: 딥러닝은 ‘만능 도구’라고 생각합니다. 딥러닝이 처음 부각을 드러낸 시점에 대학교 연구실의 상당수가 머신 러닝 연구실로 분야를 바꾼 것이 기억에 남는데요, 딥러닝을 연구하고 사용하게 되는 분야는 시간의 흐름에 따라 더 많아질 것이라 예상하고 있습니다. 딥러닝은 지금도 예술, 문학 등 공학을 벗어난 분야에도 응용 가능함을 보이고 있기 때문에, 모든 작업에 사용 가능한 도구라고 보고 있습니다.
