크래프톤 SP2 Batch 3 E3 팀 인터뷰
인공지능 기술의 핵심으로 각광받고 있는 딥러닝(Deep Learning). 여기, 이 딥러닝 기술을 활용해서 새로운 게임의 재미를 구현하고자 하는 개발자들이 있습니다. 크래프톤은 인큐베이팅 프로그램인 ‘SP2(SPECIAL PROEJCT 2)’를 운영하고 있습니다. 2020년 Batch 1부터 현재 Batch 3까지 여러 팀들이 딥러닝을 학습하고, 이것을 새로운 게임 아이디어와 접목시키면서 핵심 재미를 증명하기 위해 오늘도 시도를 계속하고 있습니다. 그리고 새로운 도전을 이어 나가기 위해 Batch 4를 모집하기로 했습니다. 가장 최근에 SP2에 합류해 도전을 계속하고 있는 Batch 3 E3팀의 곽현일, 김성근, 이준엽 세 사람은 왜 SP2에 합류했고, 어떤 경험을 하고 있는지 들어 봤습니다.
안녕하세요 반갑습니다! 독자 여러분들께 간단하게 자기 소개 부탁드립니다.
곽현일: 안녕하세요. 저는 SP2 E3팀의 팀장을 맡고 있는 곽현일이라고 합니다.
김성근: E3팀 김성근이라고 합니다. 주로 클라이언트에서 딥러닝을 활용한 다양한 메커니즘을 개발해보고 있어요.
이준엽: E3팀 이준엽입니다. 저희 팀은 세 사람이 모두 개발을 하고 있어요. 팀의 방향성을 하나로 설정한 상태에서 아이디어가 떠오르는 대로 각자 프로토타입을 개발하는 식으로 병렬적으로 작업하고 있어요. 그런 측면에서 게임 디자인부터 클라이언트 개발까지 세 사람 모두가 다방면으로 골고루 일하고 있다고 할 수 있을 것 같네요.
세 분은 SP2에 합류하시기 전에 개발자로서 어떤 경험을 하셨나요?
김성근: 저는 컴퓨터 공학을 전공했어요. 처음 들어간 회사에서 처음 1년 정도는 자바 어플리케이션 만드는 일을 하다가 클라이언트 프로그래머로서 게임을 개발을 했었습니다.
이준엽: 저도 대학생 때 프로그래밍 관련 공부를 하다 첫 회사에 입사를 했어요. 사실 성근 님, 현일 님과 저는 이 회사 입사 동기예요. 클라이언트 프로그래머로 일하던 중 사내에서 게임 인공지능 관련 조직 모집 공고가 뜬 걸 보고 지원했고, 여기서 강화학습을 이용한 퍼즐 게임 레벨 디자인을 연구했어요. 이후에는 현일 님과 같이 퇴사해서 인디 게임 개발에 도전했고요.
곽현일: 저는 좀 복잡해요. 컴퓨터 공학과 재학 시절에 연구 과제로 처음 딥러닝을 접했어요. 그러다가 어느 시점에는 스스로 컴퓨터 공학과 안 맞다는 생각을 해서 글 쓰는 분야로 눈을 돌렸어요. 소설을 썼죠. 이후 두 분과 같은 시기에 회사에 들어갔어요. 직무는 게임 디자이너였고요. 게임 디자인과 데이터 분석 분야 일을 하다가 또 다른 걸 해보고 싶어서 1년 만에 회사를 나왔어요. 이번엔 미디어 아트였어요. 정확히는 딥러닝을 접목한 미디어 아트였죠. 1년 정도 해보니 역시 게임이 좋더라고요? 그래서 그때 준엽 님과 함께 인디 게임 개발을 했어요.
현일 님은 정말 다양한 분야에서 다채로운 경험을 하셨는데, 중간중간 인공지능, 그리고 딥러닝이라는 키워드가 등장했어요. SP2를 통해 딥러닝으로 돌아온 이유가 이 기술과 그 잠재성에 대한 믿음이었다고 봐도 좋을까요?
곽현일: 학부 시절 딥러닝을 처음 봤을 땐 믿음이 거의 없었어요. 당시에는 교수님들께 여쭤봐도 열에 세 분 정도만 그게 무엇인지 이야기해주실 수 있었으니까요. 당연히 자료도 없었고요. 그런데 이후 3~4년 사이에 딥러닝이 엄청나게 성장했어요. 제가 미디어 아트를 할 때 예술 분야의 학생들도 쓸 정도로 대중화가 진행됐고, 많은 것들을 활용할 수 있게 됐어요. 그러면서 그 잠재성을 점점 느끼게 됐고, 이런 기술을 게임에도 잘 접목시켜 볼 수 있겠다 하는 생각을 했어요.
준엽 님과 성근 님도 SP2 합류 전에 딥러닝과 인공지능 관련 경험을 하셨었나요?
이준엽: 저는 학부 졸업 프로젝트를 진행하면서 컴퓨터 비전 관련 연구를 했어요. 오브젝트를 인식시키는 거였죠. 이후 회사 생활을 하면서 게임 인공지능 관련 부서에서 강화학습 관련 경험을 하기도 했어요. 바둑 인공지능도 만들고, 퍼즐 게임 테스트 과정을 자동화하는 일도 했죠. 그러면서 점점 인공지능에 매료가 됐는데, 게임과 인공지능을 같이 할 수 있는 SP2에 자연스럽게 강하게 끌렸죠.
김성근: 저는 준엽 님, 현일 님과 완전 반대라고 할 수 있겠는데요, 이전에는 딥러닝에 대한 흥미가 아예 없었어요. 학부생 때 잠깐 머신러닝 공부를 하면서 맛본 것 외에는 경험도 없었죠. 그런데 중요한 건, 제가 새로운 것에 도전하는 걸 좋아한다는 거예요. SP2 모집 공고를 보고 재미있겠다고 생각했죠.
현일 님과 준엽 님은 규모가 큰 회사에 있다가 나와서 창업을 하고, 인디 게임을 개발했는데, 결코 쉽지 않았을 것 같아요. 떤 게임을 만들었고 어떤 도전을 했나요?
곽현일: 저희가 만들던 건 캐주얼한 느낌의 배틀로얄 게임이었어요. 작은 인형들이 커다란 사물 위에서 뛰어다니는 느낌이었죠. 저는 원래부터 인디 게임을 만들고 싶다, 작은 게임, 독특한 게임이 좋다고 늘 이야기하고 다녔어요. 그래서 창업이라는 생각보다는, 내가 만들고 싶은 게임을 만드는 과정이라고 생각했어요. 다니던 회사에서 나와서 힘들었다는 느낌은 별로 없었고요.
이준엽: 저도 재미있었어요. 회사 같이 다닐 때 저희가 다 같은 부서로 들어갔었는데, 현일 님은 게임 디자이너, 저는 클라이언트 프로그래머로 일했어요. 퇴사하고 같이 인디 개발할 때 저는 게임 디자인을 전혀 몰랐었는데, 다른 게임들을 분석해보며 우리 게임은 어떻게 만들면 좋을까 상상해봤는데, 이렇게 주체적으로 하는 것이 재미있었어요. 한편으론 빠르게 결과물을 내고 싶다는 조바심은 조금 있었던 것 같고요.
성근 님은 어떻게 E3에 합류하시게 되었나요? 두 분과 성근 님은 딥러닝에 대한 기존의 생각에도 차이가 있었던 것 같은데요, 성근 님을 영입한 스토리가 궁금해요.
곽현일: 제가 이전부터 장난반으로 빨리 회사 그만두고 우리랑 같이하자고 거의 3년 동안 이야기했어요. 그런데 성근 님은 끝까지 안 왔어요. 월급의 유혹을 떨치지 못 한거죠. (웃음) 하지만 성근 님도 혼자서 인디 게임 만들고 했던 걸 보면 제 생각에 이 분도 반골 기질이 있어요.
그러던 중에 자연스럽게 SP2에 대해서 이야기를 꺼냈는데, 이번에는 관심을 보이더라고요. 아마 새로운 분야에 대한 도전이라 그랬던 것 같아요. 개발자 입장에서는 흥미로운 이야기니까요. 그리고 크래프톤 차원의 지원도 좋고요. 이렇게 자유로운 분위기에서 자유롭게 할 수 있다는 건 어디서도 찾을 수 없는 조건이라고 생각해요.
김성근: 실제로 현일 님이 제가 E3에 합류하기 전까지 계속 여러가지 제안을 했어요. 그게 장난반이었다 하더라도 저는 그게 정말 고마웠어요. 저를 잊지 않고 계속 문을 두드려 주신거잖아요. 그리고 제가 현일 님, 준엽 님과 신입사원 시절부터 알고 지난지도 오래 됐거든요. 잘 지내오기도 했고요. 그래서 한번 해보자 했죠.
세 분이 첫 직장에서 입사동기로 시작했는데, 현일 님이 E3의 팀장을 맡은 이유가 있나요?
이준엽: 현일 님과 제가 둘이서 인디 개발할 때도 현일 님이 팀장이었어요. 적어도 제 생각에는 현일 님이 팀장 역할을 나보다 잘 하겠다 싶은 생각을 했거든요. 게임을 만들다 보면 의견 차이도 생길 수 있는데, 그럴 때 믿고 갈 수 있겠다고 느꼈어요.
김성근: 저는 일단 팀장이 하기 싫었어요. (웃음) 현일 님은 항상 저보다 두뇌회전이 빨라요. 말도 정말 잘하고요.
세 분은 SP2 합류 이전부터 오랫동안 알고 지내신 만큼 커뮤니케이션도 편하게 하실 것 같은데, E3 팀의 의사 결정과 커뮤니케이션 스타일은 어떤 가요?
김성근: 저희 세명은 모두 개성이 뚜렷하고, 좋아하는 게 다 달라요. 그리고 고집도 세요. 그렇기 때문에 우리 셋이 모두 만족할 수 있는 프로토타입이라면 재미있을 것 같다고 생각해요.
이준엽: 서로 솔직하게 이야기해요. 게임을 같이 만들다 보면 부정적인 피드백을 할 때는 조심스러울 수도 있는데 저희는 그런 것이 없어요. 솔직 담백하게 명치 많이 때려요. (웃음) 오히려 항상 모든 아이디어를 부정적 관점에서 검토하려고 노력해요. 이게 딥러닝을 바탕으로 한 것이 맞나? 실제로 재미가 그려지나? 그런 의문을 품고 회의를 진행하다 보면 진척이 없다고 느껴질 때도 있어요. 하지만 그건 어쩔 수 없는 부분이라고 생각해요.
곽현일: 저는 커뮤니케이션이라는 것이 의미 없는 말들의 연속이면 안 된다고 생각해요. 저도 어떤 맥락에서는 존중과 배려가 없는 스타일이예요. (웃음) 날 선 이야기를 주로 하려고 하거든요. 하지만 오히려 유대가 없다면 그렇게 할 수 없어요. 유대감과 배려, 그리고 수용할 수 있는 능력이 있다고 서로 믿을 때 그런 날 선 이야기를 제대로 할 수 있다고 생각하는데, 저희 팀은 이런 것들을 갖추고 있기에 날 선 피드백 위주로 직설적인 커뮤니케이션을 할 수 있고요.
성근 님과 준엽 님이 팀장님 설득에 자주 성공하나요?
이준엽: 전혀 아닙니다. (웃음)
곽현일: 제가 좋은 이야기도 많이 해 드리는데.. (웃음) 물론 저를 설득하기가 쉽지는 않습니다.
이번엔 프로젝트에 관한 질문을 해보겠습니다. 어떤 게임을 만들고 있는지, 또 지금 E3 프로젝트는 어느 정도 단계에 있는지 소개 부탁드립니다.
곽현일: 저희는 웹캠을 기반으로 다양한 신체적 인터랙션을 사용하는 게임을 짜고 있어요. 가상현실(Virtual Reality. VR) 게임을 머리에 쓰는 헤드셋 없이도 할 수 있는 게임이라고 생각하시면 좋을 것 같아요. 팬데믹 이후에 웹캠 보급이 많이 이루어졌고, 애플리케이션을 통해 스마트폰을 웹캠처럼 쓸 수도 있어서 굳이 비싼 헤드셋을 쓰지 않고도 VR게임과 유사한, 그러면서도 차별화된 경험을 제공할 수 있어요. 현재는 웹캠과 포즈, 핸드사인 같은 것을 어떻게 결합해서 좋은 경험을 만들 수 있을까 탐색하고 있어요.
‘모션 트래킹(Motion-tracking)’ 기술에 초점을 맞춘 이유가 있을까요?
곽현일: 여러가지 기술을 들여다보고, 프레임워크도 찾아보고, 우리가 어떤 경험을 만들 수 있을지에 대해서도 고민해봤는데, 우리가 당장 활용해서 게임 프로덕트를 주어진 시간 안에 만들어 내려고 한다면 이런 기술이 맞겠다고 생각했어요.
이준엽: 웹캠과 ‘컴퓨터 비전’을 활용하는 게임이 거의 없어요. 아예 없다고 무방할 것 같아요. 그러다 보니 레퍼런스도 없었어요. 이 기술을 선택한 이유 중 하나죠.”
곽현일: 지금 10대나 20대들은 이미 카메라에 정말 익숙해요. 셀피, 숏폼 이런 것에도 익숙하고요. 사실 이런 것들은 웹캠과 맞닿아 있어요. 웹캠을 단순히 게임에만 쓸지, 좀 더 커뮤니케이션이 가능한 온라인 게임으로 만들지는 정하지 않았지만, 시장에 어필하기 좋은 컨셉트라고 생각했어요.
딥러닝 기술 관련해서 요즘 어떤 부분에 집중하고 계시는지, 또 하루의 루틴은 어떻게 되는지 말씀 부탁드립니다.
곽현일: 한정된 기간과 자원에 맞게 프로덕션 레벨까지 게임을 끌어올리기 위해 현재 연구된 딥러닝 베이스의 기술 중 가능한 것을 선택했어요. 물론 초반에는 4~5개월 정도 R&D를 조금 하긴 했어요. 이후엔 가능한 것들을 빠르게 게임에 녹여내자는 방향을 잡았죠. 준엽 님과 성근 님은 재미를 검증하는 데 초점을 맞추고 있고요, 저는 어떻게 하면 플레이어들에게 거부감없이 다가갈 수 있을까에 집중하고 있습니다.
김성근: 게임의 기본 뼈대가 되는 베이스 메커니즘을 만드는 데 딥러닝을 활용하다 보니 기존에 없던 경험이 나오더라고요. 그걸 게임에 재미있게 녹여내는 데 집중하고 있습니다.
이준엽: 초반 R&D 할 때 학습 모델을 밤새 돌려놓거나 집에 가서 결과 확인하고, 새벽에 또 보고, 아침에 와서 또 확인하고 그런 과정이 있었어요. 직접 데이터 생성하고, 처리하고, 학습시키고, 결과 보고 하는 식의 루틴이었죠. 하지만 이런 식으로는 개발 코스트 산정이 너무 어렵겠다는 생각을 했고, 현재는 필요한 딥러닝 모델이 있으면 기능 단위로 간단하게 만들고, 종합해서 게임에 얹는 걸 위주로 하고 있어요.
팀 차원의 R&D는 아니더라도, 개인적으로 계속해서 학습을 해야 할 것 같아요. 프로젝트를 진행하면서 배움을 얻고 있는 각자의 방법이 있나요?
곽현일: 저는 프로젝트 하면서 잘 안되는 부분이 있었을 때 크래프톤의 Deep Learning 본부에서 진행했던 강연의 도움을 받은 적이 있어요. 게임이 아닌 다른 도메인에서 저희와 비슷한 고민을 하면서 도전하고 있는 분들과 이야기를 나누면서 문제 해결의 실마리를 얻기도 하고요.
김성근: 저는 손동작을 많이 쓰는 메커니즘에 주목하고 있는데요, 손동작이라는 것이 인간이 보통 취하는 자세나 동작을 생각했을 때 피로도와도 직결되고, 경험과도 직결되기 때문에 ‘휴먼 인터랙션’에 대한 고민이 많아요. 그래서 이런 부분에 관한 논문도 많이 찾아보고 있어요. 어떻게 보면 게임과는 접점이 별로 없어 보이는 영역인데, 저희 프로젝트에는 이런 것들에 대한 고민이 있어야 좋은 게임 경험을 만들 수 있기 때문이예요.
이준엽: 처음 웹캠을 떠올렸을 때 눈으로 응시점을 예측할 수 있으면 재미있는 걸 만들 수 있겠다는 생각으로 ‘아이트래킹(Eye-tracking)’에 관한 것도 공부해봤어요. 결론적으로 쓰기 어렵겠다고 생각하게 되긴 했지만, 이렇게 관심 가는 부분이 생길 때마다 공부를 하면서 진행하고 있어요. 하다 보면 꼬리에 꼬리를 무는 느낌으로 학습을 통해 더 좋은 경험을 만들고자 하고 있어요.
딥러닝은 아직 확실하고 명확하게 정의되지 않은 것이라고 할 수 있겠는데요, 이런 것을 가지고 새로운 게임의 재미를 찾아서 결합한다는 건 분명히 도전인데, 이런 도전에 임하기 위해서는 어떤 마인드셋이나 성향이 필요하다고 생각하시나요?
김성근: 일반적으로 게임을 개발할 때 모든 알고리즘은 개발자의 머리에서 나와요. 그런데 딥러닝 개발에서는 딥러닝이 알고리즘을 만들어 주거든요. 그렇기 때문에 창의적인 마인드가 더욱 중요할 것 같다고 생각해요.
이준엽: 저는 사실 조바심을 많이 내는 타입이예요. 그런데 딥러닝을 개발하다 보면 될까 안 될까를 판단하기도 쉽지 않고, 실제로 한 번 들이받아 봐야 비로소 알게 돼요. 그렇게 일하다 보면 압박을 느끼기 쉬워요. 하지만 딥러닝 기술이 우리의 기준에 정확하게 맞춰지지 않더라도, 잘 안되더라도 그런 상황을 오히려 재미로 풀어낼 수 있는, 긍정적인 마인드가 있다면 좋을 거라고 생각해요.
곽현일: 저는 ‘느슨한 신념’을 갖는 것이 가장 중요하다고 생각해요. 물론, SP2의 대전제에 따라 무조건 딥러닝을 써서 무언가를 구현하겠다는 것에 대한 믿음이 있어야 하는 건 당연하고요. 하지만 그걸 전개하는 방향성은 다 다를 수 있어요. SP2의 모든 팀들이 서로 다른 방향성과 신념을 갖고 있기는 하지만, 한가지를 무조건 밀어붙이려고 하는 자세는 위험할 수 있다고 생각해요. 느슨하게, 좀 더 다양한 가능성을 찾아보려고 노력해야 해요.
또, 효율적으로 노력하려는 자세도 중요하다고 생각해요. 우리는 딥러닝에 대한 절대적인 전문가는 아니니까, 최대한 많은 조언도 구해야 하고요.
SP2에 합류하기를 잘 했다고 느낀 적이 있나요?
이준엽: 지금 저희가 하고 있는 경험은 정말 여기서 밖에 얻을 수 없는 거라고 생각해요. 각 팀에 전반적인 권한을 모두 주는 것을 저는 여기서 밖에 경험하지 못했어요. 마일스톤도 직접 하고, 각 단계에 대한 조정도 저희가 직접 하고요. 물론, 결과에 대한 책임도 저희가 스스로 지는 거죠.
김성근: 저도 정확하게 준엽 님과 똑같은 생각이예요. 팀에 완전한 자율성을 주는 것이 정말 좋아요.
곽현일: 물론, 이런 자율적인 시스템에 맞는 사람이 있고, 그렇지 않은 사람이 있을 수는 있을 것 같아요. SP2 합류하기 전에 홍보 영상을 본 적이 있는데, 거기서 장병규 님이 ‘학습과 성장을 선호해야하고 새로운 재미를 찾아가는 과정 자체를 즐길 수 있어야 한다’라고 하셨던 멘트가 기억에 남아요. 저는 그 부분이 중요하다고 생각해요.
세 분은 게임을 할 때 어떤 경험을 할 때 ‘재미있다’고 느끼나요?
곽현일: 저는 항상 그걸 ‘뾰족한 느낌’이라고 이야기해요. 뾰족한 게임. 창의성이란 걸 이야기할 때도 보편적으로 인지되고 공감할 수 있는 틀 안에서 ‘뾰족한 무언가’가 있을 때 창의라고 할 수 있다고 생각해요. 그런 의미에서 보편적인 틀을 갖추고 있으면서도 뾰족하게 새로운 부분이 보일 때 그런 것을 재미있다고 느껴요.
김성근: 저는 베이스 메커니즘이 단단하고 튼튼하게 잘 구현된 게임에서 재미를 느껴요.
이준엽: 저는 사실 그런 명확한 기준은 없어요. 하지만 플레이할 때 그걸 같이 하고 싶은 사람이 떠오르는 게임이라면 충분하다고 생각해요.
SP2에는 배치1과 배치2에 E3 팀보다 먼저 도전을 시작한 팀들이 여럿 있어요. 동료들이 앞서서 겪은 시행착오에 대한 이야기들을 들으면서 어떤 생각을 하셨나요?
이준엽: 배치1과 배치2의 팀들이 앞서서 도전한 경험들을 바탕으로 저희가 나아갈 길을 어느 정도 가늠해 볼 수 있다고 생각해요. 그런 의미에서 다른 팀들이 일단 잘 됐으면 좋겠어요. 어떤 결과가 나오더라도 우리에게 다 도움이 될 거라고 생각해요.
배치4를 통해 새로운 팀들이 새로운 도전에 나서게 될 텐데요, 이분들에게 해주고 싶은 말이 있다면?
곽현일: 우선, 모험과 도전, 성장을 즐길 수 있는 분들이 많이 지원하시면 좋을 것 같습니다. 그리고 소통을 많이 하면 좋을 것 같아요. 여러가지 커뮤니케이션 툴도 많이 있지만 결국 얼굴 맞대고 편하게 이야기하는 것이 도움이 많이 돼요. 저희도 그랬고요.
그리고, 주어진 시간 동안 어느 정도 규모로 도전해서 어느 정도 시점에 검증을 받겠다는 걸 정하고 오면 더 좋을 것 같아요. 물론 예측하기 쉽지 않겠지만, 그런 것들을 고민해두면 게임에 접목시킬 기술을 선택하거나 연구할 때, 그리고 삽질을 할 때 도움이 될 거라고 생각합니다. 하지만 삽질은 당연히 하시게 되지 않을까.. (웃음)
마지막 질문입니다. 처음 SP2에 합류하실 때 면접에서 좋아하는 게임이 무엇인지에 대한 질문을 받으셨다고 들었는데요, 각자 어떻게 대답하셨나요?
김성근: 저는 ‘다크소울(Dark Souls)’이랑 ‘GTA’요.
곽현일: 저는 ‘핵앤슬래시(Hack-and-Slash)’류 게임 좋아한다고 했던 것 같은데..
이준엽: 저는 ‘오버쿡!(Overcooked)’이요.
곽현일: 역시 다 달랐네요. 저희 세 사람이 이렇게 다릅니다. (웃음)
