[ASAC 0703] 프롬프트 기반 게임 아트 생성AI 프로젝트 기획

 

7월 3일의 기록

오늘은 딥러닝 프로젝트의 회고를 바탕으로 새롭게 개선해야할 기획을 정리해보았다. 내용을 바탕으로 Stable-Diffusion에 대해 학습을 시켜 보았고, 이는 다시 블로그에 정리할 예정이다.

 

1. 문제점 정의

• 작은 예산(1인 개발자)으로 게임을 개발하는 경우 게임 아트를 만들어줄 전문 인력을 고용할 여력이 없으며, 외주를 맡길 때도 비용이 들어가는데, 이 비용이 높은 부담이 된다.
  
  • 1-1. 서비스 타겟 : 1인 개발자, 게임 스타트업

2. 해결방안

• 원하는 상황에 맞는 게임 아트를 즉각적으로 생성해주는 AI가 있다면 외주를 맡기거나 인력을 고용해서 이미지를 만들지 않아도 된다
• 2-1. Input
  • Before : 게임 스토리 프롬프트
  • After : 필요로 하는 이미지에 대한 설명
    • 실제 서비스를 사용할 때를 가정해보면 스토리를 넣었을 때 보다 상황에 맞는 이미지가 더 필요할 수 있으므로 그에 맞춰진 프롬프트를 넣는 것으로 변환하려 함.
    • 즉, 따라서, 기존 스토리에 집착하지 말고 Input 프롬프트에 맞는 이미지가 나올 수 있도록 성능을 개선해보자. 가장 내가 표현한 대로 잘 나오게 하도록 만들어보려 함.
• 2-2. Output
  • Before : 게임 아트 & 게임 BGM
  • After : 게임 아트 중 Characters, Environments
    • 실제 게임 아트를 판매하고 있는 Unity의 Asset store를 보면 UI, image를 Kit형태로 판매하고 있었다. 따라서, 해당 Kit에 포함되는 요소 중 가장 이미지적인 요소만으로 해결 할 수 있을 캐릭터와 배경 이미지로 전이 학습을 시켜볼 예정이다.
    • 또한, 게임 BGM의 경우 음악 생성 모델을 추가적으로 디벨롭해야 하지만, 현재 우리가 가진 도메인 지식 및 모델링 실력에 비해 음악은 쉽지 않음을 느끼고 이번 프로젝트에서는 드랍하기로 결정
  • Ref) https://assetstore.unity.com/packages/tools/utilities/asset-store-publishing-tools-115
    • 에셋 스토어에는 kit를 패키지 형태로 판매
      • 예시) Characters, Environments, Fonts, GUI, ICON
      • UI interfaces (image, backgrounds, buttons)
      • General game art (characters, spells, backdrops)
      • Most assets of a 2D game (heroes, weapons, clothing, level art)
      • Product related items (APP icons, marketing images)

2-3. Dataset

데이터셋은 우선적으로 간단하게만 찾았지만 실제 사용할 데이터는 weight, height를 맞춰주면서 화질도 맞춰주는게 좋을 것 같아서 가장 적합한 데이터셋으로 학습 후 Inference를 하며 수정할 예정

1. 다양한 이미지 셋 모음 : https://github.com/stootaghaj/GISET
2. 게임 관련 데이터셋  : https://github.com/leomaurodesenv/game-datasets?tab=readme-ov-file
3. 게임 캐릭터 데이터셋: https://linkinnation1792.gitbook.io/causal-scene-generation/tutorial/game-character-dataset#dataset
4. 메이플스토리 캐릭터 이미지 데이터셋: https://academictorrents.com/details/34263e708a9953126633af2405dafe8f3185c994

3. 최종 목표

기존 발표자료 피드백 반영

• 프로젝트 주제 선정 배경 및 사업 타당성을 구체적이고 논리적으로 작성
  • ex) 예산 절약을 위해 한다고 하였으면 최종 산출물이 그에 어떻게 영향을 미치는지 시각적인 자료, 통계 수치 확보

모델에 대한 공부

• 직접 사용한 모델을 하나부터 열까지 다 설명할 수 있을 정도로 공부
• GPT는 서포팅 직접 코드를 작성하고 Github에 정리

최종 결과물 성능 개선

• 각 데이터셋 찾아보고 어떻게 나아지는지, 이 과정을 기록하여 fine-tuning에 대한 능력을 어필할 수 있게 하자.
• process) 최초 모델 → 가설 수립 → 실제 결과 → 다시 추가 수정 피드백
  • 이 부분은 모델링 공부 후  실제 train, inference를 진행한 뒤, 회의시간에 공유한 뒤 가장 성능이 좋을 요소로 채택하여 더 디벨롭 할 예정