오픈 소스 이미지 생성 모델 가이드

https://www.ifoto.ai/blog/stable-diffusion-face-swap/

텍스트-이미지, 이미지-이미지, 이미지-비디오 모델과 같이 시각적 창작을 위해 설계된 모델은 텍스트-텍스트 모델과 마찬가지로 혁신적이고 변혁적입니다. 이 모델은 창의적 표현과 시각적 소통을 위한 새로운 기회를 열어 주어, 아름다운 시각적 효과를 창출하고, 배경을 바꾸고, 빠진 부분을 채우고, 구도를 복제하고, 단순한 낙서를 전문적인 이미지로 바꿀 수 있게 해줍니다.

이 분야에서 가장 많이 언급되는 이름 중 하나는 Stable Diffusion입니다. Stable Diffusion은 주로 Stability AI가 개발한 Stable Diffusion 1.4, XL, 3.5 Large와 같은 일련의 오픈 소스 시각적 생성 모델과 함께 제공됩니다. 그러나 AI 기반 이미지 생성의 광대한 세계에서, 그들은 단지 그 일부에 불과하며, 제공 및 배포에 적합한 모델을 선택하기 시작하면 상황이 매우 복잡해질 수 있습니다. Hugging Face를 검색해 보면 2025년 3월 1일 19:50 기준  62,281개의 텍스트-이미지 모델이 검색됩니다. https://huggingface.co/models?pipeline_tag=text-to-image

Models - Hugging Face

 

본 포스팅에서는 창의적인 시각적 효과를 만들어내는 능력으로 두각을 나타내는 오픈 소스 모델 목록을 제공합니다. 이전 블로그 포스트와 마찬가지로, 이 흥미롭지만 복잡한 영역을 탐색하는 데 도움이 되는 자주 묻는 질문에 답하고, 생산 과정에서 이러한 모델을 사용하는 방법에 대한 통찰력을 제공합니다.

Stable Diffusion

Stable Diffusion (SD)은 2022년 출시된 이후 생성적 AI 분야에서 빠르게 유명해졌습니다. https://huggingface.co/models?other=stable-diffusion텍스트와 이미지 프롬프트 모두에서 사실적인 이미지를 생성할 수 있습니다. Stable Diffusion을 구동하는 기본 AI 기술인 “확산 모델”이라는 용어를 Stable Diffusion과 함께 사용하는 것을 자주 들을 수 있습니다. 간단히 말해서, 확산 모델은 무작위 노이즈 패턴으로 시작하여 노이즈를 가감하는 과정을 통해 점차적으로 일관된 이미지로 만들어가는 방식으로 이미지를 생성합니다. 이 과정은 계산이 많이 필요하지만, 잠재 공간 기술을 통해 안정 확산에서 최적화되었습니다.

Models - Hugging Face

 

Latent space 잠재 공간은 모델이 만들 수 있는 모든 이미지의 간결하고 단순화된 지도와 같습니다. 이 모델은 이미지의 모든 작은 세부 사항(이를 처리하는 데 많은 컴퓨팅 파워가 필요함)을 처리하는 대신 이 맵을 사용하여 새로운 이미지를 더 효율적으로 찾고 생성합니다. 마치 모든 세부 사항을 채우기 전에 그림의 주요 아이디어를 스케치하는 것과 비슷합니다.

static images 정적 이미지 외에도 Stable Diffusion은 비디오와 애니메이션을 생성할 수 있어 다양한 창의적 작업을 위한 포괄적인 도구가 됩니다.

Stable Diffusion을 사용해야 하는 이유:

• 다양한 변형: Stable Diffusion은 Stable Diffusion 1.4, 1.5, 2.0, 3.5, Stable Diffusion XL, Stable Diffusion XL Turbo, Stable Video Diffusion 등 다양한 인기 베이스 모델과 함께 제공됩니다. 이 평가 그래프에 따르면, SDXL 기본 모델은 이전 모델들보다 훨씬 더 우수한 성능을 발휘합니다. https://huggingface.co/stabilityai/stable-diffusion-xl-base-1.0#evaluation그럼에도 불구하고, 어떤 모델이 다른 모델들보다 더 나은 이미지를 생성한다고 단정하기는 쉽지 않다고 생각합니다. 그 이유는 결과가 프롬프트, 추론 단계, LoRA 가중치와 같은 다양한 요인에 의해 영향을 받을 수 있기 때문입니다. 일부 모델은 더 많은 LoRA를 사용할 수 있는데, 이는 올바른 모델을 선택할 때 중요한 요소입니다. 초보자의 경우, SD 1.5 또는 SDXL 1.0부터 시작하는 것이 좋습니다. 이 두 버전은 사용자 친화적이고 기능이 풍부하며, 기술적인 세부 사항에 관여하지 않고 탐색하는 데 적합합니다.
• 사용자 정의 및 미세 조정: Stable Diffusion 기본 모델은 특정 스타일이나 특정 주제의 시각적 요소를 생성하기 위해 최소 5개의 이미지로 미세 조정할 수 있어 생성된 이미지의 관련성과 고유성을 향상시킬 수 있습니다. 제가 가장 좋아하는 것 중 하나는 Stable Diffusion XL을 기반으로 구축된 SDXL-Lightning입니다. https://huggingface.co/ByteDance/SDXL-Lightning 이 모델은 단 몇 단계(1, 2, 4, 8단계)만으로 고품질 이미지를 생성하는 초고속 기능으로 유명합니다.
• 제어 가능성: Stable Diffusion은 이미지 생성 과정을 광범위하게 제어할 수 있는 기능을 제공합니다. 예를 들어, 확산 과정에서 모델이 취하는 단계의 수를 조정하고, 이미지 크기를 설정하고, 재현성을 위한 시드를 지정하고, 입력 프롬프트의 준수 정도에 영향을 미치기 위해 안내 스케일을 조정할 수 있습니다.
• 미래의 잠재력: 애니메이션 및 비디오 AI 시스템과의 통합을 위한 잠재력이 매우 커서 훨씬 더 광범위한 창의적 가능성을 약속합니다.

ByteDance/SDXL-Lightning · Hugging Face

 

stabilityai/stable-diffusion-xl-base-1.0 · Hugging Face

 

주의해야 할 점:

• 왜곡: Stable Diffusion은 때때로 복잡한 세부 사항, 특히 얼굴, 손, 다리를 부정확하게 렌더링할 수 있습니다. 때로는 이러한 실수가 즉시 눈에 띄지 않을 수도 있습니다. 생성된 이미지를 개선하기 위해, negative prompt 음수 프롬프트를 추가하거나 특정 미세 조정 버전을 사용해 볼 수 있습니다.
• 텍스트 생성: 일부 버전은 이미지 내에서 텍스트를 이해하고 생성하는 데 어려움을 겪는데, 이는 이미지 생성 모델에서 흔히 발생하는 문제입니다. 그러나 SD 3.5 Large와 같은 최신 버전은 이미 이 측면에서 상당한 개선을 이루었습니다.
• 법적 문제: AI가 생성한 예술 작품을 사용하면, 특히 훈련 데이터가 저작권 문제에 대해 철저하게 검증되지 않은 경우, 장기적으로 법적 문제가 발생할 수 있습니다. 이것은 Stable Diffusion에만 국한된 문제는 아니며, 나중에 FAQ에서 더 자세히 설명하겠습니다.
• 유사성 위험: Stable Diffusion이 훈련된 데이터를 고려할 때, 아티스트와 창작자가 유사한 키워드나 프롬프트를 사용할 때 유사하거나 중복된 결과를 생성할 가능성이 있습니다..

Stable Diffusion 모델을 배포하는 예제를 확인하세요. https://github.com/bentoml/BentoDiffusion

GitHub - bentoml/BentoDiffusion: BentoDiffusion: A collection of diffusion models served with BentoML

 

FLUX.1

2024년 8월, 블랙 포레스트 랩스는 FLUX.1 모델 제품군을 출시했습니다.https://blackforestlabs.ai/announcing-black-forest-labs/ 이 모델은 최첨단 모델 제품군을 정의하고, 텍스트-이미지 합성을 위한 이미지 세부 사항, 신속한 준수, 스타일 다양성, 장면 복잡성 면에서 새로운 기준을 제시합니다.

Announcing Black Forest Labs

 

이 제품군은 [pro], [dev], [schnell]의 세 가지 변형으로 구성되어 있습니다. 각 변형은 고성능 전문적인 사용부터 효율적인 비상업적 응용 프로그램, 신속한 로컬 개발에 이르기까지 특정 사용 사례에 맞게 설계되었습니다. 가장 빠른 모델인 FLUX.1 [schnell]은 한 달도 채 되지 않아 Hugging Face에서 150만 건 이상의 다운로드를 달성하여 모든 텍스트-이미지 모델 중 4위를 차지했습니다(처음 3개 모델은 모두 SD 모델입니다).

여기서 흥미로운 사실은 FLUX.1의 개발자들이 SD의 최초 개발자들이라는 점입니다. Stability AI를 떠난 후, 그들은 이전의 작업들을 뛰어넘는 혁신을 이루겠다는 비전을 가지고 Black Forest Labs를 설립했습니다.

왜 FLUX.1을 사용해야 하는가:

• 최첨단 성능: FLUX.1 모델은 시각적 품질, 즉각적인 준수, 출력 다양성 면에서 Midjourney v6.0 및 DALL·E 3와 같은 인기 모델들을 능가한다고 주장합니다. 벤치마크 테스트에서 [pro]와 [dev] 변형은 SD3-Ultra와 Ideogram 같은 경쟁 제품보다 성능이 뛰어났습니다. 따라서 이미지 생성에 있어 최고의 기준을 추구하는 창의적인 작업자들에게 매력적인 선택지가 될 수 있습니다.
• 긴 텍스트 렌더링: 이미지 생성 모델이 텍스트를 생성하는 것은 여전히 어려운 과제입니다. 다른 모델들이 이 문제에 어려움을 겪는 반면, FLUX.1은 특히 긴 텍스트를 처리할 때 탁월한 텍스트 렌더링 능력을 보여줍니다.
• 아키텍처: 모든 공개 FLUX.1 모델은 120억 개의 매개변수에 맞게 조정된 다중 모드 및 병렬 확산 변환기 블록의 하이브리드 아키텍처를 기반으로 합니다. 이 구조는 흐름 매칭 및 회전 위치 내장과 같은 정교한 기술을 통합하여 이미지 충실도를 높일 뿐 아니라 하드웨어 효율성도 향상시킵니다.

주의해야 할 점:

• 상업적 라이선스 옵션: FLUX.1 변형을 선택하는 것은 상업적 맥락에서 모델을 사용하는 방식에 영향을 미칩니다.

현재로서는 FLUX.1에 대해 알아볼 것이 많습니다. 최소한의 제한으로 쉽게 접근할 수 있고, 초기 투자나 복잡한 설정 요구 사항 없이 기능을 철저히 탐색할 수 있으므로 FLUX.1 [빠르게]부터 시작하는 것이 좋습니다.

DeepFloyd IF

DeepFloyd IF는 Stability AI와 DeepFloyd 연구소가 개발한 텍스트-이미지 생성 모델입니다. 이 모델은 놀라운 사실주의와 미묘한 언어 이해력을 갖춘 이미지를 생성하는 능력으로 유명합니다. https://github.com/deep-floyd/IF 

GitHub - deep-floyd/IF

 

DeepFloyd IF의 구조는 픽셀 공간에서의 확산에 대한 접근 방식이 특히 주목할 만합니다. 구체적으로, 이 모델은 텍스트 인코더와 3개의 계단식 픽셀 확산 모듈을 포함하고 있습니다. 각 모듈은 이 과정에서 고유한 역할을 수행합니다. 1단계는 기본 64x64 픽셀 이미지를 생성하는 단계로, 이 이미지는 2단계와 3단계에서 1024x1024 픽셀로 점진적으로 확대됩니다. 이것은 Stable Diffusion과 같은 잠재 확산 모델과 구별됩니다. 이 픽셀 수준 처리를 통해 DeepFloyd IF는 시각적 효과를 생성하거나 향상시키기 위해 이미지를 직접 조작할 수 있으며, 압축된 잠재 표현으로 변환하거나 그 반대로 변환할 필요가 없습니다.

DeepFloyd IF를 사용해야 하는 이유:

• 텍스트 이해: DeepFloyd IF는 심층 텍스트 프롬프트 이해를 위해 대규모 언어 모델 T5-XXL-1.1을 통합하여 입력 설명과 매우 유사한 이미지를 생성할 수 있습니다.
• 텍스트 렌더링: DeepFloyd IF는 Stable Diffusion 시리즈의 이전 모델과 다른 텍스트-이미지 모델보다 더 일관성 있는 텍스트 렌더링에서 가시적인 진전을 보여줍니다. 결점이 있는 것은 사실이지만, DeepFloyd IF는 텍스트 렌더링에서 이미지 생성 모델의 진화에 있어 중요한 진전을 의미합니다.
• 높은 수준의 사실성: DeepFloyd IF는 인상적인 제로샷 FID 점수(6.66)를 달성했습니다. https://stability.ai/news/deepfloyd-if-text-to-image-model 이는 고품질의 사실적인 이미지를 생성할 수 있음을 의미합니다. FID 점수는 텍스트-이미지 모델에 의해 생성된 이미지의 품질을 평가하는 데 사용되며, 낮은 점수는 일반적으로 더 나은 품질을 의미합니다.

Stability AI releases DeepFloyd IF, a powerful text-to-image model that can smartly integrate text into images — Stability AI

 

주의해야 할 점:

• 콘텐츠 민감도: DeepFloyd IF는 성인, 폭력, 성적인 주제를 포함하는 광범위한 콘텐츠로 알려진 LAION-5B 데이터 세트의 하위 집합에서 훈련되었습니다. 이러한 콘텐츠에 대한 모델의 노출을 줄이기 위한 노력이 이루어졌지만, 필요할 경우 계속해서 주의하고 결과를 검토해야 합니다.
• 편견과 문화적 표현: 영어 중심의 이미지와 텍스트가 포함된 데이터 세트인 LAION-2B(en)에 대한 모델의 훈련은 백인과 서양 문화에 대한 편견을 불러일으키며, 종종 이를 기본값으로 취급합니다. 이러한 편견은 모델의 결과에서 다양성과 문화적 표현에 영향을 미칩니다.
• 하드웨어 요구 사항: 모든 변형을 실행하려면 최소 24GB vRAM의 GPU가 필요하므로 리소스 집약적입니다.

ControlNet

ControlNet은 Stable Diffusion과 같은 확산 모델의 기능을 향상시키는 데 사용될 수 있으며, 이미지 생성을 보다 정밀하게 제어할 수 있습니다. https://arxiv.org/abs/2302.05543신경망 블록을 “잠금” 및 “학습 가능” 복사본으로 나누어 작동합니다. 학습 가능 복사본은 사용자가 설정한 특정 조건을 학습하고, 잠금 복사본은 원래 모델의 무결성을 유지합니다. 이 구조를 사용하면 성능 저하 없이 작은 데이터 세트로 모델을 학습할 수 있으므로 개인용 또는 소규모 장치 사용에 이상적입니다.

Adding Conditional Control to Text-to-Image Diffusion Models

 

ControlNet을 사용해야 하는 이유:

• 이미지 생성에 대한 향상된 제어: ControlNet은 최종 이미지 출력을 조정하는 데 엣지 감지 또는 깊이 맵과 같은 추가 조건을 허용함으로써 더 높은 수준의 제어를 제공합니다. 따라서 ControlNet은 이미지 구성을 복제하거나, 특정 사람의 포즈를 지정하거나, 유사한 이미지를 생성하려는 경우에 좋은 선택입니다.
• 효율적이고 유연함: 모델 아키텍처는 최소한의 추가 GPU 메모리 요구 사항을 보장하므로 리소스가 제한된 장치에도 적합합니다.

주의해야 할 점:

• Stable Diffusion에 대한 의존성: ControlNet은 Stable Diffusion에 의존하여 작동합니다. 이 의존성은 Stable Diffusion이 이미지 생성에 선호되지 않는 환경에서 사용에 영향을 미칠 수 있습니다. 또한 위에서 언급한 Stable Diffusion의 한계는 왜곡 및 법적 문제와 같은 생성된 이미지에 영향을 미칠 수 있습니다.

이 예제를 참조하여 ControlNet을 사용해보세요. https://github.com/bentoml/BentoDiffusion/tree/main/controlnet

BentoDiffusion/controlnet at main · bentoml/BentoDiffusion

 

Animagine XL

텍스트-이미지 AI 모델은 애니메이션 산업에 상당한 잠재력을 가지고 있습니다. 아티스트들은 간단한 설명을 제공함으로써 컨셉 아트를 빠르게 생성할 수 있으며, 이를 통해 시각적 스타일과 주제를 빠르게 탐색할 수 있습니다. 이 분야에서 Animagine XL은 혁신을 주도하는 중요한 플레이어 중 하나입니다. 이 제품은 일련의 오픈 소스 애니메이션 텍스트-이미지 생성 모델을 나타냅니다. Stable Diffusion XL을 기반으로 구축된 최신 버전인 Animagine XL 3.1은 프롬프트 순서에 태그 순서를 적용합니다. https://huggingface.co/cagliostrolab/animagine-xl-3.1  즉, 프롬프트의 순서가 결과에 큰 영향을 미칩니다. 생성된 결과가 의도대로 나오도록 하려면, 모델이 이런 방식으로 훈련되었기 때문에 특정 템플릿을 따라야 할 수도 있습니다. https://huggingface.co/cagliostrolab/animagine-xl-3.1#tag-ordering

cagliostrolab/animagine-xl-3.1 · Hugging Face

 

cagliostrolab/animagine-xl-3.1 · Hugging Face

 

Animagine XL을 사용해야 하는 이유:

• 맞춤형 애니메이션 생성: 애니메이션 스타일 이미지 생성을 위해 특별히 설계된 이 프로그램은 이 장르에서 우수한 품질을 제공합니다. 이런 유형의 이미지를 생성할 모델을 찾고 있다면, Animagine XL이 최고의 선택이 될 수 있습니다.
• 확장된 지식 기반: Animagine XL은 많은 애니메이션 캐릭터를 통합하여, 더 넓은 범위의 애니메이션 스타일과 테마에 걸쳐 모델의 친숙도를 향상시킵니다.

주의해야 할 점:

• 틈새 시장 집중: 애니메진 XL은 주로 애니메이션 스타일의 이미지를 위해 설계되었기 때문에, 보다 폭넓은 이미지 생성 요구에 적용하는 데 제한이 있을 수 있습니다.
• 학습 곡선: 최적의 결과를 얻기 위해 태그 순서와 프롬프트 해석을 마스터하려면 애니메이션 장르와 스타일에 대한 친숙함이 필요할 수 있습니다.

Stable Video Diffusion(SVD)

SVD는 스틸 이미지에서 고품질 비디오를 제공하는 것을 목표로 하는 Stability AI의 비디오 생성 모델입니다. 위에서 언급한 바와 같이, 이 모델은 Stability AI의 AI 도구 모음의 일부이며, 공개 비디오 모델 개발에 대한 첫 번째 시도입니다.

Stable Video Diffusion은 초당 3~30프레임의 사용자 지정 가능한 프레임 속도로 14프레임과 25프레임을 생성할 수 있습니다. 이 평가 그래프에 따르면, https://huggingface.co/stabilityai/stable-video-diffusion-img2vid-xt#evaluation SVD는 GEN-2와 PikaLabs보다 비디오 품질 측면에서 더 많은 인간 유권자를 확보했습니다.

stabilityai/stable-video-diffusion-img2vid-xt · Hugging Face

 

사실, Stability AI 는 안전성과 품질을 향상시키기 위해 여전히 노력하고 있습니다. Stability AI 는 “이 모델은 현재 단계에서 실제 또는 상업적 응용을 위한 것이 아니며, 연구용으로만 사용해야 한다”고 강조했습니다. https://stability.ai/news/stable-video-diffusion-open-ai-video-model 그렇지만, 이 모델은 이 업계에서 사용할 수 있는 몇 안 되는 오픈 소스 비디오 생성 모델 중 하나입니다. 이 모델을 가지고 놀고 싶다면 다음 사항에 주의하십시오.

Introducing Stable Video Diffusion — Stability AI

 

• 짧은 비디오 길이: 이 모델은 최대 길이가 약 4초인 짧은 비디오 시퀀스만 생성할 수 있기 때문에, 더 긴 내러티브나 세부적인 탐색의 범위가 제한됩니다.
• 모션 제한: 일부 생성된 비디오에는 동적 모션이 부족하여 정적인 장면이나 매우 느린 카메라 움직임이 발생하여 특정 사용 사례에서 기대치를 충족하지 못할 수 있습니다.
• 왜곡: 안정된 비디오 확산은 얼굴과 사람을 정확하게 생성하지 못할 수 있으며, 종종 덜 상세하거나 잘못된 표현을 초래하여 인간 주제에 초점을 맞춘 콘텐츠에 어려움을 야기할 수 있습니다.

.

LoRA란 무슨 뜻이에요? LoRA와 Stable Diffusion을 통해 무엇을 할 수 있나요?

LoRA(Low-Rank Adaptation)는 Stable Diffusion과 같은 생성 모델을 포함한 머신 러닝 모델을 미세 조정하기 위해 고안된 고급 기술입니다. 이 기술은 훈련 가능한 소수의 매개변수를 사용하여 특정 작업에서 이러한 모델을 미세 조정하거나 새로운 데이터에 적응시킵니다. 훈련해야 하는 매개변수의 수를 크게 줄여주기 때문에 광범위한 계산 자원을 필요로 하지 않습니다.

LoRA를 사용하면 특정 테마와 스타일로 생성된 콘텐츠를 맞춤 설정하여 Stable Diffusion 모델을 향상시킬 수 있습니다. LoRA 가중치를 직접 만들고 싶지 않다면 Civitai의 LoRA 리소스를 확인해 보세요. https://civitai.com/search/models?sortBy=models_v9

Civitai | Share your models

 

ComfyUI란 무엇입니까?

ComfyUI는 확산 모델을 이용한 이미지를 생성하기 위한 강력한 노드 기반 인터페이스입니다. https://github.com/comfyanonymous/ComfyUI 기존의 인터페이스와 달리, ComfyUI는 사용자가 파이프라인의 여러 부분을 연결하는 “노드”를 사용하여 시각적으로 워크플로를 사용자 지정할 수 있도록 함으로써 이미지 생성 과정을 보다 정교하게 제어할 수 있도록 합니다. AI 아트웍을 보다 정교하게 제어하고 싶은 분들께 적극 추천합니다. ComfyUI 커스텀 노드에 대해 자세히 알아보세요. https://www.bentoml.com/blog/a-guide-to-comfyui-custom-nodes

A Guide to ComfyUI Custom Nodes

 

GitHub - comfyanonymous/ComfyUI: The most powerful and modular diffusion model GUI, api and backend with a graph/nodes interface

 

고품질 이미지를 생성하려면 어떻게 해야 합니까?

이미지 생성 과정은 매우 복잡합니다.

이미지 생성 모델로 고품질의 이미지를 생성하려면 창의성, 정확성, 기술적 이해가 필요합니다. 결과를 개선하기 위한 몇 가지 핵심 전략:

• 세부적이고 구체적으로: 프롬프트에 상세하고 구체적인 설명을 사용하십시오. 장면, 주제, 분위기, 조명, 스타일에 대해 구체적으로 설명할수록 모델이 의도한 이미지를 더 정확하게 생성할 수 있습니다. 예를 들어, “고양이”라고 말하는 대신 “투명한 커튼이 달린 창문 옆에서 오후의 햇볕을 쬐고 있는 푹신한 삼색 고양이”와 같은 내용을 입력하세요.
• 계층화된 프롬프트: 복잡한 장면을 계층화된 프롬프트로 세분화합니다. 먼저, 설정을 설명한 다음, 주요 주제를 설명하고, 감정이나 특정 행동과 같은 세부 사항을 설명합니다. 이렇게 하면 모델이 프롬프트를 이해하는 데 도움이 됩니다.
• 참고 예술가 또는 작품: 예술가 또는 특정 예술 작품의 이름을 포함하면 생성된 이미지의 스타일을 조정하는 데 도움이 될 수 있습니다. 그러나 저작권 고려 사항에 주의하고 복제보다는 영감을 얻기 위한 방법으로 이 방법을 사용하십시오.

이미지 생성 모델을 사용할 때 저작권 문제에 대해 걱정해야 합니까?

짧은 대답은 '예'입니다.

저작권 문제는 오픈 소스 모델뿐만 아니라 상업용 모델을 포함한 이미지 생성 모델을 사용할 때 고려해야 할 중요한 측면입니다. 이와 같은 인기 이미지 생성 모델의 회사에 대한 소송이 있었습니다. https://www.findlaw.com/legalblogs/federal-courts/judge-trims-copyright-lawsuit-against-ai-model-stable-diffusion/

많은 모델이 저작권이 있는 이미지를 포함하는 방대한 데이터 세트에 대해 학습됩니다. 이로 인해 이러한 이미지를 학습 과정의 일부로 사용하는 것이 합법적인지에 대한 의문이 제기됩니다.

또 다른 문제는 AI가 생성한 이미지의 저작권 소유권을 결정하는 것이 복잡할 수 있다는 것입니다. 이러한 이미지를 상업적으로 사용하려는 경우, 누가 저작권을 소유하는지를 고려하는 것이 중요합니다 — 프롬프트를 입력한 사용자, AI 모델의 제작자, 또는 둘 다.

그렇다면, 무엇을 할 수 있을까요?

이 단계에서, 이러한 모델과 그 모델이 생성한 이미지를 사용하는 사람에게 제가 드릴 수 있는 가장 좋은 제안은 정보를 계속 얻으라는 것입니다. AI로 생성된 이미지에 관한 법적 환경은 여전히 진화하고 있습니다. AI와 저작권법 관련 법적 논의와 판결을 계속해서 확인하십시오. AI로 생성된 이미지에 대한 여러분의 권리와 법적 지위를 이해하는 것은 이러한 도구를 윤리적이고 합법적으로 사용하기 위해 매우 중요합니다.

생산 현장에서 LLM과 이미지 생성 모델을 배치하는 것의 차이점은 무엇입니까?

LLM과 이미지 생성 모델을 생산에 적용할 때는 확장성과 가시성과 같은 요소를 고려해야 하지만, 그 외에도 고유한 문제와 요구 사항이 있습니다.

• 리소스 요구 사항: 이미지 생성 모델, 특히 고해상도 비디오 또는 이미지 모델은 복잡한 시각적 데이터를 처리하고 생성해야 하기 때문에 일반적으로 LLM보다 더 많은 연산 능력과 메모리를 필요로 합니다. LLM도 리소스를 많이 사용하지만, 연산 및 메모리 사용 패턴을 예측하기가 더 쉽습니다.
• 대기 시간과 처리량: 이미지 생성 작업은 세부적인 시각적 요소를 만드는 데 필요한 처리 과정 때문에 대기 시간이 더 길어질 수 있습니다. 대기 시간과 처리량을 최적화하기 위해서는 모델 크기를 조정하거나 특수 하드웨어 가속기(GPU)를 사용하는 등, LLM과 비교하여 이미지 모델에 대한 다른 전략이 필요할 수 있습니다.
• 데이터 민감성 및 개인정보 보호: 두 가지 유형의 모델을 모두 생산에 적용하려면 현명한 데이터 처리와 개인정보 보호 조치가 필요합니다. 그러나 이미지 생성 모델은 저작권이 있는 요소를 포함하는 이미지를 생성할 가능성이 있기 때문에 추가적인 고려가 필요할 수 있습니다.
• 사용자 경험: 이미지 생성 모델의 경우, 생성된 이미지의 품질을 향상시킬 수 있는 효과적인 프롬프트를 만드는 방법에 대한 지침을 사용자에게 제공하는 것이 좋습니다. 모델의 응답 시간과 출력 특성을 고려하여 사용자 인터페이스를 설계해야 할 수도 있습니다.

마지막으로

LLM과 마찬가지로 이미지 생성을 위한 올바른 모델을 선택하려면 그 강점과 약점을 이해해야 합니다. 각 모델은 고유한 기능을 제공하여 다양한 실제 사용 사례를 지원합니다. 현재 이미지 생성 모델의 가장 큰 도전 과제는 윤리 및 저작권 문제라고 생각합니다. 창의적인 과정을 강화할 수 있는 잠재력을 수용함에 따라 이러한 도구를 책임감 있게 사용하고 저작권법, 개인 정보 보호 권리 및 윤리 지침을 존중하는 것도 마찬가지로 중요합니다.

이미지 생성 모델에 대한 자세한 정보

• 확산 모델을 생산에 적용할 방법을 찾고 있다면, 이 예제를 자유롭게 사용해 보세요. https://github.com/bentoml/BentoDiffusion

GitHub - bentoml/BentoDiffusion: BentoDiffusion: A collection of diffusion models served with BentoML