描述:
PhotoDoodle是ShowLab開發的一款開源圖片編輯工具,旨在通過人工智慧技術為照片添加藝術塗鴉元素。用戶只需輸入簡單的文本提示,例如「為貓添加光環和翅膀」,即可生成與原始照片背景自然融合的藝術元素,同時保持背景的完整性。
功能:
- 免費開源:提供開放代碼和數據集,支持開發人員自由探索和改進。
- 多風格支持:支持六種以上藝術風格,包括卡通、水彩等,滿足多樣化的需求。
- 精確的編輯能力:能夠執行複雜的編輯任務,從微調到整體風格轉換,以保持圖像一致性。
- 創新技術集成:結合LoRA、EditLoRA和位置編碼克隆技術,實現高效學習和精確操作。
亮點:
人工智慧驅動的藝術創作:PhotoDoodle利用先進的擴散模型(Flux.1)和LoRA技術,可以將普通照片轉化為創意藝術品。
無縫元素融合:藉助EditLoRA技術,該系統可以學習藝術家風格並將其應用於新圖像,確保自然過渡和視覺和諧。
像素級精度控制:通過位置編碼克隆技術,PhotoDoodle可以準確記住原始圖像的像素位置,使新元素完美融入背景中。
各種應用場景:無論是為寵物添加有趣的效果還是設計奇幻場景,PhotoDoodle都可以輕鬆處理並表現出出色的靈活性。
使用指南:
環境準備:
確保您的計算機已安裝Git、Python 3.11.10和Conda。
打開終端,克隆項目並輸入目錄:
git克隆https://github.com/showlab/PhotoDoodle.git
CD照片塗鴉
創建並激活虛擬環境:
conda Create -n doodle Python=3.11.10
康達激活塗鴉
安裝依賴關係:
安裝PyTorch(建議支持CUDA的版本以利用圖形處理器加速):
pip安裝torch==2.5.1 torchvision==0.20.1 torchaudio==2.5.1 --index-url https://download.pytorch.org/whl/cu124
安裝其他依賴項:
pip安裝--升級-r要求.文本
下載預訓練模型:
訪問PhotoDoodle的GitHub發布或Hugging Face數據集頁面,下載所需的預訓練模型文件(如OmniEditor和EditLoRA)。
將下載的模型文件放置在項目目錄中的指定文件夾(通常為checkpoints/)中。
操作推理:
使用以下代碼進行推理:
從SRC.pipeline_pe_clone導入FluxPipeline
進口火炬
從PIL導入圖像
預訓練的_模型_名稱_or_路徑=「black-forest-labs/FLOX.1-dev」
管道= FluxPipeline.from_pretrained(
預訓練的_模型_名稱_或_路徑,
torch_dype =torch.bfloat16,
)。to(「cuda」)
pipeline. put_lora_weights(「nicolaus-huang/PhotoDoodle」,weight_Name=「pretrain.safetensors」)
pipeline.fuse_lora()
pipeline.卸載_lora_weights()
pipeline. put_lora_weights(「nicolaus-huang/PhotoDoodle」,weight_Name=「sksmagiceffects.safetensors」)
身高= 768
寬度= 512
validation_Image =「assets/1.png」
validation_present =「通過sksmagiceffects為貓添加光環和翅膀」
condition_Image = Image.open(validation_Image).resize(高度,寬度)).convert(「RB」)
結果=管道(
提示=驗證_提示,
條件_圖像=條件_圖像,
height=高度,
寬度=寬度,
guidance_scale=3.5,
num_inference_steps=20,
max_order_size =512
).images[0]
result.save(「output.png」)
或者直接運行推理腳本:
Python inference.py
通過上述步驟,您可以使用PhotoDoodle為照片添加藝術塗鴉元素,創作獨特的藝術作品。
資源:
- 博客文章:點擊打開博客文章(https://agientry.com/blog/376)
- 在線體驗:免費HuggingFace圖形處理器演示(https://huggingface.co/spaces/ameerazam08/PhotoDoodle-Image-Edit-GPU)
- 獲取代碼:GitHub存儲庫(https://github.com/showlab/PhotoDoodle)
輸油管: