Hướng dẫn Làm chủ ComfyUI và Mô hình Flux.1 từ Con số 0: Sơ đồ Node ControlNet Giữ Đồng nhất Khuôn mặt & Sản phẩm Quảng cáo

Trong thiết kế hình ảnh quảng cáo thương mại (Commercial Product Photography) và xây dựng đại sứ thương hiệu ảo (Virtual Influencer), điểm yếu chí tử của các công cụ tạo ảnh đóng kín là bạn không thể khóa cứng từng đường nét bao bì sản phẩm thật hay giữ nguyên 100% cấu trúc xương mặt người mẫu qua nhiều tư thế phức tạp. Để hình dung vị trí của khâu tạo ảnh tĩnh chuẩn xác trong bức tranh làm phim và âm thanh tổng thể, bạn hãy tham khảo trước cẩm nang sản xuất nội dung đa phương tiện bằng AI của đội ngũ MindVerse. Trong hướng dẫn kỹ thuật chuyên sâu này, chúng tôi sẽ cầm tay chỉ việc giúp bạn làm chủ giao diện ComfyUI kết hợp mô hình mở mạnh nhất hiện nay là Flux.1-Dev, đồng thời cung cấp sơ đồ đấu nối Node ControlNet Union (Depth/Canny) + PuLID Flux / IP-Adapter để giữ đồng nhất tuyệt đối nhân vật và sản phẩm.

1. Giải phẫu Kiến trúc Node Cơ bản của Mô hình Flux.1-Dev trên ComfyUI

Khác với kiến trúc Stable Diffusion 1.5 hay SDXL đời cũ vốn gộp chung toàn bộ trọng số vào một file Checkpoint duy nhất và sử dụng nút KSampler truyền thống (có cả nhánh Positive và Negative Prompt), họ mô hình Flux.1 (Rectified Flow Transformer 12 tỷ tham số của Black Forest Labs) trong ComfyUI hoạt động theo kiến trúc tách rời 4 mô-đun cốt lõi:

• Load Diffusion Model (hoặc UnetLoaderGGUF cho máy ít VRAM): Nạp trọng số hình ảnh chính từ thư mục ComfyUI/models/unet/.
• DualCLIPLoader (type: flux): Nạp đồng thời hai bộ mã hóa ngôn ngữ là clip_l.safetensors (nắm bắt từ khóa phong cách ngắn) và t5xxl_fp8_e4m3fn.safetensors (mô hình ngôn ngữ 4,7 tỷ tham số giúp hiểu câu mô tả vị trí không gian dài tới 512 tokens và vẽ chữ chính xác).
• FluxGuidance Node: Vì Flux.1-Dev là mô hình chưng cất dẫn hướng (Guidance-distilled), bạn đặt hệ số CFG = 1.0 ở bộ lấy mẫu và điều chỉnh độ bám sát câu lệnh thông qua node FluxGuidance (ngưỡng vàng là từ 3.0 đến 3.5).
• SamplerCustomAdvanced: Kết hợp giữa BasicGuider, KSamplerSelect (euler), BasicScheduler (simple hoặc beta, 28 steps) và RandomNoise rồi giải mã qua VAE Decode (ae.safetensors).

2. Sơ đồ Đấu nối Node ControlNet Union + PuLID Flux Giữ Đồng nhất Khuôn mặt & Sản phẩm

Để giải quyết bài toán đưa một nhân vật đại sứ thương hiệu cầm trên tay lọ mỹ phẩm thật của công ty trong nhiều bối cảnh khác nhau mà không bị lệch nét mặt hay méo vỏ chai, bạn hãy thiết lập sơ đồ đấu nối 2 nhánh song song dưới đây (hoặc sao chép trực tiếp đoạn cấu hình JSON rút gọn ở khung bên dưới):

{
  "workflow_name": "MindVerse_Flux1Dev_Consistent_Character_Product_v2.4",
  "hardware_profile": "12GB_to_24GB_VRAM_FP8_Optimized",
  "core_nodes_pipeline": {
    "1_model_loaders": {
      "unet": "flux1-dev-fp8-e4m3fn.safetensors (weight_dtype: fp8_e4m3fn_fast)",
      "dual_clip": ["clip_l.safetensors", "t5xxl_fp8_e4m3fn.safetensors"],
      "vae": "ae.safetensors"
    },
    "2_face_identity_lock_pulid": {
      "node_type": "ApplyPulidFlux",
      "pulid_file": "pulid_flux_v0.9.1.safetensors",
      "eva_clip": "EVA02_CLIP_L_336_psz14_s6B.pt",
      "insightface_provider": "CUDA (Antelopev2)",
      "reference_face_image": "input/brand_ambassador_front_clear.png",
      "weight": 0.85,
      "start_at": 0.0,
      "end_at": 0.88
    },
    "3_product_and_pose_controlnet": {
      "node_type": "ControlNetApplySD3_Union",
      "controlnet_model": "FLUX.1-dev-ControlNet-Union-Pro.safetensors",
      "preprocessor": "DepthAnythingV2_Preprocessor (cho bối cảnh/dáng) HOẶC CannyEdge (cho viền logo sản phẩm)",
      "strength": 0.65,
      "start_percent": 0.0,
      "end_percent": 0.80
    },
    "4_sampling_parameters": {
      "flux_guidance": 3.5,
      "sampler_name": "euler",
      "scheduler": "simple",
      "steps": 28,
      "denoise": 1.0,
      "resolution": "1024x1280 (Portrait 4:5) hoặc 1344x768 (Cinematic 16:9)"
    }
  }
}

Bảng Thông số Tinh chỉnh Trọng số (Weight Calibration) Chống Lỗi “Cháy Ảnh” & Đơ Cơ Mặt

3. Quy trình Ghép Sản phẩm Thật Không Biến Dạng Chữ (Inpainting + Differential Diffusion)

Một yêu cầu bắt buộc từ các nhãn hàng F&B và Mỹ phẩm là 100% chữ tiếng Việt và logo trên bao bì sản phẩm thật phải giữ nguyên tuyệt đối, không được phép để AI vẽ lại dù chỉ lệch một nét. Thay vì yêu cầu Flux.1 tự vẽ lại lọ mỹ phẩm qua câu lệnh, quy trình chuẩn tại phòng Lab của chúng tôi gồm 3 bước:

1. Bước 1 — Tách nền & Đặt vị trí (Composite Base): Dùng node InspyrenetRembg (hoặc BiRefNet) tách nền ảnh chụp sản phẩm thật với độ sắc nét viền tối đa, sau đó đặt vào khung hình nền trắng theo bố cục mong muốn.
2. Bước 2 — Đảo ngược Mặt nạ (Invert Mask) & Inpaint Bối cảnh: Đưa mặt nạ (Mask) của sản phẩm qua node InvertMask rồi nối vào InpaintModelConditioning kết hợp Differential Diffusion (kèm mở rộng viền mặt nạ GrowMaskWithBlur = 6px). Khi đó, Flux.1-Dev chỉ sinh bàn tay người mẫu và bối cảnh ánh sáng ôm sát quanh sản phẩm mà giữ nguyên 100% pixel gốc của bao bì.
3. Bước 3 — Hòa trộn Ánh sáng Viền (IC-Light Relighting): Đưa ảnh vừa ghép qua nhánh node IC-Light Conditioning với cường độ denoise = 0.22 để ánh sáng môi trường hắt nhẹ lên bề mặt chai lọ, xóa bỏ hoàn toàn cảm giác ảnh cắt ghép Photoshop thủ công.

4. Chuyển tiếp Từ Chuỗi Khung hình Tĩnh Sang Sản xuất TVC Chuyển động

Khi đã xuất được chuỗi khung hình nhân vật đồng nhất ở độ phân giải cao từ Flux.1 ControlNet, bước tiếp theo để biến bộ storyboard tĩnh thành thước phim thương mại mượt mà là làm chủ kỹ thuật điều khiển chuyển động camera trên Runway và Kling AI. Bên cạnh đó, nếu bạn muốn tham khảo thêm bảng từ khóa ánh sáng studio để nạp vào node CLIPTextEncode (T5-XXL) của Flux, hãy xem ngay bảng thông số ánh sáng, ống kính nhiếp ảnh và tham số Style Reference trên Midjourney (vốn tương thích tới 95% với bộ hiểu ngôn ngữ tự nhiên của Flux.1). Nếu máy tính cá nhân của bạn đang cài đặt sẵn các dịch vụ AI cục bộ, bạn cũng có thể đối chiếu thêm bảng phân bổ phần cứng GPU trong bài hướng dẫn cài đặt Ollama và Open WebUI chạy LLM offline với bảng thông số VRAM từ 8GB đến 48GB.

5. Câu hỏi Thường gặp về ComfyUI & Mô hình Flux.1 (FAQ)

5.1. Sự khác biệt thực tế giữa bản Flux.1-Dev, Flux.1-Schnell và bản GGUF Q5_K_M trên ComfyUI là gì?

Flux.1-Schnell cho phép tạo ảnh siêu tốc chỉ trong 4 Steps (mất 2 giây trên RTX 4090) và có giấy phép Apache 2.0 thương mại tự do, nhưng độ chi tiết kết cấu da và khả năng ăn khớp với ControlNet/PuLID kém hơn rõ rệt so với Flux.1-Dev (28 Steps). Trong khi đó, định dạng lượng tử hóa GGUF (như Q5_K_M hoặc Q8_0) là cứu cánh hoàn hảo cho card đồ họa 8GB–12GB VRAM vì nó giảm dung lượng file từ 23,8GB xuống còn 8,5GB–12,7GB mà mắt thường gần như không phân biệt được sự suy giảm chất lượng so với bản gốc FP16.

5.2. Làm sao khắc phục lỗi không cài được thư viện `insightface` trên Windows khi chạy node PuLID?

Lỗi error: Microsoft Visual C++ 14.0 or greater is required xảy ra do pip cố tự biên dịch mã nguồn C++ của InsightFace. Thay vì cài qua lệnh pip thông thường, bạn hãy kiểm tra phiên bản Python của ComfyUI Portable (thường là Python 3.11 hoặc 3.12), tải trực tiếp file biên dịch sẵn insightface-0.7.3-cp311-cp311-win_amd64.whl tương ứng rồi chạy lệnh python_embededpython.exe -m pip install [ten_file.whl] là thành công 100% trong 10 giây.

5.3. Khi nào tôi nên dùng PuLID-Flux và khi nào nên tự huấn luyện một file Flux LoRA riêng cho nhân vật?

Nếu bạn chỉ có 1 đến 3 tấm ảnh chân dung mẫu và cần tạo ảnh ngay lập tức mà không tốn thời gian chờ huấn luyện, PuLID-Flux là giải pháp tức thì (Zero-shot Identity Lock) đạt độ giống khuôn mặt khoảng 88%–92%. Ngược lại, nếu bạn đang xây dựng một Đại sứ ảo dài hạn cho thương hiệu (cần xuất hàng trăm tấm ở cả góc nghiêng 90 độ, góc chụp từ trên cao xuống, giữ nguyên cả kiểu tóc và vết bớt đặc trưng), việc chuẩn bị 20 tấm ảnh đa góc độ và huấn luyện một Flux LoRA (2.500 steps trên Kohya_ss / AI-Toolkit) rồi nạp kết hợp vào ComfyUI ở trọng số lora_strength = 0.85 sẽ mang lại độ đồng nhất tuyệt đối 99%.