Al Congresso mondiale mobile 2024, Qualcomm svela la sua ultima svolta nelle funzionalità AI per dispositivi mobili con l’integrazione della tecnologia AI LoRA nel silicio della serie Snapdragon, meticolosamente progettato per i telefoni Android. Tra le caratteristiche degne di nota presentate per l’ammiraglia Snapdragon 8 Gen 3, Qualcomm ha presentato straordinarie funzionalità AI, che comprendono l’editing multimediale ad attivazione vocale, la generazione di immagini sul dispositivo che utilizza Stable Diffusion e un assistente virtuale arricchito che sfrutta ampi modelli linguistici forniti da leader del settore come come Meta.
Cos’è LoRA?
Qualcomm sta approfondendo il regno della generazione e della manipolazione creativa delle immagini con l’introduzione dei modelli AI LoRA. Le recenti dimostrazioni di Qualcomm hanno evidenziato risultati rivoluzionari, come il raggiungimento del wla generazione di testo in immagine più veloce al mondo su uno smartphone utilizzando la tecnologia Stable Diffusion. Attualmente, l’azienda offre un’anteprima delle capacità di generazione di immagini basata su LoRA.
LoRA, abbreviazione di Low-Rank Adaptation, presenta un nuovo approccio alla generazione di immagini distinto dagli strumenti di intelligenza artificiale generativa convenzionali come DALL·E. Sviluppato da Microsoft, LoRA affronta le sfide inerenti associate all’addestramento dei modelli di intelligenza artificiale, inclusi costi elevati, problemi di latenza e requisiti hardware impegnativi.
Il principio fondamentale di LoRA ruota attorno alla riduzione significativa della complessità del modello, riducendo così al minimo l’utilizzo della memoria e migliorando l’efficienza dell’addestramento. Concentrandosi su segmenti specifici del modello e ottimizzando il conteggio dei parametri, LoRA semplifica il processo di adattamento per i modelli testo-immagine, con conseguente accelerazione delle prestazioni e riduzione del consumo di risorse.
Nel corso del tempo, la tecnica di distillazione LoRA è stata perfettamente integrata nel modello di diffusione stabile per generare immagini da suggerimenti testuali. I miglioramenti intrinseci di efficienza e la maggiore adattabilità offerti dai modelli basati su LoRA li rendono particolarmente adatti per l’implementazione sugli smartphone, in linea con la visione di Qualcomm per esperienze mobili basate sull’intelligenza artificiale.
Mentre i modelli a diffusione stabile hanno raccolto consensi per la loro capacità di produrre immagini e testo ad alta fedeltà, uno svantaggio notevole è stata la grande dimensione dei file, che poneva sfide per l’archiviazione e la distribuzione. È qui che LoRA emerge come una tecnica di formazione fondamentale, consentendo la messa a punto dei modelli di diffusione stabile mantenendo dimensioni dei file gestibili.
I modelli LoRA, caratterizzati dalle loro dimensioni compatte, rappresentano una svolta nell’ottimizzazione dei modelli. Questi modelli, che sono essenzialmente versioni perfezionate dei modelli di checkpoint standard, vantano dimensioni di file notevolmente ridotte che vanno da 2 a 500 MB, offrendo una soluzione pratica per gli utenti che cercano un equilibrio tra dimensioni del modello ed efficienza della formazione.
Impostazioni di regolazione fine di LoRA
I modelli AI LoRA offrono una gamma di impostazioni di regolazione fine, consentendo agli utenti di personalizzare i propri output generati dall’intelligenza artificiale in base a preferenze e requisiti specifici. Queste impostazioni possono essere classificate in vari tipi, ciascuno dei quali adatto a casi d’uso e obiettivi distinti.
Creazione di personaggi specifici con modelli AI LoRA
I modelli di intelligenza artificiale LoRA dei personaggi vengono addestrati in modo specifico singoli personaggi, come quelli di cartoni animati, videogiochi o altri media. Sfruttando i dati di addestramento specifici del personaggio, questi modelli eccellono nel replicare accuratamente l’aspetto e le caratteristiche uniche associate a ciascun personaggio.
L’applicazione di un modello AI LoRA dei personaggi facilita la rapida generazione di personaggi con tratti autentici, rendendoli ideali per illustrazioni AI, concept art dei personaggi e fogli di riferimento. A seconda della formazione del modello, può riprodurre i personaggi in vari abiti, acconciature o espressioni facciali. Inoltre, alcuni modelli di intelligenza artificiale LoRA dei personaggi consentono agli utenti di posizionare i personaggi selezionati in nuovi contesti o abiti, aggiungendo un ulteriore livello di versatilità.
I modelli AI dei personaggi LoRA comprendono un’ampia gamma di personaggi di franchise popolari, nonché personaggi di anime e fumetti. Inoltre, questi modelli possono essere applicati ai personaggi originali a condizione che siano disponibili dati di addestramento sufficienti. Sebbene siano in corso esperimenti con dati di addestramento inferiori, in genere si consiglia di utilizzare modelli di intelligenza artificiale LoRA dei personaggi addestrati su almeno 10-20 immagini diverse per migliorare la diversità e la qualità dei personaggi generati.
Stile costante con i modelli LoRA AI
I modelli di intelligenza artificiale Style LoRA si concentrano sull’acquisizione e sulla replica stili artistici specifici piuttosto che singoli personaggi o oggetti. Questi modelli vengono generalmente addestrati sulle opere artistiche di un particolare artista, consentendo agli utenti di infondere nelle loro creazioni lo stile distintivo di quell’artista.
La versatilità dei modelli di stile LoRA AI risiede nella loro capacità di applicare vari stili artistici, che vanno dall’estetica degli spettacoli animati agli acquerelli e al line art. Sfruttando questi modelli, gli utenti possono conferire alle loro opere d’arte generate dall’intelligenza artificiale uno stile distinto e riconoscibile, distinguendole dagli output convenzionali.
Ciò che distingue i modelli AI di stile LoRA è la loro compatibilità con i checkpoint Stable Diffusion standard, consentendo agli utenti di integrarli perfettamente nei loro flussi di lavoro creativi. Ad esempio, combinando un checkpoint di realismo con un modello AI LoRA in stile pittorico è possibile produrre immagini realistiche con un tocco pittorico, dimostrando il potenziale sinergico di questi modelli.
Pose costanti con i modelli AI LoRA
Presentazione dei modelli AI Pose LoRA, progettati per manipolare con precisione le pose dei personaggi all’interno delle scene generate. Con Pose LoRA AI, gli utenti possono creare senza sforzo composizioni dinamiche con pose e azioni specifiche, scenari spesso difficili da realizzare attraverso i metodi convenzionali di ingegneria rapida.
A differenza di altri modelli AI LoRA che si concentrano sullo stile o sulle caratteristiche, i modelli Pose LoRA AI danno priorità all’articolazione delle pose dei personaggi. Ad esempio, se applicato a un personaggio umanoide, un modello AI Pose LoRA genererà una varietà di pose come correre, saltare o sedersi, preservando le caratteristiche, l’abbigliamento e lo stile intrinseci del personaggio.
I modelli Pose LoRA AI offrono agli utenti un maggiore controllo sulle scene generate senza la necessità di soluzioni complesse come ControlNet. Sfruttando questi modelli, gli utenti possono infondere nelle loro creazioni dinamismo e intrigo attraverso semplici modifiche al prompt originale.
Stili di abbigliamento con modelli LoRA AI
Un altro strumento indispensabile nell’arsenale dei modelli AI LoRA è l’abbigliamento LoRA. Questo modello specializzato è progettato per alterare perfettamente l’abbigliamento e gli accessori dei personaggi. Con Clothing LoRA AI, gli utenti possono adornare facilmente i personaggi con una miriade di indumenti, che vanno dallo stile contemporaneo a quello storico.
Uno dei notevoli vantaggi dei modelli di abbigliamento LoRA AI è la loro universalità: possono essere applicati a qualsiasi personaggio, consentendo agli utenti di sperimentare una vasta gamma di stili e design utilizzando un unico modello. Ad esempio, gli utenti possono facilmente creare scene con personaggi adornati con abiti tradizionali indiani applicando un modello di abbigliamento scelto, ottenendo così una trasformazione estetica culturale istantanea.
Progettazione di oggetti con modelli AI LoRA
L’ambito degli oggetti che possono essere creati con questi modelli dipende dal modello specifico utilizzato e dalla richiesta fornita dall’utente. Modelli AI di oggetti LoRA estendersi oltre gli oggetti tangibili per comprendere elementi più astratti, come elementi dell’interfaccia utente (UI) per giochi o siti web. Questa versatilità si rivela preziosa per creare esperienze visive coerenti tra diversi progetti.
I modelli Object LoRA AI fungono da strumenti indispensabili per artisti, sviluppatori di giochi, web designer e altri professionisti creativi che cercano di generare in modo efficiente risorse progettate su misura. La capacità di produrre oggetti con design su misura consente agli utenti di esplorare e sperimentare diversi concetti visivi fino a trovare la soluzione perfetta per i loro progetti.
Trovare modelli LoRA
I modelli LoRA, noti per la loro natura leggera e versatilità, possono essere facilmente reperiti in diversi repository open source come Civitai e Hugging Face. Accessibili a tutti, questi modelli offrono una miriade di possibilità e possono essere ottenuti facilmente in pochi semplici passaggi. Una delle caratteristiche distintive dei modelli LoRA è la loro dimensione compatta, spesso non superiore a pochi megabyte, che li rende eccezionalmente gestibili e adattabili a varie applicazioni.
Installazione dei modelli LoRA
Dopo aver selezionato i modelli LoRA desiderati per l’utilizzo, il passaggio successivo prevede la loro installazione nella directory appropriata. Il processo può variare a seconda della configurazione specifica. Sebbene questa guida sia incentrata sull’integrazione dei modelli LoRA con l’interfaccia utente web Automatic1111, è consigliabile cercare istruzioni specifiche della piattaforma per un’integrazione perfetta.
Come integrare un modello LoRA in Automatic1111?
Prima di incorporare i modelli scelti nella webUI Automatic1111, è fondamentale installare l’estensione LoRA stessa. Indipendentemente dalla piattaforma utilizzata per la generazione delle immagini, l’installazione dell’estensione è un prerequisito. Ecco una guida passo passo per installare l’estensione per Automatic1111:
- Avvia l’interfaccia utente web di Automatic1111.
- Passare alla sezione “Estensioni” e seleziona “Installa dall’URL“tra le opzioni disponibili.
- Incolla il seguente collegamento nel campo di input “URL per il repository git dell’estensione”: https://github.com/kohya-ss/sd-webui-additional-networks.git
- Clicca sul “Installare” per avviare il processo di installazione.
- Transizione al “Installato” e seleziona la scheda “Applica e riavvia l’interfaccia utente“, consentendo il riavvio dell’interfaccia utente web Automatic1111.
Seguendo questi passaggi, osserverai nuove sottocartelle all’interno della directory “modelli”, designate per l’archiviazione dei modelli LoRA. Tuttavia, è essenziale configurare questa cartella per consentire all’interfaccia utente web Automatic1111 di accedervi.
- Apri il “Impostazioni” e vai alla sezione “Reti aggiuntive”.
- Individua il “Percorsi aggiuntivi per la scansione dei modelli LoRA” Campo di inserimento.
- Incolla il percorso corretto della cartella, solitamente presente nella sezione “diffusione-stabile-webui/models/Lora“rubrica.
- Clicca su “Applica le impostazioni” per finalizzare la configurazione.
Mentre l’estensione LoRA è ora installata, sono necessari passaggi aggiuntivi per avviare la generazione dell’immagine. È necessario installare i modelli LoRA effettivi nella cartella designata.
Arte tensore ti consente di generare immagini dettagliate con Stable Diffusion
Utilizzo dei modelli LoRA in Automatic1111
Una volta installato il modello LoRA preferito, puoi iniziare facilmente la creazione dell’immagine. Ecco una guida per sfruttare i modelli LoRA all’interno dell’interfaccia utente web Automatic1111:
- Avviare l’interfaccia utente web Automatic1111 e selezionare il modello di checkpoint desiderato.
- Assicurati di includere la parola chiave LoRA, se applicabile, nel tuo messaggio. Questa parola è tipicamente fornita nella descrizione del modello o sotto il parametro “Trigger Words” su Civitai.
- Sotto il “creare“, fare clic sul pulsante “Reti aggiuntive” e vai all’icona “Lora“scheda.
- Scegli il modello LoRA desiderato per inserirlo nel tuo prompt.
- Se necessario, aggiustare il peso del LoRA, modificando il valore predefinito secondo i requisiti del modello.
- Configura le impostazioni di generazione di conseguenza.
- Clicca il “creare” per avviare il processo di generazione dell’immagine.
Al termine, osserverai l’applicazione del modello LoRA all’immagine generata, migliorando la specificità e l’unicità dei concetti rappresentati. Investire tempo e fatica nella configurazione dei modelli LoRA produce risultati notevoli, aumentando le possibilità creative all’interno dei tuoi progetti.
Crediti immagine: Kerem Gülen/Metà viaggio
