L’ascesa di modelli di grandi dimensioni (LLM) e modelli di AI fondamentali ha rivoluzionato il panorama del software, offrendo un potenziale immenso agli ingegneri del prodotto per migliorare le esperienze degli utenti. Ma come possono le aziende sfruttare efficacemente questa tecnologia?
Ho parlato con Igor Luchenkovun ingegnere di prodotto di intelligenza artificiale che ha costruito infrastrutture per utilizzare LLM su scala e ha creato la piattaforma Hackathon Hackathonparty Per ottenere approfondimenti sull’intelligenza artificiale applicata nell’ingegneria del prodotto e rendendo felice gli utenti.
Definizione dell’intelligenza artificiale nelle soluzioni SaaS
Luchenkov definisce l’intelligenza artificiale applicata nell’attuale contesto SaaS incentrato su modelli fondamentali derivati da Llms.
“Un modello di base è un algoritmo di apprendimento automatico addestrato su un’enorme quantità di dati”, ha detto Luchenkov. “Questi modelli possono comprendere testo, immagini, suono e praticamente qualsiasi input all’interno di un dominio specifico.”
Indica esempi ben noti come GPT di Openi e Claude di Antropic, nonché alternative open source come Deepseek R1, Mistral, Gemma e Llama. Le applicazioni sono vaste, che vanno dai chatbot e agli strumenti di riepilogo delle riunioni alla generazione di codice e alle piattaforme di analisi dei dati basate sull’intelligenza artificiale.
“Lo spettro dei possibili casi d’uso è molto elevato e ancora da determinare”, ha detto Luchenkov.
Valutazione della necessità di AI applicata
Luchenkov consiglia un approccio pragmatico all’implementazione dell’IA.
“Innanzitutto, costruisci un prodotto che funzioni e apporta valore ai clienti. Fallo senza AI “, mi disse Luchenkov. Ciò consente una linea di base rispetto alla quale confrontare le iniziative di intelligenza artificiale. La domanda chiave diventa quindi: c’è un buon caso d’uso per l’IA?
“Stiamo cercando opportunità di prodotto in cui è necessario un processo decisionale simile a umano e ponderato”, ha detto Luchenkov. “L’attenzione dovrebbe essere sull’automazione delle attività e sull’aumento della produttività degli utenti.”
Luchenkov lo illustra con il suo lavoro Chiariredove AI alimenta la preparazione, la redazione e -mail e il riepilogo degli affari all’interno del loro CRM.
“Abbiamo preso un chiaro problema noto per decenni nello spazio (la relazione con il cliente è un processo lungo e approfondito) e ha reso più facile con l’IA”, ha detto Luchenkov. “Le aziende dovrebbero” identificare il problema che necessita di un sistema intelligente per essere risolto e assicurarsi che valga la pena risolvere questo problema “.
Raccomanda inoltre di consultare le regole di ML di Google per la guida sulla costruzione Sistemi AI/ML.
Considerazioni cruciali sull’infrastruttura
Luchenkov sottolinea che le applicazioni di intelligenza artificiale applicate sono, in primo luogo, le applicazioni che richiedono soluzioni alle tradizionali sfide ingegneristiche del software come scalabilità, tempi di risposta, monitoraggio e avvisi. Tuttavia, AI introduce il proprio insieme di considerazioni.
“Devi cercare il decadimento delle prestazioni del modello, i cambiamenti di distribuzione dei dati e altre cose specifiche per il tuo compito particolare”, ha detto Luchenkov. L’osservabilità è cruciale per comprendere l’impatto dei cambiamenti del sistema sulle prestazioni e sulle metriche aziendali. I modelli fondamentali presentano anche sfide uniche, in particolare nella valutazione delle risposte aperte.
Luchenkov cita l’esempio di un modello che riassume il testo: “Come fai a sapere se LLM riassume correttamente un testo e non inventa le cose?” Possono essere utilizzate metriche come il giudice AI e la perplessità, ma la scelta specifica dipende dal caso d’uso.
“In generale, valuta e monitora le metriche che hanno senso per il tuo compito particolare”, ha detto Luchenkov.
Democratizzazione dell’utilizzo dell’intelligenza artificiale
Luchenkov ritiene che l’IA applicata dovrebbe essere accessibile a tutti in un’organizzazione.
“Al giorno d’oggi è una merce”, ha detto Luchenkov. Limitare l’accesso ostacola l’innovazione. Al di là dei team di prodotti, suggerisce di stabilire un team di R&S di R&S dedicato a tenere traccia dei modelli e delle tecniche emergenti ed esplorare nuovi casi d’uso.
“L’obiettivo di una tale squadra è scoprire nuovi casi d’uso per l’utilizzo dell’IA nel prodotto e innovare in varie aree del prodotto”, ha affermato Luchenkov.
Raccomanda anche i libri “Progettazione di sistemi di apprendimento automatico” E “Ingegneria AI“Di Chip Huyen per ulteriori informazioni sull’infrastruttura e la valutazione.
Mitigando i rischi dell’IA
L’intelligenza artificiale, addestrata su vasti set di dati spesso contenenti pregiudizi e disinformazione, comporta rischi intrinseci. Luchenkov evidenzia il potenziale per l’IA di generare risposte dannose o inappropriate, citando un chatbot che ha suggerito il suicidio.
“Qualsiasi precedente del genere è una tragedia per le persone e un’enorme perdita di reputazione per l’azienda”, ha detto Luchenkov.
Anche errori apparentemente innocui, come le risposte errate dell’assistenza clienti, possono danneggiare la fiducia e portare a pubblicità negativa. Ribadisce l’importanza di monitoraggio e valutazione costanti per garantire prestazioni e identificare potenziali problemi.
Affrontare i problemi di reputazione
Luchenkov riconosce il potenziale per il danno alla reputazione a causa dell’imprevedibilità dell’IA. Indica esempi di assistenti di intelligenza artificiale che fanno bizzarri dichiarazioni o generano risposte distorte.
“Ecco perché è fondamentale mettere in atto adeguate salvaguardie, come il filtraggio dei contenuti e la supervisione umana”, ha detto Luchenkov.
Nota che la supervisione umana è essenziale in aree sensibili come l’assistenza sanitaria, la finanza e i servizi legali per garantire l’accuratezza, la conformità e la responsabilità etica. L’obiettivo finale, conclude Luchenkov, è “sfruttare i benefici dell’IA mentre protegge la reputazione della tua azienda e mantenendo la fiducia dei clienti”.
