Vokenization: Lingua chì AI pò vede

• Author:
• Nome di l'autore

  Quantumrun Foresight
• Chì 9, 2023

L'elaborazione di a lingua naturale (NLP) hà permessu à i sistemi di intelligenza artificiale (AI) per amparà u discorsu umanu cumprendendu e parolle è cumminendu u cuntestu cù u sentimentu. L'unicu inconveniente hè chì questi sistemi NLP sò puramente basati in testu. A vokenizazione hè per cambià tuttu ciò.

Cuntestu di vokenizazione

Dui prugrammi di apprendimentu automaticu (ML) basatu in testu sò spessu usati per furmà l'AI per processà è capisce a lingua umana: Transformer Generative Pre-trained 3 (GPT-3) di OpenAI è BERT (Representazione di codificatore bidirezionale da Transformers) di Google. In a terminologia AI, e parolle aduprate in a furmazione NLP sò chjamati tokens. I ricercatori di l'Università di North Carolina (UNC) anu osservatu chì i prugrammi di furmazione basati in testu sò limitati perchè ùn ponu micca "vede", vale à dì chì ùn ponu micca catturà l'infurmazioni visuali è a cumunicazione. 

Per esempiu, se qualchissia dumanda à GPT-3 quale hè u culore di a pecura, u sistema spessu risponde "nìvuru" ancu s'ellu hè chjaramente biancu. Questa risposta hè chì u sistema basatu in testu l'associà cù u terminu "pecura negra" invece di identificà u culore currettu. Incorporandu visuale cù tokens (voken), i sistemi AI ponu avè una comprensione olistica di i termini. A vokenizazione integra i vokens in sistemi NLP autocontrollati, chì li permettenu di sviluppà "sensu cumunu".

L'integrazione di mudelli di lingua è a visione di l'informatica ùn hè micca un cuncettu novu, è hè un campu in rapida espansione in a ricerca AI. A cumminazzioni di sti dui tipi di AI sfrutta i so punti di forza individuali. I mudelli di lingua cum'è GPT-3 sò furmatu per l'apprendimentu senza supervisione, chì li permette di scala facilmente. In cuntrastu, mudelli di l'imaghjini cum'è i sistemi di ricunniscenza di l'ughjettu ponu amparà direttamente da a realità è ùn si basanu micca nantu à l'astrazione furnita da u testu. Per esempiu, i mudelli di l'imaghjini ponu ricunnosce chì una pecura hè bianca fighjendu una stampa.

Impact disruptive

U prucessu di vokenization hè abbastanza sèmplice. I Vokens sò creati assignendu l'imaghjini currispondenti o pertinenti à i tokens di lingua. Allora, l'algoritmi (vokenizer) sò pensati per generà vokens attraversu l'apprendimentu senza supervisione (senza parametri / regule espliciti). U sensu cumunu AI furmatu per via di vokenizazione pò cumunicà è risolve i prublemi megliu perchè anu una cunniscenza più profonda di u cuntestu. Stu approcciu hè unicu perchè ùn solu predics tokens di lingua, ma ancu predics tokens image, chì hè qualcosa chì i mudelli BERT tradiziunali ùn sò micca capaci di fà.

Per esempiu, l'assistenti robotichi puderanu ricunnosce l'imaghjini è navigà megliu i prucessi perchè ponu "vede" ciò chì hè necessariu di elli. Sistemi di intelligenza artificiale furmati per scrive u cuntenutu seranu capace di artighjanu articuli chì sonanu più umani, cù idee chì scorri megliu, invece di frasi disjointed. In cunsiderà l'ampia portata di l'applicazioni NLP, a vokenizazione pò purtà à chatbots più performanti, assistenti virtuali, diagnostichi medichi in linea, traduttori digitale è più.

Inoltre, a cumminazione di a visione è l'apprendimentu di a lingua hè guadagnatu popularità in l'applicazioni di imaging medicale, in particulare per u diagnosticu automatizatu di l'imaghjini medichi. Per esempiu, certi circadori anu spirimintatu cù questu approcciu nantu à l'imaghjini di radiografia cù descrizzioni di testu accumpagnate, induve a segmentazione semantica pò esse di tempu. A tecnica di vokenizazione puderia rinfurzà queste rapprisintazioni è migliurà l'imaghjini medichi automatizati utilizendu l'infurmazioni di testu.

Applicazioni per vokenizazione

Alcune applicazioni per vokenizazione ponu include:

• Chatbots intuitivi chì ponu processà screenshots, ritratti è cuntenutu di u situ web. I chatbots di supportu à i clienti, in particulare, ponu esse capaci di ricumandà accuratamente prudutti è servizii.
• Traduttori digitale chì ponu processà l'imaghjini è i video è furnisce una traduzzione precisa chì cunsidereghja u cuntestu culturale è situazionale.
• I scanners di bot di media suciali sò capaci di fà un analisi di sentimentu più olisticu unendu l'imaghjini, i didascalie è i cumenti. Questa applicazione pò esse utile in a moderazione di cuntenutu chì esige l'analisi di l'imaghjini dannosi.
• Aumentà l'opportunità di travagliu per l'ingegneri di visione di computer è NLP machine learning è scienziati di dati.
• Startups chì basanu nantu à questi sistemi AI per cummercializà o furnisce soluzioni persunalizate per l'imprese.

Dumande per cummentà

• Cumu altrimenti pensate chì a vokenizazione cambierà cumu interagisce cù i robots?
• Cumu a vokenizazione pò cambià a manera di fà affari è interagisce cù i nostri gadgets (smartphones è apparecchi intelligenti)?