SPS_2023

29 prestazionale (ad esempio l’indice di purezza di Gini) per tutte le possibili scelte di diramazione a un certo livello.Ad essere scelto,adogni livello,sarà la diramazionecon ilmaggior gradodi purezza,finoal raggiungimentodel limite imposto dal numero minimo di elementi per foglia. Le scelte di un albero di classificazione possono essere rappresentate da un partizionamento nello spazio delle feature: linee nello spazio 2D, piani in quello 3D, e iperpiani in generale.Quando è possibile definire un concettodi vicinanza tra gli elementi nello spazio delle feature, si può ricorrere agli algoritmi di classificazione e clustering basati sulla distanza. Ad esempio la classificazione k-neighbor permettedi classificareunelemento,epiù ingeneraleogni puntodello spazio delle feature, in base a quale sia la classe dominante tra i k punti più vicini del dataset di training. Algoritmi di clustering che utilizzano la distanza sono l’algoritmo k-means a Dbscan. Modelli lineari e reti neurali Nell’ambito degli spazi vettoriali lineari, oltre alla regressione lineare con il metodo dei minimi quadrati in spazi vettoriali lineari, hanno riscontrato grande successo gli algoritmi support vector machine (SVM) e la loro gene- ralizzazione per trattare confini decisionali non lineari. Il metodo dei vettori di supporto è un metodo algebrico che non solo trova l’iperpiano di demar- cazione del confine decisionale (una retta, nel caso bidimensionale), ma ne massimizza anche la distanza dagli insiemi di vettori delle due classi. Il successodellemacchineSVMè che possono essere impiegate per classifi- care insiemi di punti non linearmente separabili. La tecnica può infatti essere generalizzataa confini non lineari permezzodel cosiddetto‘truccodel kernel’, che consistenell’applicareuna trasformazionenon lineare,introducendouna nuova dimensione che trasporta i punti inuno spaziodove sono separabili da un iperpiano.Il‘trucco’risiedenel fattoche l’algoritmoècomputazionalmente efficiente perché il numero di operazioni è enormemente ridotto dalla dipen- denza dalla sola funzione kernel. La flessibilità maggiore nel delineare i confini decisionali si trova però nel campo delle reti neurali. Anche se è pur vero che il singolo percettrone, che effettua una somma pesata e ‘tarata’ dalla funzione di attivazione dei valori che riceve in ingresso, è in grado di produrre confini decisionali lineari: già una semplice rete neurale non profonda (tecnicamente un percettronemul- tistrato) è in grado di produrre confini che vanno dalla spezzata poligonale aperta fino a figure non convesse e anche non semplicemente connesse. L’accuratezza nella classificazione (e anche nella regressione) delle reti neu- rali aumenta considerevolmente con le reti neurali profonde che sono alla base del deep learning. Reti neurali convolutive (CNN), ricorsive, ricorrenti (RNN) e generative avversarie (GAN) sono alla base di molti dei più eclatanti successi dell’intelligenza artificiale degli ultimi anni. Le reti neurali profonde, inoltre, si prestano all’implementazione di tecniche di apprendimento con rinforzo che sono il gateway verso il mondo degli agenti intelligenti evoluti. Tra le tecniche di algebra lineare più usate, l’algoritmo SVM (Support Vector Machine) permette di massimizzare la separazione tra i confini decisionali di gruppi di elementi linearmente separabili; il ricorso al cosiddetto ‘trucco del kernel’ rende possibile estenderne l’uso a confini decisionali più complessi I confini decisionali di un percettrone sono limitati a funzioni lineari (rette, piani, iperpiani). Ma già con le più semplici reti neurali (percettroni multistrato) è possibile stabilire confini di varia forma, che includono figure convesse aperte o chiuse, figure non convesse e anche regioni non semplicemente connesse BIBLIOGRAFIA Russell, Norvig, “Artificial Intelligence: A Modern Approach” 4a ed., 2021 Prentice Hall James, Witten, Hastie, Tibshirani, “An Introduction to Statistical Learning with Applications in R” 2a ed., 2021 Springer. Hastie, Tibshirani, Friedman, “The Elements of Statistical Learning: Data Mining, Inference, and Prediction” 2a ed., 2020 Springer. Shalev-Shwartz, Ben-David, “Understanding Machine Learning: from Theory to Algorithms”, 2014 Cambridge University Press. Watt, Borhani, Katsaggelos, “Machine Learning Refined: Foundations, Algo- rithms, and Applications” 2a ed., Cambridge University Press, 2022.