Interpretable Concept-Based Memory Reasoners
19 Novembre 2024 – 16.30
Seminario Online
Terzo incontro dei Neuro-Symbolic Seminar (NeSS)
Speaker: Giuseppe Marra della Katholieke Universiteit Leuven
La mancanza di trasparenza nei processi decisionali dei sistemi di deep learning rappresenta una sfida significativa per la moderna intelligenza artificiale (IA), in quanto compromette la capacità degli utenti di affidarsi a questi sistemi e di verificarli. Per affrontare questa sfida, i modelli basati sui concetti (Concept-Based Models, CBM) hanno compiuto progressi significativi incorporando concetti interpretabili dall’uomo nelle architetture di deep learning. Questo approccio consente di ricondurre le previsioni a modelli concettuali specifici che gli utenti possono comprendere e su cui possono intervenire.
Tuttavia, i predittori di compiti dei CBM esistenti non sono completamente interpretabili, il che impedisce un’analisi approfondita e qualsiasi forma di verifica formale del loro processo decisionale prima dell’implementazione, sollevando così notevoli problemi di affidabilità. Per colmare questa lacuna, presentiamo Concept Memory Reasoner (CMR), un nuovo CBM progettato per fornire un processo di previsione dei compiti comprensibile all’uomo e verificabile. Il nostro approccio consiste nel modellare ogni previsione di attività come un meccanismo di selezione neurale su una memoria di regole logiche apprendibili, seguito da una valutazione simbolica della regola selezionata. La presenza di una memoria esplicita e la valutazione simbolica consentono agli esperti di dominio di ispezionare e verificare formalmente la validità di alcune proprietà globali di interesse per il processo di previsione dei compiti.
I risultati sperimentali dimostrano che la DCR raggiunge un compromesso migliore tra accuratezza e interpretabilità rispetto ai CBM più avanzati, scopre regole logiche coerenti con le verità di base, consente di intervenire sulle regole e permette la verifica prima dell’implementazione.
Bio: Giuseppe Marra è professore assistente presso il Dipartimento di Informatica della KU Leuven, dove fa parte del gruppo di ricerca Declarative Languages and Artificial Intelligence (DTAI). È stato FWO Post-Doc Fellow nel progetto “Deep Statistical Relational Learning” con il Prof. Luc De Raedt. Ha conseguito il dottorato di ricerca presso l’Università di Firenze nel 2020 sotto la supervisione del Prof. Marco Gori. I suoi interessi di ricerca riguardano l’integrazione tra calcolo neurale e ragionamento relazionale, con particolare attenzione al ragionamento logico e probabilistico. Questo impegno si interseca con i campi dell’IA spiegabile, dell’apprendimento sicuro per rinforzo, dell’IA generativa e del deep learning geometrico.
Persona di contatto per il seminario: Rafael Peñaloza
Lascia un commento