UMAP 0.6: nuove funzionalità e prestazioni accelerate per dataset di grandi dimensioni

L'autore del post annuncia il rilascio di UMAP 0.6, l'ultima versione dell'algoritmo per la riduzione della dimensionalità. Il nuovo aggiornamento introduce un sistema di inizializzazione ricorsiva che utilizza lo stesso UMAP per creare una struttura di grafo grossolana, la quale viene poi raffinata progressivamente. Secondo quanto riportato, questo metodo produce un punto di partenza più vicino al risultato finale rispetto alle tecniche precedenti, come la PCA (Principal Component Analysis, analisi delle componenti principali) o l'inizializzazione spettrale.

Il software presenta anche nuovi ottimizzatori che utilizzano una forma efficiente di hard-negative mining. Questa tecnica rende il campionamento dei dati più efficace sui dataset molto ampi e permette di gestire meglio le forze di repulsione elevate. Grazie a queste modifiche, l'algoritmo può identificare strutture di cluster più fini con un numero inferiore di epoche.

Le prestazioni sono aumentate significativamente. La ricerca dei vicini più prossimi (nearest neighbour search) risulta circa quattro volte più veloce grazie a un uso migliore di PyNNDescent. L'autore dichiara che, su un dataset di 3 milioni di articoli di arXiv, la versione 0.6 completa l'operazione in meno di 5 minuti. Inoltre, i nuovi ottimizzatori permettono di utilizzare tutti i core del processore mantenendo la riproducibilità con un seed fisso, a differenza della versione 0.5 che operava su un singolo thread.

Perché conta

Le nuove funzioni di inizializzazione e ottimizzazione sono attualmente opzionali e richiedono l'impostazione del parametro compatibility_layout=False, poiché modificano l'output finale.