Tema

Varco: la GPU Apple nei container Linux

Il servizio è pronto, le dipendenze sono nel container, il Mac ha una GPU potente. Varco permette ai programmi MLX e PyTorch nel container Linux di usarla, mantenendo il loro codice applicativo. È un prototipo sperimentale a codice aperto, sviluppato da Fabio Malpezzi.

Scaricate Varco e leggete la guida di installazione su GitHub. La licenza del codice è MIT; le modifiche a Kiri sono Apache-2.0.

Il container resta Linux, il calcolo passa al Mac

Su un Mac i container Linux girano dentro una macchina virtuale. Metal, il sistema con cui i programmi accedono alla GPU Apple, resta dal lato macOS. Un programma che usa la GPU sul Mac perde quindi quella possibilità quando viene messo in un normale container.

Varco collega i due ambienti. Nel container intercetta le operazioni delle librerie MLX e PyTorch e le invia a un processo sul Mac, che le esegue sulla GPU e restituisce i risultati. Il programma continua a usare le proprie istruzioni per il calcolo; vanno predisposti l'immagine con il ponte e il servizio sul Mac. Quando il servizio può leggere direttamente i file dei modelli nelle cartelle autorizzate, i pesi evitano il passaggio attraverso la macchina virtuale.

Il ponte funziona con Docker Desktop. Con Kiri, un motore per container, le modifiche incluse nel repository permettono di concedere l'accesso alla GPU ai container avviati con --gpus all. Quelle modifiche vanno applicate: non fanno parte della versione originale di Kiri.

Che cosa potete costruire con Varco

Ricerca nei documenti con modelli locali

Un servizio di ricerca deve trasformare domande e documenti in vettori numerici, gli embedding, per confrontarne il significato. Con Varco il programma che li calcola può restare nel proprio container, accanto al database e agli altri servizi, e usare la GPU del Mac. L'esempio pubblicato usa BGE-M3 con MLX e comprende il confronto con l'esecuzione diretta sul Mac.

Il caso d'uso degli embedding contiene comandi, risultati e limiti.

Un modello di linguaggio fra i servizi dell'applicazione

Il server di mlx-lm può girare in un container insieme al resto dell'applicazione e offrire un'interfaccia compatibile con le API di chat di OpenAI. Il modello viene eseguito localmente sulla GPU Apple; l'interfaccia compatibile consente ai programmi di chiamarlo con un formato già conosciuto. L'esempio comprende risposte progressive, riuso del contesto già letto e richieste contemporanee.

Il caso del server descrive l'avvio e le prove sulle richieste. Le misure di questo caso risalgono al protocollo MLX 9, precedente al protocollo 11 del codice rilasciato.

Inferenza e addestramento con PyTorch

Per chi usa PyTorch, Varco porta nel container l'accesso a MPS, il sistema di PyTorch per il calcolo sulla GPU Apple. Gli esempi coprono l'esecuzione di modelli già addestrati e un addestramento con Lightning, precisione mista, salvataggio dei pesi e ripresa del lavoro. Il programma usa le normali funzioni di PyTorch.

Un altro esempio propone gli stessi file Compose e lo stesso programma su Mac con Kiri e su un server NVIDIA, scegliendo il dispositivo disponibile. Le immagini restano diverse e il percorso NVIDIA non è stato provato: il ponte non fornisce CUDA al Mac.

Le misure pubblicate: quanto costa attraversare il ponte

Le prove del 16 novembre 2026 sul codice rilasciato confrontano lo stesso programma sul Mac e nel container. La macchina è un MacBook Pro con Apple M4 Max, 128 GB di memoria e macOS 26.6.2; le versioni sono MLX 0.32.4 e PyTorch 2.15.0. Sono misure dell'autore su una sola macchina, senza una replica indipendente su altro hardware.

Per BGE-M3, i tempi seguenti sono le mediane di 15 esecuzioni, in millisecondi. Ogni container è confrontato con l'esecuzione nativa della stessa sessione di misura; per questo le due colonne del Mac differiscono.

BGE-M3 con MLX: tempo per gruppo di frasi, in millisecondi
FrasiMacDocker DesktopMacKiri
19,6410,729,619,68
824,8027,7424,8025,24
3272,6580,7372,3773,61

In questa misura il costo aggiuntivo è circa l'11-12% con Docker Desktop e l'1-2% con Kiri. Gli embedding confrontati su otto frasi sono identici byte per byte con entrambi i motori. Il vantaggio per un'applicazione di ricerca è poter mantenere il calcolo nel container con un costo misurabile, da verificare sul proprio carico.

La vicinanza alle prestazioni native dipende dal programma. Nella prova pubblicata di generazione con GPT-2 e PyTorch, il container raggiunge circa 411 token al secondo con Docker Desktop e 475 con Kiri, contro circa 580 sul Mac. Sono singole esecuzioni; una successiva misura con Docker Desktop riporta circa 398 token al secondo. I programmi che leggono spesso valori dal dispositivo pagano più viaggi fra container e Mac.

La correttezza viene prima della velocità

Nelle batterie pubblicate sul codice rilasciato, tutti i 47 programmi PyTorch di inferenza producono tensori identici al Mac per tipo, dimensioni e impronta SHA-256 dei byte, con Docker Desktop e Kiri. Dei 68 programmi di addestramento, 62 o 63 risultano identici secondo l'esecuzione, tre o quattro rientrano nella tolleranza dichiarata e due falliscono anche sul Mac per operatori non disponibili su MPS. La documentazione spiega anche la variabilità fra esecuzioni native.

La copertura MLX comprende 58 piccoli programmi: 57 identici e una differenza dichiarata nel calcolo di un'inversa di matrice sulla CPU, eseguito con librerie diverse fra Linux e macOS. Nella suite originale di MLX restano ulteriori fallimenti e test saltati, elencati nel repository. Questi risultati delimitano la compatibilità: il ponte va provato con il programma che si intende usare.

Le tabelle complete distinguono versioni, metodo, risultati e dati disponibili. Le prove precedenti al rilascio e i resoconti di due progetti privati sono indicati separatamente; questi ultimi non sono riproducibili dal lettore.

Quando usarlo e quali limiti considerare

Varco è adatto a chi sviluppa su un Mac con Apple silicon e vuole sperimentare ambienti Linux riproducibili usando la GPU che ha già. Richiede macOS 14 o successivo, gli strumenti di sviluppo e le versioni delle librerie previste dalla guida. Le immagini vengono costruite sul Mac durante l'installazione.

Consultate la compatibilità prima di installare e i confini di accesso alle risorse del Mac.

Provate un caso d'uso, poi confrontate il risultato

Il repository comprende sette casi d'uso con esempi eseguibili, inclusi più container contemporanei e kernel Metal personalizzati. La guida accompagna installazione e diagnosi; gli esempi consentono di eseguire lo stesso programma nel container e direttamente sul Mac.

Iniziate dalla guida di Varco. Se lo provate su un altro Mac, segnalare configurazione, risultati e problemi nel repository aiuta a estendere le prove disponibili.

Tutte le applicazioni di Improve & Manage.