Tema

I concettimachine-learningNel grafo

Modi di acquisto di un modello

Le tre forme in cui un modello di linguaggio si compra: a servizio pagando a token, come modello privato su macchine a noleggio pagando a ore, o su macchine proprie come investimento; ogni forma sposta il punto dove i costi colpiscono

Si lega a

orienta il costo per token (a servizio) e il dimensionamento sui parametri attivi e totali (a noleggio e in proprio); su macchine proprie chiama in causa il motore di inferenza

Da qui ci si arriva

  1. Costo per token

    Quanto si paga per ogni token di ingresso, di ragionamento e di uscita: dipende dalla lingua attraverso il tokenizzatore, dalla finestra di contesto, dai parametri attivi e dai token di ragionamento

Dove se ne parla

  1. Che cosa deve sapere chi decide prima di usare un modello di linguaggio: la serie in dieci decisioni