Tema

I concettimachine-learningNel grafoNell'analisi

Modi di acquisto di un modello

Le tre forme in cui un modello di linguaggio si compra: a servizio pagando a token, come modello privato su macchine a noleggio pagando a ore, o su macchine proprie come investimento; ogni forma sposta il punto dove i costi colpiscono

Articoli che parlano di Modi di acquisto di un modello

Dal grafo hai scelto un concetto. Qui scegli il testo in cui leggerlo nel suo contesto.

  1. Che cosa deve sapere chi decide prima di usare un modello di linguaggio: la serie in dieci decisioni

Si lega a

orienta il costo per token (a servizio) e il dimensionamento sui parametri attivi e totali (a noleggio e in proprio); su macchine proprie chiama in causa il motore di inferenza

Da qui ci si arriva

  1. Costo per token

    Quanto si paga per ogni token di ingresso, di ragionamento e di uscita: dipende dalla lingua attraverso il tokenizzatore, dalla finestra di contesto, dai parametri attivi e dai token di ragionamento

  2. Capacità impegnata

    risorse di calcolo disponibili in un periodo, pagate, possedute o contrattualizzate prima di conoscere l'uso effettivo