Tema

I concettimachine-learningNel grafoNell'analisi

Costo per token

Quanto si paga per ogni token di ingresso, di ragionamento e di uscita: dipende dalla lingua attraverso il tokenizzatore, dalla finestra di contesto, dai parametri attivi e dai token di ragionamento

Articoli che parlano di Costo per token

Dal grafo hai scelto un concetto. Qui scegli il testo in cui leggerlo nel suo contesto.

  1. Che cosa deve sapere chi decide prima di usare un modello di linguaggio: la serie in dieci decisioni

Si lega a

unisce il token e il costo a consumo della serie sugli agenti; si legge sulla scheda del modello; cresce col costo quadratico dell'attenzione, coi parametri attivi e coi modelli di ragionamento; fra i modi di acquisto di un modello, colpisce per intero chi compra a servizio

Da qui ci si arriva

  1. Modi di acquisto di un modello

    Le tre forme in cui un modello di linguaggio si compra: a servizio pagando a token, come modello privato su macchine a noleggio pagando a ore, o su macchine proprie come investimento; ogni forma sposta il punto dove i costi colpiscono