Tema

I concetticostoNel grafoNell'analisi

Costo per compito risolto

Quanto si spende per arrivare al risultato, non per milione di token: un modello meno capace itera di più, e può costare di più pur costando meno a chiamata

Articoli che parlano di Costo per compito risolto

Dal grafo hai scelto un concetto. Qui scegli il testo in cui leggerlo nel suo contesto.

  1. Quanto costa far girare un agente, e perché il conto sorprende

Si lega a

è la misura giusta per scegliere il modello; si stabilisce solo misurando sui propri compiti

Da qui ci si arriva

  1. Crescita del contesto

    A ogni iterazione l'harness rispedisce l'intera conversazione, quindi ogni passaggio costa più del precedente

  2. Scelta del modello per passo

    Un modello piccolo per i passi semplici, quello grande riservato ai passi che lo meritano

  3. Frontiera costo-accuratezza

    L'insieme dei modelli per cui nessuno più economico fa meglio; tutti gli altri sono battuti su entrambe le misure insieme

  4. Tetto d'uso

    Il limite periodico di consumo che rende più sostenibile un abbonamento a canone fisso davanti a un uso potenzialmente illimitato