Tema

I concetticostoNel grafo

Costo per compito risolto

Quanto si spende per arrivare al risultato, non per milione di token: un modello meno capace itera di più, e può costare di più pur costando meno a chiamata

Si lega a

è la misura giusta per scegliere il modello; si stabilisce solo misurando sui propri compiti

Da qui ci si arriva

  1. Crescita del contesto

    A ogni iterazione l'harness rispedisce l'intera conversazione, quindi ogni passaggio costa più del precedente

  2. Scelta del modello per passo

    Un modello piccolo per i passi semplici, quello grande riservato ai passi che lo meritano

  3. Frontiera costo-accuratezza

    L'insieme dei modelli per cui nessuno più economico fa meglio; tutti gli altri sono battuti su entrambe le misure insieme

Dove se ne parla

  1. Quanto costa far girare un agente, e perché il conto sorprende