3.1.1 Logica dell’agente

Regolamento è un LLM, Claude Sonnet, interrogato a ogni decisione tramite l’interfaccia a riga di comando (CLI, Command Line Interface) claude -p. Il prompt di sistema contiene una sintesi fedele del regolamento in inglese, compresi i tre consigli del regolamento ufficiale. Il primo: meglio prendere una carta con qualche gettone che restare senza. Il secondo: si può passare su una carta desiderata per raccogliere gettoni. Il terzo: le 9 carte scartate rendono incerto colmare i buchi. A ogni mossa il prompt descrive lo stato visibile: carta attiva, gettoni sopra, carte rimaste, i propri gettoni e le carte di tutti. Il modello risponde su una riga con la mossa e un motivo di al massimo 12 parole.

È l’agente che risponde più direttamente alla domanda centrale del progetto: misura quanto gioco «sappia» già un modello linguistico generalista senza alcun addestramento specifico.

3.1.2 Metodo di addestramento

Nessuno. L’agente non conserva memoria tra le mosse né tra i round: ogni decisione è una chiamata indipendente, con il regolamento come unica conoscenza del gioco. Se la chiamata fallisce, per esempio per un limite d’uso o un timeout, l’agente ritenta una volta. Se la risposta resta mancante o non interpretabile, nell’uso interattivo ripiega su prendere, che è sempre legale. Nei tornei invece il round fallito viene scartato, per non attribuire all’agente una mossa che non ha scelto (modalità STRICT).

3.1.3 Costo

In una calibrazione di 30 round, Regolamento ha fatto in media circa 10,6 chiamate per round. Ha consumato circa 11.300 token in ingresso e 2.400 in uscita per round. Il costo equivalente stimato dalla CLI è circa 0,07 dollari per round. Sul piano in abbonamento usato nel progetto ogni round è costato circa lo 0,12% della quota del piano Pro. In calibrazione un round ha richiesto circa un minuto, quasi tutto per l’attesa delle risposte.

3.2.1 Logica dell’agente

Rinforzo è un LLM, Claude Opus, che riceve due aiuti oltre al regolamento. Il primo è un consulente numerico: per lo stato corrente, il prompt riporta i valori attesi di prendere e passare stimati dall’agente RL (A4), espressi come margine finale atteso. Il secondo è una memoria di lezioni: nel prompt di sistema compaiono le cinque lezioni scritte nei round precedenti che hanno ottenuto i risultati migliori. Il modello decide integrando regolamento, stima numerica e lezioni.

3.2.2 Metodo di addestramento

L’addestramento ha due fasi, chiamate nel progetto cold e warm. La fase cold è l’apprendimento per rinforzo in self-play di A4 (sezione 3.4), da cui provengono i valori Q. La fase warm avviene a ogni fine round e procede in due passi:

1. ogni lezione usata nel round riceve come ricompensa il margine ottenuto, che aggiorna la sua media;
2. Opus rilegge le mosse giocate, le motivazioni, le carte finali e i punteggi, e scrive una nuova lezione concreta di al massimo 25 parole.

Il file conserva le 20 lezioni con la media migliore. L’idea è affine a Reflexion [16], in cui un agente linguistico migliora tramite riflessioni verbali conservate in memoria invece che aggiornando i pesi del modello. A differenza di Reflexion, qui le lezioni competono tra loro e vengono selezionate in base al risultato. Un esempio di lezione appresa: «quando una carta allunga la tua sequenza e porta già molti gettoni, prendila subito: mungerla troppo lascia agli avversari l’occasione di bloccarti».

Un limite da tenere presente: la ricompensa di una lezione è il margine dell’intero round. In No Thanks! questo margine dipende molto dal mazzo, quindi una lezione usata in pochi round può risultare «buona» per fortuna.

3.2.3 Costo

È l’agente più costoso. In calibrazione ha fatto in media circa 11,2 chiamate per round, compresa quella che scrive la lezione. Ha consumato circa 16.200 token in ingresso e 1.900 in uscita per round. Il costo equivalente stimato dalla CLI è circa 0,11 dollari per round, pari a circa lo 0,19% della quota del piano Pro. Poiché aggiorna un file di memoria condiviso, nei tornei deve girare in un processo solo, un round alla volta: è stato il collo di bottiglia dei tornei LLM (in calibrazione circa 67 secondi di chiamate per round, senza parallelismo; il tempo reale per round nel G6b non è registrato).

3.3.1 Logica dell’agente

Esperto è uguale a Regolamento (Sonnet, stesso formato di risposta), con un blocco di strategia esperta aggiunto al prompt. La strategia contiene sei regole:

1. calcolare il costo netto di una carta: punti aggiunti meno gettoni sopra;
2. dare più valore ai gettoni quando ne restano meno di tre;
3. lasciare girare le carte alte con pochi gettoni;
4. mungere le carte che allungano solo le proprie sequenze;
5. non regalare carte utili agli avversari;
6. a fine round dare meno peso ai gettoni.

3.3.2 Metodo di addestramento

Nessuno: la conoscenza strategica è scritta a mano nel prompt. L’agente serve a capire se istruzioni esplicite migliorano un LLM che conosce già il regolamento.

3.3.3 Costo

In calibrazione ha fatto circa 9,7 chiamate per round, con circa 13.300 token in ingresso e 2.000 in uscita. Il costo equivalente è circa 0,05 dollari per round, pari a circa lo 0,08% del piano Pro. In ingresso consuma più di Regolamento perché il prompt è più lungo, ma in totale costa meno, perché le sue risposte sono più brevi.

3.4.1 Logica dell’agente

RL consulta una tabella di valori. Ogni stato del gioco è ridotto a quattro caratteristiche:

• il costo netto della carta attiva, limitato all’intervallo da −10 a 30;
• i propri gettoni, fino a 12;
• la fase del round, in tre fasce;
• un indicatore che dice se la carta è adiacente alle carte di un avversario.

Per ciascuno di questi stati compressi la tabella contiene una stima del margine finale atteso se si prende e se si passa. L’agente sceglie la mossa con il valore più alto. Se uno dei due valori non è mai stato stimato, sceglie quello noto o, in mancanza di entrambi, a caso.

3.4.2 Metodo di addestramento

Il progetto chiama il metodo Q-learning Monte Carlo. Tecnicamente è un controllo Monte Carlo tabellare in self-play [4]. A differenza del Q-learning di Watkins [3], che aggiorna le stime usando la stima dello stato successivo, qui ogni stima viene spostata verso il margine finale effettivo del round. Durante l’addestramento quattro copie dell’agente giocano tra loro, esplorando con una mossa casuale nel 10% dei casi (ε = 0,1). Il passo di aggiornamento è 1/n, con un minimo di 0,02, così le stime continuano ad adattarsi mentre cambiano gli avversari, che sono copie dell’agente stesso. La tabella finale contiene 2.924 stati.

L’addestramento si può riprendere da dove si era interrotto e il comando documentato esegue 300.000 round per sessione. Il numero totale di round accumulati nelle varie sessioni non è registrato nei file del progetto.

3.4.3 Costo

Zero token. In gioco l’agente fa una sola consultazione di tabella per mossa. La stessa tabella fornisce i valori Q che Rinforzo (A2) riceve nel prompt.

3.5.1 Logica dell’agente

Euristica applica una sola regola. Calcola il costo netto della carta: di quanto salirebbe il proprio punteggio prendendola, meno i gettoni che ci sono sopra. Prende la carta se il costo netto è al massimo 2. Quando gli restano 3 gettoni o meno, la soglia sale a 8, perché senza gettoni si è costretti a prendere carte peggiori. La regola cattura l’idea base del gioco ma ignora gli avversari, le sequenze altrui e la possibilità di mungere gettoni.

3.5.2 Metodo di addestramento

Nessuno: le soglie sono fisse e sono state tarate a mano. Euristica è la baseline di riferimento di tutti i tornei con gli LLM.

3.5.3 Costo

Zero token, costo di calcolo trascurabile.

3.6.1 Logica dell’agente

CFR gioca una strategia mista: per ogni stato non sceglie una mossa fissa, ma prende con una certa probabilità e passa con la probabilità complementare. Gli stati sono le stesse quattro caratteristiche di A4, che qui fungono da insiemi di informazione: raggruppano le situazioni che il giocatore non sa distinguere. La casualità è voluta. Nei giochi a informazione imperfetta una strategia deterministica è prevedibile e quindi sfruttabile; una strategia mista ben calibrata lo è meno.

3.6.2 Metodo di addestramento

L’agente usa la minimizzazione del rimpianto controfattuale (Counterfactual Regret Minimization, CFR) [5]. Il rimpianto di una mossa misura quanto si sarebbe guadagnato giocando sempre quella mossa invece della strategia attuale. CFR accumula i rimpianti in self-play e rende più probabili le mosse con rimpianto positivo (regret matching). Nei giochi a due giocatori a somma zero la strategia media converge a un equilibrio di Nash [5]. Il progetto usa due varianti:

• campionamento Monte Carlo (MCCFR) [6]: a ogni decisione la mossa non giocata viene valutata con una sola simulazione del resto del round, sullo stesso mazzo;
• CFR+ [7]: i rimpianti negativi vengono azzerati, il che in genere accelera la convergenza.

Due limiti meritano attenzione. No Thanks! in quattro è un gioco a più giocatori e non a somma zero: le garanzie teoriche di convergenza di CFR non valgono, e la strategia ottenuta va considerata un’euristica ben fondata, non un equilibrio. Inoltre l’astrazione a quattro caratteristiche è grossolana, e la media della strategia è uniforme, una scelta semplice indicata nel codice come migliorabile. La tabella finale contiene 2.828 insiemi di informazione; il comando documentato esegue 50.000 round per sessione.

3.6.3 Costo

Zero token. In gioco l’agente fa una consultazione di tabella e un’estrazione casuale. La sua strategia media è anche la base di Ricerca (A9).

3.7.1 Logica dell’agente

PPO è una piccola rete neurale (MLP, Multilayer Perceptron, nella configurazione predefinita della libreria). Riceve un vettore di 137 numeri: carta attiva, gettoni sulla carta, gettoni propri, carte rimaste e costo netto, più un bit per ogni carta di ciascun giocatore, nell’ordine dei posti a partire da sé. Ne ricava la probabilità di prendere. In gioco prende se la probabilità è almeno il 50%. A differenza di A4 e A6, vede l’intero tavolo e non una sintesi in quattro caratteristiche.

3.7.2 Metodo di addestramento

L’addestramento usa la Proximal Policy Optimization (PPO) [8], un metodo a gradiente della politica. PPO alterna la raccolta di esperienza e l’ottimizzazione della politica, e limita l’ampiezza di ogni aggiornamento per mantenere stabile l’apprendimento. L’implementazione è quella di Stable-Baselines3 [9], su un ambiente Gymnasium [10] che incapsula il motore di gioco. Ogni episodio è un round. Gli avversari vengono estratti a ogni round tra Euristica, RL, CFR e Casuale. La ricompensa arriva solo a fine round ed è il margine. Il comando documentato esegue 1.000.000 di passi.

Non si addestra contro sé stesso ma contro avversari esterni, ed è l’unico agente che ha incontrato Casuale durante l’addestramento. Questo spiega un suo tratto notevole nei tornei: è molto bravo a sfruttarlo (sezione 5.1).

3.7.3 Costo

Zero token. Ogni mossa richiede una passata della rete sul processore (CPU, Central Processing Unit). Richiede le librerie gymnasium, stable-baselines3 e torch: è l’unica dipendenza esterna del progetto oltre a quella di A10.

3.8.1 Logica dell’agente

MC non impara nulla in anticipo: ragiona a ogni mossa per simulazione. Non conosce l’ordine del mazzo, né quali carte sono state scartate, né i gettoni degli avversari. Per questo costruisce 32 mondi possibili coerenti con ciò che vede, con una procedura chiamata determinizzazione. In ogni mondo mescola a caso le carte non ancora viste e divide in parti uguali tra gli avversari i gettoni che non vede. Poi gioca il round fino in fondo, una volta prendendo e una volta passando. Gli avversari simulati sono estratti tra Euristica, RL e CFR. Infine sceglie la mossa con il margine medio migliore. Le due mosse vengono provate sugli stessi mondi (numeri casuali comuni), così la differenza tra le due medie riflette la mossa e non la fortuna del campione.

Questo approccio si chiama Perfect Information Monte Carlo (PIMC). Funziona sorprendentemente bene in molti giochi di carte, ma ha difetti noti, in particolare la strategy fusion: in ogni mondo simulato l’agente «sa» cose che nella realtà non può sapere [11, 12, 20].

3.8.2 Metodo di addestramento

Nessuno. Il codice prevede anche una tattica di «estorsione», cioè passare sulle proprie carte di sequenza finché il piatto non cresce. Le prove l’hanno misurata come peggiore, quindi è disattivata.

3.8.3 Costo

Zero token, ma costo di calcolo alto: circa 64 simulazioni complete del round per ogni decisione. È uno degli agenti più lenti.

3.9.1 Logica dell’agente

Ricerca usa la stessa ricerca di MC con due differenze, ispirate a Pluribus, il programma che nel 2019 ha superato professionisti umani nel poker Texas hold’em a sei giocatori [13]:

• strategia di base (blueprint): nelle simulazioni l’agente gioca la strategia media di CFR (A6), non un’euristica;
• avversari multipli: ogni avversario simulato segue una di quattro politiche, estratta a caso: la strategia di base, una sua variante sbilanciata verso prendere (probabilità pesata ×5), una sbilanciata verso passare, oppure Euristica. Così la ricerca non si fida di un unico modello di avversario. Aggiungere Euristica alle varianti ha migliorato i risultati in una verifica su dati separati.

L’analogia con Pluribus è parziale. Pluribus usa una ricerca a profondità limitata in cui gli avversari scelgono tra più strategie di continuazione alle foglie [13, 17]. Qui invece ogni simulazione arriva a fine round e la politica di ogni avversario è estratta a caso.

3.9.2 Metodo di addestramento

Nessun addestramento proprio: riusa la tabella di A6.

3.9.3 Costo

Zero token, costo di calcolo alto come MC. È il «maestro» da cui Autodidatta (A10) impara.

3.10.1 Logica dell’agente

Autodidatta sostituisce le lunghe simulazioni di Ricerca con una rete neurale che stima il valore delle due mosse. Lo stato è codificato in 72 numeri: le proprie carte, le carte degli avversari, carta attiva, piatto, gettoni, carte rimaste, costo netto e adiacenza. La rete ha due strati nascosti, da 128 e 64 unità, e restituisce il margine atteso di prendere e di passare.

In gioco l’agente non si affida solo alla rete. Esegue una ricerca breve in quattro passi:

1. genera 16 mondi possibili per ciascuna mossa;
2. gioca la mossa;
3. lascia rispondere gli avversari simulati fino al proprio turno successivo;
4. valuta la posizione raggiunta con la rete, oppure con il punteggio reale se il round è finito.

L’inferenza usa solo numpy, senza simulazioni pesanti fino a fine round.

3.10.2 Metodo di addestramento

L’addestramento procede in due fasi.

1. Imitazione della ricerca. In 1.500 round a tavoli misti, con i posti assegnati a caso tra Euristica, RL, CFR e Ricerca, Ricerca etichetta ogni decisione con i margini medi stimati per le due mosse: circa 180.000 stati. Il valore è una stima: il log registra 170.590 stati dopo 1.400 partite su 1.500 e non riporta il totale finale. La rete impara a riprodurli con una regressione ai minimi quadrati.

2. Raffinamento stile AlphaZero. La rete gioca con la ricerca breve, contro copie di sé e contro Euristica, RL e CFR. Le nuove etichette prodotte da questa ricerca riaddestrano la rete. La nuova rete sostituisce la precedente solo se la batte in un confronto diretto di 1.000 round.

   • Prima iterazione: la nuova rete è stata promossa, con +1,34 punti di margine.
   • Seconda iterazione: la nuova rete è stata respinta (−0,42) e il ciclo si è fermato.

   Sui dati di verifica la rete sceglie la stessa mossa delle etichette nell’88% circa dei casi.

L’ispirazione è il ciclo di AlphaGo Zero e AlphaZero, in cui una rete guida la ricerca e la ricerca produce gli obiettivi per migliorare la rete [14, 15]. Anche qui l’analogia è parziale. Non c’è un albero di ricerca né una testa di politica, ma solo una rete di valore con una ricerca campionata di un turno. La regola «la nuova rete sostituisce la vecchia solo se vince» era presente in AlphaGo Zero, con una soglia del 55% di vittorie [14], ed è stata abbandonata in AlphaZero [15, 18].

È stata provata anche una variante in cui un autoencoder non supervisionato comprimeva lo stato prima della rete: ha ottenuto risultati peggiori ed è stata scartata.

3.10.3 Costo

Zero token. In gioco l’agente fa 32 brevi simulazioni di un turno, valutate dalla rete: molto meno delle 64 simulazioni complete di MC e Ricerca. L’addestramento richiede torch e richiede circa 20 minuti per generare i dati e circa 2 minuti per addestrare la rete, secondo le stime del progetto.

3.11.1 Logica dell’agente

Haiku è un LLM, Claude Haiku, che riceve nel prompt il consiglio della rete di Autodidatta. L’ipotesi da verificare era se un modello linguistico, piccolo ed economico, potesse aggiungere giudizio a una rete già forte, correggendone gli errori.

3.11.2 Metodo di addestramento

Nessuno. L’esperimento (torneo G5.3) ha fissato in anticipo una regola di decisione: tenere Haiku solo se superava Autodidatta di almeno 2,6 punti di margine. Su 300 round previsti, 133 sono stati completati e 167 sono falliti perché il modello non rispettava il formato di risposta. Sui round completati, la differenza rispetto ad Autodidatta è stata −0,06 ±2,60 punti, cioè nessun guadagno misurabile. L’agente è stato scartato e il suo codice non fa parte della versione finale del progetto.

3.11.3 Costo

I token per round di Haiku non sono riportati nei file del progetto. Il costo era comunque superiore a zero, mentre Autodidatta da solo, che ha ottenuto lo stesso risultato, non spende token.

3.12.1 Logica dell’agente

Casuale sceglie a caso tra le mosse legali. Non è un avversario credibile: è un controllo di sanità. Ogni agente che impara qualcosa deve batterlo, e i test automatici dei moduli di apprendimento e di ricerca lo verificano.

3.12.2 Metodo di addestramento

Nessuno.

3.12.3 Costo

Zero token, costo di calcolo nullo.

3.1.1 Agent logic

Regolamento is an LLM, Claude Sonnet, queried at every decision through the command line interface (CLI) claude -p. The system prompt contains a faithful summary of the rulebook in English, including the three tips of the official rulebook. The first: it is better to take a card with some chips than to run out of chips. The second: one can pass on a desired card to collect chips. The third: the 9 discarded cards make it uncertain whether gaps can be filled. At every move the prompt describes the visible state: active card, chips on it, cards left, one’s own chips and everyone’s cards. The model answers on one line with the move and a reason of at most 12 words.

It is the agent that answers the project’s central question most directly: it measures how much of the game a general-purpose language model already “knows” without any specific training.

3.1.2 Training method

None. The agent keeps no memory between moves or between rounds: every decision is an independent call, with the rulebook as its only knowledge of the game. If the call fails, for example because of a usage limit or a timeout, the agent retries once. If the answer remains missing or cannot be interpreted, in interactive use it falls back to take, which is always legal. In the tournaments, on the other hand, the failed round is discarded, so as not to attribute to the agent a move it did not choose (STRICT mode).

3.1.3 Cost

In a 30-round calibration, Regolamento made on average about 10.6 calls per round. It consumed about 11,300 input tokens and 2,400 output tokens per round. The equivalent cost estimated by the CLI is about 0.07 dollars per round. On the subscription plan used in the project each round cost about 0.12% of the Pro plan quota. In calibration a round took about one minute, almost all of it waiting for the answers.

3.2.1 Agent logic

Rinforzo is an LLM, Claude Opus, which receives two aids beyond the rulebook. The first is a numerical advisor: for the current state, the prompt reports the expected values of take and pass estimated by the RL agent (A4), expressed as expected final margin. The second is a memory of lessons: the system prompt contains the five lessons, written in previous rounds, that obtained the best results. The model decides by integrating the rulebook, the numerical estimate and the lessons.

3.2.2 Training method

Training has two phases, called cold and warm in the project. The cold phase is the self-play reinforcement learning of A4 (section 3.4), which the Q-values come from. The warm phase happens at the end of every round and proceeds in two steps:

1. each lesson used in the round receives the margin obtained as its reward, which updates its average;
2. Opus rereads the moves played, the rationales, the final cards and the scores, and writes one new concrete lesson of at most 25 words.

The file keeps the 20 lessons with the best average. The idea is related to Reflexion [16], in which a language agent improves through verbal reflections stored in memory instead of updating the model’s weights. Unlike Reflexion, here the lessons compete with each other and are selected on the basis of the result. An example of a learned lesson: “when a card extends your run and already carries many chips, take it right away: milking it too long gives the opponents the chance to block you”.

A limit to keep in mind: the reward of a lesson is the margin of the whole round. In No Thanks! this margin depends heavily on the deck, so a lesson used in few rounds may turn out “good” by luck.

3.2.3 Cost

It is the most expensive agent. In calibration it made on average about 11.2 calls per round, including the one that writes the lesson. It consumed about 16,200 input tokens and 1,900 output tokens per round. The equivalent cost estimated by the CLI is about 0.11 dollars per round, equal to about 0.19% of the Pro plan quota. Because it updates a shared memory file, in the tournaments it has to run in a single process, one round at a time: it was the bottleneck of the LLM tournaments (in calibration about 67 seconds of calls per round, without parallelism; the real time per round in G6b was not recorded).

3.3.1 Agent logic

Esperto is the same as Regolamento (Sonnet, same answer format), with a block of expert strategy added to the prompt. The strategy contains six rules:

1. compute the net cost of a card: points added minus chips on it;
2. give more value to chips when fewer than three are left;
3. let high cards with few chips go around;
4. milk the cards that extend only one’s own runs;
5. do not hand useful cards to the opponents;
6. at the end of the round give less weight to chips.

3.3.2 Training method

None: the strategic knowledge is handwritten in the prompt. The agent serves to find out whether explicit instructions improve an LLM that already knows the rulebook.

3.3.3 Cost

In calibration it made about 9.7 calls per round, with about 13,300 input tokens and 2,000 output tokens. The equivalent cost is about 0.05 dollars per round, equal to about 0.08% of the Pro plan. It consumes more input than Regolamento because the prompt is longer, but in total it costs less, because its answers are shorter.

3.4.1 Agent logic

RL consults a table of values. Every game state is reduced to four features:

• the net cost of the active card, limited to the range from −10 to 30;
• one’s own chips, up to 12;
• the phase of the round, in three bands;
• an indicator saying whether the card is adjacent to an opponent’s cards.

For each of these compressed states the table holds an estimate of the expected final margin if one takes and if one passes. The agent picks the move with the higher value. If one of the two values has never been estimated, it picks the known one or, if neither is known, picks at random.

3.4.2 Training method

The project calls the method Monte Carlo Q-learning. Technically it is tabular Monte Carlo control in self-play [4]. Unlike Watkins’ Q-learning [3], which updates the estimates using the estimate of the next state, here every estimate is moved toward the actual final margin of the round. During training four copies of the agent play each other, exploring with a random move 10% of the time (ε = 0.1). The update step is 1/n, with a minimum of 0.02, so the estimates keep adapting while the opponents change, since they are copies of the agent itself. The final table contains 2,924 states.

Training can be resumed from where it stopped, and the documented command runs 300,000 rounds per session. The total number of rounds accumulated across sessions is not recorded in the project files.

3.4.3 Cost

Zero tokens. In play the agent makes a single table lookup per move. The same table supplies the Q-values that Rinforzo (A2) receives in the prompt.

3.5.1 Agent logic

Euristica applies a single rule. It computes the net cost of the card: by how much its score would rise by taking it, minus the chips on it. It takes the card if the net cost is at most 2. When it has 3 chips or fewer left, the threshold rises to 8, because without chips one is forced to take worse cards. The rule captures the basic idea of the game but ignores the opponents, other players’ runs and the possibility of milking chips.

3.5.2 Training method

None: the thresholds are fixed and were tuned by hand. Euristica is the reference baseline of all the tournaments with LLMs.

3.5.3 Cost

Zero tokens, negligible computing cost.

3.6.1 Agent logic

CFR plays a mixed strategy: for each state it does not choose a fixed move, but takes with a certain probability and passes with the complementary probability. The states are the same four features as A4, which here act as information sets: they group the situations that the player cannot tell apart. The randomness is deliberate. In imperfect-information games a deterministic strategy is predictable and therefore exploitable; a well-calibrated mixed strategy is less so.

3.6.2 Training method

The agent uses counterfactual regret minimization (CFR) [5]. The regret of a move measures how much would have been gained by always playing that move instead of the current strategy. CFR accumulates regrets in self-play and makes moves with positive regret more probable (regret matching). In two-player zero-sum games the average strategy converges to a Nash equilibrium [5]. The project uses two variants:

• Monte Carlo sampling (MCCFR) [6]: at every decision the move not played is evaluated with a single simulation of the rest of the round, on the same deck;
• CFR+ [7]: negative regrets are reset to zero, which generally speeds up convergence.

Two limits deserve attention. No Thanks! with four players is a multiplayer, non-zero-sum game: the theoretical convergence guarantees of CFR do not hold, and the resulting strategy should be regarded as a well-founded heuristic, not an equilibrium. Moreover the four-feature abstraction is coarse, and the strategy average is uniform, a simple choice marked in the code as improvable. The final table contains 2,828 information sets; the documented command runs 50,000 rounds per session.

3.6.3 Cost

Zero tokens. In play the agent makes one table lookup and one random draw. Its average strategy is also the basis of Ricerca (A9).

3.7.1 Agent logic

PPO is a small neural network (MLP, Multilayer Perceptron, in the library’s default configuration). It receives a vector of 137 numbers: active card, chips on the card, own chips, cards left and net cost, plus one bit for each card of each player, in seat order starting from itself. From it, the network derives the probability of taking. In play the agent takes if the probability is at least 50%. Unlike A4 and A6, it sees the whole table and not a summary in four features.

3.7.2 Training method

Training uses Proximal Policy Optimization (PPO) [8], a policy-gradient method. PPO alternates between collecting experience and optimizing the policy, and limits the size of each update to keep learning stable. The implementation is that of Stable-Baselines3 [9], on a Gymnasium environment [10] that wraps the game engine. Each episode is a round. The opponents are drawn at every round among Euristica, RL, CFR and Casuale. The reward arrives only at the end of the round and is the margin. The documented command runs 1,000,000 steps.

It does not train against itself but against external opponents, and it is the only agent that met Casuale during training. This explains a notable trait of its performance in the tournaments: it is very good at exploiting it (section 5.1).

3.7.3 Cost

Zero tokens. Each move requires one forward pass of the network on the processor (CPU, Central Processing Unit). It requires the gymnasium, stable-baselines3 and torch libraries: it is the project’s only external dependency besides that of A10.

3.8.1 Agent logic

MC learns nothing in advance: it reasons at every move by simulation. It does not know the order of the deck, nor which cards were discarded, nor the opponents’ chips. For this reason it builds 32 possible worlds consistent with what it sees, with a procedure called determinization. In each world it shuffles the cards not yet seen at random and splits evenly among the opponents the chips it cannot see. Then it plays the round to the end, once by taking and once by passing. The simulated opponents are drawn among Euristica, RL and CFR. Finally it picks the move with the better average margin. The two moves are tried on the same worlds (common random numbers), so the difference between the two averages reflects the move and not the luck of the sample.

This approach is called Perfect Information Monte Carlo (PIMC). It works surprisingly well in many card games, but it has known flaws, in particular strategy fusion: in every simulated world the agent “knows” things that in reality it cannot know [11, 12, 20].

3.8.2 Training method

None. The code also provides an “extortion” tactic, that is, passing on one’s own run cards until the pot grows. Tests measured it as worse, so it is disabled.

3.8.3 Cost

Zero tokens, but high computing cost: about 64 complete simulations of the round for every decision. It is one of the slowest agents.

3.9.1 Agent logic

Ricerca uses the same search as MC with two differences, inspired by Pluribus, the program that in 2019 beat human professionals at six-player Texas hold’em poker [13]:

• blueprint strategy: in the simulations the agent plays the average strategy of CFR (A6), not a heuristic;
• multiple opponents: each simulated opponent follows one of four policies, drawn at random: the blueprint strategy, a variant of it biased toward take (probability weighted ×5), one biased toward pass, or Euristica. In this way the search does not trust a single opponent model. Adding Euristica to the variants improved the results in a check on separate data.

The analogy with Pluribus is partial. Pluribus uses a depth-limited search in which the opponents choose among several continuation strategies at the leaves [13, 17]. Here, instead, every simulation runs to the end of the round and each opponent’s policy is drawn at random.

3.9.2 Training method

No training of its own: it reuses the table of A6.

3.9.3 Cost

Zero tokens, high computing cost like MC. It is the “teacher” from which Autodidatta (A10) learns.

3.10.1 Agent logic

Autodidatta replaces the long simulations of Ricerca with a neural network that estimates the value of the two moves. The state is encoded in 72 numbers: own cards, opponents’ cards, active card, pot, chips, cards left, net cost and adjacency. The network has two hidden layers, of 128 and 64 units, and returns the expected margin of take and of pass.

In play the agent does not rely on the network alone. It runs a short search in four steps:

1. it generates 16 possible worlds for each move;
2. it plays the move;
3. it lets the simulated opponents respond until its own next turn;
4. it evaluates the position reached with the network, or with the real score if the round is over.

Inference uses only numpy, with no heavy simulations to the end of the round.

3.10.2 Training method

Training proceeds in two phases.

1. Imitation of the search. Over 1,500 rounds at mixed tables, with seats assigned at random among Euristica, RL, CFR and Ricerca, Ricerca labels every decision with the estimated average margins for the two moves: about 180,000 states. The value is an estimate: the log records 170,590 states after 1,400 games out of 1,500 and does not report the final total. The network learns to reproduce them with a least-squares regression.

2. AlphaZero-style refinement. The network plays with the short search, against copies of itself and against Euristica, RL and CFR. The new labels produced by this search retrain the network. The new network replaces the previous one only if it beats it in a head-to-head comparison of 1,000 rounds.

   • First iteration: the new network was promoted, with +1.34 points of margin.
   • Second iteration: the new network was rejected (−0.42) and the cycle stopped.

   On the validation data the network picks the same move as the labels in about 88% of cases.

The inspiration is the loop of AlphaGo Zero and AlphaZero, in which a network guides the search and the search produces the targets to improve the network [14, 15]. Here too the analogy is partial. There is no search tree and no policy head, only a value network with a sampled one-turn search. The rule “the new network replaces the old one only if it wins” was present in AlphaGo Zero, with a 55% win threshold [14], and was dropped in AlphaZero [15, 18].

A variant was also tried in which an unsupervised autoencoder compressed the state before the network: it obtained worse results and was discarded.

3.10.3 Cost

Zero tokens. In play the agent runs 32 brief one-turn simulations, evaluated by the network: far fewer than the 64 complete simulations of MC and Ricerca. Training requires torch and takes about 20 minutes to generate the data and about 2 minutes to train the network, according to the project’s estimates.

3.11.1 Agent logic

Haiku is an LLM, Claude Haiku, which receives the advice of the Autodidatta network in the prompt. The hypothesis to test was whether a small, cheap language model could add judgement to an already strong network by correcting its errors.

3.11.2 Training method

None. The experiment (tournament G5.3) fixed a decision rule in advance: keep Haiku only if it beat Autodidatta by at least 2.6 points of margin. Out of 300 planned rounds, 133 were completed and 167 failed because the model did not respect the answer format. On the completed rounds, the difference from Autodidatta was −0.06 ±2.60 points, that is, no measurable gain. The agent was discarded and its code is not part of the project’s final version.

3.11.3 Cost

Haiku’s tokens per round are not reported in the project files. The cost was in any case above zero, whereas Autodidatta alone, which obtained the same result, spends no tokens.

3.12.1 Agent logic

Casuale chooses at random among the legal moves. It is not a credible opponent: it is a sanity check. Every agent that learns something must beat it, and the automatic tests of the learning and search modules verify this.

3.12.2 Training method

None.

3.12.3 Cost

Zero tokens, zero computing cost.