Perché la "parola firma" non è la tua parola più usata

È un confronto, non una classifica

Se la parola firma fosse semplicemente la parola più frequente, ogni chat del mondo restituirebbe lo stesso risultato: "che", "non", "di", "ma". Le parole funzionali dominano qualsiasi testo con enorme distacco e non dicono nulla su chi sei in una conversazione. Una statistica che risponde "che" a tutti non è una statistica.

La domanda del calcolo è quindi diversa. Non "quale parola usi di più?" ma "quale parola usi molto più dell'altra persona?". Il risultato cambia completamente: vince la parola con lo scarto più grande tra due frequenze relative, e può vincere anche con pochi usi, purché l'altra persona non la usi quasi mai.

Ecco perché la tua parola firma spesso ti sorprende. Non stai vedendo la tua abitudine isolata, stai vedendo la parte del tuo vocabolario che è distintivamente tua dentro quella chat specifica. La stessa persona può avere tre parole firma diverse in tre chat diverse.

Primo passaggio: frequenze, non conteggi

I conteggi grezzi diventano inutilizzabili nel momento in cui due persone scrivono quantità diverse, cioè quasi sempre. Se una scrive 60.000 parole e l'altra 20.000, la prima batterà l'altra su quasi ogni parola per default, e la parola firma andrebbe sistematicamente a chi digita più.

Ogni parola viene quindi convertita in una frequenza: usi ogni 10.000 parole scritte da quella persona. Trenta usi da parte di chi ha scritto 60.000 parole fanno 5 su 10.000. Gli stessi 30 usi da parte di chi ha scritto 20.000 parole fanno 15 su 10.000, il triplo. Stesso conteggio, abitudine molto diversa.

La scelta di 10.000 è di leggibilità, non di matematica. Le singole parole in una chat sono eventi rari: su 100 o su 1.000 vengono fuori decimali lunghi, mentre su 10.000 la maggior parte delle parole interessanti resta su numeri interi memorizzabili.

Secondo passaggio: il rapporto e quel +1 che evita l'esplosione

Con entrambe le frequenze pronte, lo scarto si esprime come rapporto: la tua frequenza divisa per la sua. Un rapporto di 4 significa che usi quella parola quattro volte più spesso, a parità di volume scritto.

Il problema è evidente. Molto spesso l'altra persona ha usato la parola zero volte, e dividere per zero non dà un numero. Anche il quasi-zero è quasi altrettanto problematico: con una frequenza di 0,01 il rapporto arriva a centinaia, e un singolo uso accidentale da parte sua lo farebbe crollare. La statistica sarebbe instabile proprio dove conta di più.

La soluzione è lo smoothing +1: prima della divisione si aggiunge 1 a entrambi i lati. Un denominatore a zero diventa 1, quindi il risultato è sempre finito, e la differenza tra "mai usata" e "usata una o due volte" smette di produrre oscillazioni violente. Il prezzo è che il rapporto viene tirato leggermente verso 1, quindi risulta un po' conservativo. È il compromesso giusto: una parola firma va dichiarata con sicurezza o non va dichiarata.

Terzo passaggio: la soglia di 8 usi

Lo smoothing addomestica il denominatore ma non risolve il numeratore. Una parola digitata una volta sola, mai usata dall'altra persona, produce comunque un rapporto superiore a 1, e in una chat lunga esistono migliaia di parole così. Ci rientrano i typo, i nomi propri comparsi in un solo pomeriggio, le storpiature del correttore automatico.

Perciò una parola deve raggiungere almeno 8 usi complessivi nella chat prima di poter competere. Sotto quella soglia il rapporto non viene nemmeno calcolato. Otto è abbastanza alto per escludere il rumore occasionale e abbastanza basso per conservare vocabolario davvero distintivo, che compare nelle conversazioni reali e non in ogni messaggio.

I due paletti fanno lavori diversi e servono entrambi. La soglia decide quali parole possono essere considerate, lo smoothing decide come si comportano i loro punteggi. Togli la soglia e la classifica si riempie di errori di battitura. Togli lo smoothing e si riempie di parole che l'altra persona ha usato per caso una volta.

L'aritmetica su una chat inventata

Chat tra due persone. A ha scritto 40.000 parole, B 20.000. Quattro parole candidate per A, con numeri inventati scelti per mostrare ogni regola all'opera.

Parola "onestamente": A 60 volte, B 4. Frequenza di A: 60 / 40.000 x 10.000 = 15 su 10.000. Frequenza di B: 4 / 20.000 x 10.000 = 2 su 10.000. Con lo smoothing il rapporto è (15 + 1) / (2 + 1) = 16 / 3 = 5,33. Ammissibile (64 usi totali) e con uno scarto netto.

Parola "che": A 1.800 volte, B 900. Frequenza di A: 450. Frequenza di B: 450. Rapporto (450 + 1) / (450 + 1) = 1,00. A parità di volume le due persone la usano in modo identico, quindi la parola più frequente in assoluto ottiene praticamente nulla. È esattamente il motivo per cui la parola più usata non vince quasi mai.

Parola "comunque": A 12 volte, B 0. Frequenza 3 contro 0, rapporto (3 + 1) / (0 + 1) = 4,00. Ammissibile con 12 usi. Qui si vede cosa fa lo smoothing: senza di esso ci sarebbe una divisione per zero e la parola andrebbe scartata o le andrebbe assegnato un punteggio infinito artificiale che batterebbe tutto.

Parola "pterodattilo": A 2 volte, B 0. Il rapporto smussato sarebbe 1,5, ma non viene mai calcolato perché 2 usi totali stanno sotto la soglia di 8. Senza quella regola, una singola battuta sui dinosauri potrebbe definire il tuo anno.

Classifica delle tre parole ammissibili: "onestamente" 5,33, "comunque" 4,00, "che" 1,00. La parola firma di A è "onestamente", usata 30 volte meno di "che".

Come leggere il tuo risultato

Un rapporto alto su una parola moderatamente comune è l'esito più informativo. Significa che la parola fa parte davvero del tuo modo di scrivere e che l'altra persona non la condivide. È il caso in cui la statistica dice qualcosa di vero sulla tua voce.

Una parola che non riconosci come tua di solito si è concentrata in un periodo breve. Otto usi sono una soglia bassa: otto usi in una settimana su un unico argomento la superano. Se il risultato ti suona strano, quasi sempre è successo questo, e restringere la finestra temporale del recap mostra se la parola sopravvive su un periodo più lungo.

Nei gruppi il confronto avviene contro il resto del gruppo nel suo insieme, non contro una singola persona. Il denominatore è quindi molto più grande e molto più stabile, e le parole firma nei gruppi numerosi risultano più marcatamente distintive quando compaiono, perché superare più persone insieme è più difficile che superarne una.

Le parole firma sono singoli token. Le frasi ricorrenti di più parole vengono trattate a parte come espressioni ricorrenti, e le due statistiche spesso non concordano: una frase può essere condivisa da entrambi mentre una parola dentro quella frase no.

Un'ultima cosa: il rapporto ha una direzione. La tua parola firma e la sua nascono dalla stessa tabella letta nei due sensi opposti, ed è per questo che la coppia di risultati è spesso più interessante di ciascuno dei due presi da solo.