És Grok un bon fact-checker?
Una investigació preliminar considera el xatbot una eina de verificació “informativa, però lluny de ser perfecta”
Una investigació preliminar considera el xatbot una eina de verificació “informativa, però lluny de ser perfecta”
“@grok, això és cert?” Aquestes quatre paraules apareixen cada cop més sovint i més de pressa en resposta a qualsevol post viral a X (abans Twitter). És, de fet, el missatge més comú enviat al xatbot d’IA en la seva versió anglesa, segons una investigació encara en marxa i no revisada per parells, que ha xifrat en gairebé mig milió (447.083) les interaccions que els usuaris de la xarxa social van tenir amb la IA emprant aquesta fórmula entre març i setembre de 2025.
Incloent altres fórmules i les peticions fetes al xatbot d’IA Perplexity, els investigadors xifren en aproximadament un milió i mig les consultes en què els usuaris demanaven un fact-check a aquests models de llenguatge extens, en temàtiques habitualment vinculades amb l’actualitat informativa. Això representa un 7,6% del total d’interaccions.
Però com d’encertada és la IA? Els investigadors, entre els quals està David Rand, que estudia a la Universitat de Cornell les components psicològiques rere la desinformació i la verificació, van comparar el veredicte de tres fact-checkers professionals amb el de les IA en una mostra de 100 piulades. El veredicte (verdader, fals o incert) va coincidir entre humans i màquines en el 54,5% de les ocasions en el cas de Grok i en el 57,7% en el de Perplexity; els fact-checkers professionals, en canvi, van coincidir entre ells el 64% de les vegades.
Alexios Mantzarlis, director de la Iniciativa de Seguretat, Confiança i Seguretat al centre de recerca Cornell Tech, part de la universitat del mateix nom, conclou a un post a Indicator que els resultats són difícils d’interpretar. L’expert va comprovar l’encert de 38 posts de Grok a piulades sobre l’assassinat d’Alex Pretti a Minneapolis, i va concloure que set d’ells eren imprecisos, i altres 20 contenien alguna errada.
“Les imprecisions durant un esdeveniment de breaking news són comprensibles. Però també són perilloses i molt inapropiades per una eina incrustada en un medi que moltes persones empren per accedir a notícies d’última hora”, escriu. I conclou: “Cal molta més feina per fer a Grok més adequat per la retorçada tasca de verificar informació dubtosa, especialment durant esdeveniments de breaking news. Desafortunadament, aquesta feina no sembla que sigui la prioritat de xAI”, l’empresa que ha desenvolupat Grok.
Caiguda en les notes de la comunitat
L’auge de Grok com a eina de fact-checking immediata i de gran abast, coincideix en el temps en una caiguda en l’ús de les notes de la comunitat, una eina per la qual les plataformes de xarxes socials van apostar fa un any com a alternativa als verificadors de fets. La decisió va topar aleshores amb el rebuig de la comunitat de fact-checking i amb els científics experts en desinformació, tal com vàrem explicar.