Magasabb a hibázási ráta

A kutatók három ismert nyelvi modellt (OpenAI GPT, Meta LLaMA és BLOOM) vizsgáltak több ezer kérdés alapján, írja a Nature. Megállapították, hogy a fejlettebb verziók többet tudnak és pontosabbak, de nehezebb kérdések esetén hajlamosabbak hibás válaszokat adni. Például a GPT-4 szinte mindig mindenre válaszol, még akkor is, ha nem tudja biztosan a helyes választ. Ugyanakkor egyes esetekben a hibázás aránya meghaladta a 60 százalékot.

A kutatás szerint az emberek gyakran túlbecsülik a chatbotok képességeit. A tesztek során az esetek 10-40 százalékában helyesnek értékelték a pontatlan válaszokat. José Hernández-Orallo kutatásvezető szerint fontos lenne, hogy a mesterséges intelligencia „bevallja”, ha nem tud egy kérdésre válaszolni. Hozzátette, szintén jót tenni a rendszereknek, ha a fejlesztők erre ösztönöznék az AI-t.

A fejlesztők folyamatosan dolgoznak a chatbotok pontosságának javításán, különösen az orvosi alkalmazások területén, ahol a hibák súlyos következményekkel járhatnak. Azonban az általános chatbotokat árusító cégek számára ez kevésbé prioritás, állítja Vipula Rawte, a Columbiai Dél-Karolinai Egyetem informatikusa. A szakértők szerint az embereknek meg kell érteniük, hogy a mesterséges intelligenciának is vannak korlátai, és nem minden területen használható teljes biztonsággal.