Originál článek publikovaný na: AI asistent si vymyslel pravidlo a rozhodil zákazníky. Firma se za něj omluvila
Reklama AI chatbot na podpoře platformy Cursor si vymyslel neexistující zásadu Uživatelům s ní argumentoval po objevení chyby, která komplikovala práci Spoluzakladatel služby se omluvil a uvedl, že byly podniknuty nápravné kroky Vývojáři používající populární editor kódu s umělou inteligencí Cursor se ocitli v nepříjemné situaci. Jeden z uživatelů si všiml, že při přepínání mezi…
Proč jsou AI navržené tak, že když neznají přesně odpověď, že si ji mohou vymyslet? Proč nemají naprogramovanou funkci, že když neví, tak mají napsat, že neví?
Především jde o to, že LLM (velké jazykové modely) jsou trénovány tak, aby byly schopny předpovídat s určitou pravděpodobností, jaké další slovo (token) se nejvíc hodí do textu. Model se učí statistické vzory a asociace mezi slovy, nikoli explicitní reprezentaci faktů s jejich úrovní spolehlivosti.
I tak může být u odpovědi teda poznámka od AI typu “Odpověď jsem nikde nenašel ani neověřil a a tak jsem ji vygeneroval.”