خلاصه
پژوهش مرکز تاو نشان داده هشت مدل مختلف بیش از ۶۰ درصد پاسخها را غلط دادند. ضعیفترین مدل، Grok با ۹۴ درصد خطا بود و دقیقترین، Perplexity با حدود ۳۷ درصد خطا. نسخههای پولی معمولاً اطلاعات غلط را با اعتماد به نفس بیشتری ارائه میکنند. آزمایش شامل ۲۰۰ نقل قول از ۲۰ رسانه مختلف بود و از مدلها خواسته شد تیتر، تاریخ، نام رسانه و لینک معتبر ارائه دهند.
یافتههای پژوهش مرکز «تاو» درباره دقت هشت مدل هوش مصنوعی در شناسایی منبع خبر.
در این تحقیق، هشت مدل هوش مصنوعی آزمایش شدند و بیش از ۶۰ درصد پاسخها نادرست بود؛ یا منبع کاملاً غلط تشخیص داده شد یا فقط بخشهایی مثل تیتر، تاریخ یا نام رسانه درست بود.
ضعیفترین عملکرد مربوط به مدل Grok بود که ۹۴ درصد خطا داشت و در اغلب موارد نتوانست منبع خبر را درست تشخیص دهد.
دقیقترین مدل Perplexity بود که با وجود عملکرد بهتر، همچنان حدود ۳۷ درصد خطا داشت.
نسخههای پولی مدلها با اعتمادبهنفس بیشتری نسبت به نسخههای رایگان اطلاعات نادرست ارائه میدادند.
جمعبندی
نتایج پژوهش نشان میدهد تشخیص منبع خبر همچنان یکی از ضعفهای جدی مدلهای هوش مصنوعی است، حتی در دقیقترین آنها.