- ابتدا از Chat GPT4 پرسیده شد که آیا با راستی‌آزمایی آشنایی دارد یا خیر.
- پس از اطمینان از آشنایی Chat GPT4 با فکت‌چکینگ، از او پرسیده شد آیا می‌تواند اخبار فارسی‌زبان را راستی‌آزمایی کند؟
- بعد از این، ۲۵ خبر از اخبار راستی‌آزمایی‌شده توسط فکت‌یار، برای Chat GPT4 فرستاده شد تا آن‌ها را راستی‌آزمایی کند.
- اخبار انتخاب‌شده، اخباری بودند که در ماه اخیر راستی‌آزمایی شده و نتیجه آن‌ها درست، نیمه‌درست، نادرست و نیمه‌نادرست بود.
- در نهایت، تطابق نتیجه راستی‌آزمایی توسط Chat GPT4 و راستی‌آزمایی دستی بررسی شد.
- ChatGPT4 امکان راستی‌آزمایی ۲۴ درصد اخبار را نداشت؛ یعنی نتوانست ۶ خبر از ۲۵ خبر را راستی‌آزمایی کند.
- ۷۲ درصد اخبار (۱۸ خبر از ۲۵ خبر) را دقیق و مطابق با نتیجه راستی‌آزمایی فکت‌یار، راستی‌آزمایی کرد.
- نتیجه راستی‌آزمایی ChatGPT4 فقط در یک مورد، یعنی ۴ درصد اخبار، با نتیجه راستی‌آزمایی فکت‌یار مطابق نبود.
نتیجه گیری:
- ChatGPT اکثر اخبار را درست راستی‌آزمایی کرد و منابعش برای راستی‌آزمایی معتبر تلقی می‌شدند.
- نتوانست برخی اخبار را راستی‌آزمایی کند که نتیجه بیشتر این راستی‌آزمایی‌ها نیز توسط فکت‌یار از طریق تماس با منابع به‌دست آمده بودند و جستجوی اینترنتی برای دست‌یابی به نتیجه کافی نبود.
- جالب توجه است که برای راستی‌آزمایی برخی اخبار، Chat GPT از وب‌سایت فکت‌یار به‌عنوان منبع استفاده کرد.