هوش مصنوعی فعلی مهارت های اساسی استدلال را ندارد

دانشمندان هوش مصنوعی اپل در مقاله جدیدی توضیح داده اند موتورهای مبتنی بر مدل های زبانی بزرگ (LLM)، مانند موتورهای متا و OpenAI، هنوز مهارت های اساسی استدلال را ندارند.

دانشمندان اپل در مقاله خود بنچمارک جدیدی با نام GSM-Symbolic را پیشنهاد کرده اند که با آن می توان قابلیت های استدلال مدل های زبانی بزرگ مختلف را اندازه گیری کرد. آن ها در تحقیق خود متوجه شده اند اعمال تغییرات جزئی در دستورات متنی، می تواند پاسخ های کاملاً متفاوتی داشته باشد و این موضوع اطمینان به مدل ها را تضعیف می کند.

محققان اپل با اضافه کردن برخی اطلاعات زمینه ای به سؤالات خود، تلاش کرده اند «شکنندگی» استدلال ریاضی را نشان بدهند. آن ها در مقاله حاضر این گونه شرح می دهند:

«زمانی که فقط مقادیر عددی سؤال در بنچمارک GSM-Symbolic تغییر می کند، عملکرد تمام مدل ها کاهش می یابد. علاوه براین، شکنندگی استدلال ریاضی در این مدل ها نشان می دهد با افزایش تعداد بندهای سؤال، عملکرد آن ها به طور قابل توجهی بدتر می شود.»

خطای هوش مصنوعی در محاسبه 

در این مطالعه نشان داده شده اضافه کردن حتی یک جمله که درباره سؤال ریاضی اطلاعات بیشتری ارائه می کند، می تواند دقت پاسخ نهایی را تا 65 درصد کاهش بدهد.

در یکی از مثال ها، دانشمندان ابتدا توضیح زیر را به هوش مصنوعی دادند:

«اولیور جمعه 44 کیوی می چیند. سپس شنبه 58 کیوی دیگر می چیند. جمعه، برداشت او دوبرابر کیوی هایی است که جمعه برداشت شده بود.»

سپس به هوش مصنوعی گفته شد «از کیوی هایی که یکشنبه چیده شده، 5 عدد کمی کوچک تر از متوسط بود.» عبارتی گرچه به طورکلی نامرتبط نیست اما روی پاسخ نهایی سؤال که «اولیور چند کیوی دارد؟» نباید تأثیری بگذارد.

اما دانشمندان اپل می گویند مدل OpenAI و Llama3-8b از متا، 5 کیوی کوچک تر را حساب نکرده اند.

دانشمندان اپل در نتیجه گیری تحقیق خود می گویند: «به هیچ وجه نمی توان مبتنی بر این زیرساخت دستیارهای قابل اعتمادی ساخت؛ زیرا تغییر یک یا دو کلمه به روش های نامربوط یا اضافه کردن کمی اطلاعات نامربوط می تواند پاسخ متفاوتی ارائه کند.»