ChatGPT ענה בצורה שגויה על יותר ממחצית מהשאלות של מהנדסי תוכנה

ייתכן שתרצו בינתיים לדבוק ב-Stack Overflow או מהנדס תוכנה מוסמך לפתרון בעיות חשובות.

היכולת של ChatGPT לספק תשובות מבוססות שיחה לכל שאלה בכל עת הופכת את הצ’אט בוט למשאב שימושי לצרכי המידע שלכם. למרות הנוחות, מחקר חדש מגלה שאולי לא תרצה להשתמש ב-ChatGPT עבור הנחיות להנדסת תוכנה.

לפני עלייתם של הצ’אטבוטים מבוססי בינה מלאכותית, Stack Overflow היה המקור המועדף עבור מתכנתים שזקוקים לייעוץ עבור הפרויקטים שלהם, עם מודל שאלות ותשובות דומה לזה של ChatGPT.

מעניין: כיצד לחסום את הסורק החדש של OpenAI מלחדור לנתונים שלכם

עם זאת, עם Stack Overflow, אתם צריכים לחכות שמישהו יענה על השאלה שלכם בעוד שעם ChatGPT, אתם לא.

כתוצאה מכך, מהנדסי תוכנה ומתכנתים רבים פנו ל-ChatGPT בשאלותיהם. מכיוון שלא היו נתונים המראים עד כמה ChatGPT יעיל במתן מענה לסוגים אלה של הנחיות, מחקר חדש של אוניברסיטת Purdue חקר את הדילמה.

כדי לגלות עד כמה יעיל ChatGPT במתן מענה להנחיות מהנדסי תוכנה, החוקרים סיפקו 512 שאלות ל-ChatGPT שנלקחו מ- Stack Overflow ובחנו את הדיוק והאיכות של התשובות הללו.

התוצאות הראו שמתוך השאלות, 259 (52%) מהתשובות של ChatGPT היו שגויות ורק 248 (48%) היו נכונות. יתרה מכך, 77% מהתשובות היו בכלל מילוליות.

למרות חוסר הדיוק המשמעותי של התשובות, התוצאות אכן הראו שהתשובות היו מקיפות ב-65% מהמקרים והתייחסו לכל היבטי השאלה.

כדי לנתח עוד יותר את איכות התגובות של ChatGPT, החוקרים ביקשו מ-12 משתתפים עם רמות שונות של מומחיות בתכנות לתת את התובנות שלהם לגבי התשובות.

למרות שהמשתתפים העדיפו את התגובות של Stack Overflow על פני ChatGPT בקטגוריות שונות, כפי שניתן לראות מהגרף, המשתתפים לא הצליחו לזהות נכון תשובות שגויות שנוצרו באמצעות ChatGPT ב-39.34% מהמקרים.

גרף מהמחקר של Purdue University

על פי המחקר, התגובות המנוסחות היטב של ChatGPT גרמו למשתמשים להתעלם ממידע שגוי בתשובות.

“המשתמשים מתעלמים ממידע שגוי בתשובות ChatGPT (39.34% מהמקרים) בגלל התובנות המקיפות, המנוסחות והאנושיות בתשובות ChatGPT”, כתבו המחברים.

מסקנה

יצירת תשובות שגויות שנשמעות סבירות היא בעיה משמעותית בכל הצ’אטבוטים מכיוון שהיא מאפשרת הפצת מידע מוטעה. בנוסף לסיכון הזה, ציוני הדיוק הנמוכים אמורים להספיק כדי לגרום לך לשקול מחדש את השימוש ב-ChatGPT עבור סוגים אלה של הנחיות.

גילוי נאות:

תוכן המאמר נכתב לאחר מאמץ ומחקר על מנת לספק את התוכן האמין ביותר שניתן. כמו כן התוכן מתייחס למידע שקיים בעת שעודכן לאחרונה בתאריך: 21/09/2023, ולכן עשויים להיות שינויים ואי התאמות שחלו מאז.
כמו כן, כל המאמרים המסקרים מוצרים או שירותים כלשהם הינם מוצרים שרכשתי והתנסתי בהם בעצמי. בחלק מהמקרים אני אקשר לאתרי המוצרים באמצעות קישור שיתופי (Affiliate), שיתוף פעולה זה מאפשר לי לעיתים לספק לכם הגולשים הטבות מיוחדות ובתמורה אני מתוגמל באופן חלקי ואינו משפיע על העלות הסופית.
תודה על שיתוף הפעולה. ומקווה שהפקתם את המיטב מקריאה זו.

הגדילו את התנועה האורגנית שלכם עם SurferSEO
Jasper ai - ניסיון חינם

אולי יעניין אותך לקרוא…

השקעות בבינה מלאכותית עשויות להגיע ל-200 מיליארד דולר ברחבי העולם עד 2025: גולדמן סאקס

השקעות בבינה מלאכותית עשויות להגיע ל-200 מיליארד דולר ברחבי העולם עד 2025: גולדמן סאקס

לצמיחת הבינה המלאכותית יכולה להיות השפעה גדולה יותר מאשר גילוי החשמל או חדירת המחשבים האישיים לבתים פרטיים. ההשקעה העולמית בבינה…
המשך קריאה השקעות בבינה מלאכותית עשויות להגיע ל-200 מיליארד דולר ברחבי העולם עד 2025: גולדמן סאקס
שיר שנוצר על יד AI המחקה את Drake נשלח לגראמי: רגע מהותי למוזיקה ולבינה המלאכותית

שיר שנוצר על יד AI המחקה את Drake נשלח לגראמי: רגע מהותי למוזיקה ולבינה המלאכותית

תעשיית המוזיקה עומדת בפני מהפכה לאחר שיוצר אנונימי הגיש לגראמי שיר שנוצר על ידי בינה מלאכותית. השיר משתמש בבינה מלאכותית…
המשך קריאה שיר שנוצר על יד AI המחקה את Drake נשלח לגראמי: רגע מהותי למוזיקה ולבינה המלאכותית