ייתכן שתרצו בינתיים לדבוק ב-Stack Overflow או מהנדס תוכנה מוסמך לפתרון בעיות חשובות.
היכולת של ChatGPT לספק תשובות מבוססות שיחה לכל שאלה בכל עת הופכת את הצ'אט בוט למשאב שימושי לצרכי המידע שלכם. למרות הנוחות, מחקר חדש מגלה שאולי לא תרצה להשתמש ב-ChatGPT עבור הנחיות להנדסת תוכנה.
לפני עלייתם של הצ'אטבוטים מבוססי בינה מלאכותית, Stack Overflow היה המקור המועדף עבור מתכנתים שזקוקים לייעוץ עבור הפרויקטים שלהם, עם מודל שאלות ותשובות דומה לזה של ChatGPT.
מעניין: כיצד לחסום את הסורק החדש של OpenAI מלחדור לנתונים שלכם
עם זאת, עם Stack Overflow, אתם צריכים לחכות שמישהו יענה על השאלה שלכם בעוד שעם ChatGPT, אתם לא.
כתוצאה מכך, מהנדסי תוכנה ומתכנתים רבים פנו ל-ChatGPT בשאלותיהם. מכיוון שלא היו נתונים המראים עד כמה ChatGPT יעיל במתן מענה לסוגים אלה של הנחיות, מחקר חדש של אוניברסיטת Purdue חקר את הדילמה.
כדי לגלות עד כמה יעיל ChatGPT במתן מענה להנחיות מהנדסי תוכנה, החוקרים סיפקו 512 שאלות ל-ChatGPT שנלקחו מ- Stack Overflow ובחנו את הדיוק והאיכות של התשובות הללו.
התוצאות הראו שמתוך השאלות, 259 (52%) מהתשובות של ChatGPT היו שגויות ורק 248 (48%) היו נכונות. יתרה מכך, 77% מהתשובות היו בכלל מילוליות.
למרות חוסר הדיוק המשמעותי של התשובות, התוצאות אכן הראו שהתשובות היו מקיפות ב-65% מהמקרים והתייחסו לכל היבטי השאלה.
כדי לנתח עוד יותר את איכות התגובות של ChatGPT, החוקרים ביקשו מ-12 משתתפים עם רמות שונות של מומחיות בתכנות לתת את התובנות שלהם לגבי התשובות.
למרות שהמשתתפים העדיפו את התגובות של Stack Overflow על פני ChatGPT בקטגוריות שונות, כפי שניתן לראות מהגרף, המשתתפים לא הצליחו לזהות נכון תשובות שגויות שנוצרו באמצעות ChatGPT ב-39.34% מהמקרים.
על פי המחקר, התגובות המנוסחות היטב של ChatGPT גרמו למשתמשים להתעלם ממידע שגוי בתשובות.
"המשתמשים מתעלמים ממידע שגוי בתשובות ChatGPT (39.34% מהמקרים) בגלל התובנות המקיפות, המנוסחות והאנושיות בתשובות ChatGPT", כתבו המחברים.
מסקנה
יצירת תשובות שגויות שנשמעות סבירות היא בעיה משמעותית בכל הצ'אטבוטים מכיוון שהיא מאפשרת הפצת מידע מוטעה. בנוסף לסיכון הזה, ציוני הדיוק הנמוכים אמורים להספיק כדי לגרום לך לשקול מחדש את השימוש ב-ChatGPT עבור סוגים אלה של הנחיות.
