آن لائن، 24 اکتوبر 2026 (ویب ڈیسک): کوڈنگ ایجنٹس کے مہنگے ہارنس کے بارے میں ایک نئی تحقیق کا نتیجہ توقع کے برعکس نکلا ہے۔ محققین نے جب ایک ہی ماڈل کو مختلف ہارنس پر آزمایا تو بھاری ترین اور ہلکے ترین ہارنس کے نتائج تقریبا برابر نکلے، مگر ایک ہی کام کی لاگت تین گنا تک بڑھ گئی۔ اس کا مطلب ہے کہ زیادہ خرچ کرنے والا صارف بہتر جواب نہیں خرید رہا، صرف زیادہ بل ادا کر رہا ہے۔
یہ تحقیق یانگزے لیو اور ژونگی ہان نے کی ہے، اور یہ مقالہ arXiv پر بطور پری پرنٹ شائع ہوا ہے۔ اس میں کوڈنگ ایجنٹ کے اس حصے کو جانچا گیا ہے جسے عام صارف کم ہی دیکھتا ہے، مگر جو ہر کام کی قیمت طے کرتا ہے۔
تحقیق نے کیا جانچا
کوڈنگ ایجنٹ دراصل ایک لینگویج ماڈل اور اس کے گرد لپٹا ہوا نظام ہوتا ہے۔ اس نظام کو ہارنس (Harness) کہتے ہیں، یعنی وہ سسٹم پرامپٹ (System Prompt)، ٹولز اور سیاق و سباق کی ترتیب جو چیٹ ماڈل کو کسی سافٹ ویئر منصوبے کے اندر کام کرنے کے قابل بناتی ہے۔ محققین نے پانچ ماڈلز کو تین مشہور ہارنس، Claude Code، OpenCode اور mini-SWE-agent پر چلایا۔ آزمائے گئے ماڈلز میں Qwen3.6، Qwen3.8، DeepSeek-V4-Flash، GLM-5.3-Flash اور HY4-Preview شامل تھے، جب کہ Claude Opus 5 کو صرف حوالے کے طور پر Claude Code میں چلایا گیا۔
جانچ کے لیے کوڈنگ کی معیاری آزمائش (SWE-bench Verified) استعمال کی گئی۔ اس میں سے 45 مشکل ترین ٹاسکس الگ کیے گئے اور 447 ٹاسکس کا ایک بڑا مجموعہ بھی بنایا گیا، جس پر صرف دونوں Qwen ماڈلز آزمائے گئے۔ کئی سیٹ اپ دو بار چلائے گئے تاکہ یہ معلوم ہو سکے کہ کچھ بھی بدلے بغیر صرف دوبارہ چلانے سے نتیجہ کتنا بدلتا ہے۔
تحقیق کا ایک دل چسپ پہلو یہ بھی ہے کہ ابتدائی تجربات میں انٹرنیٹ کھلا رکھا گیا تو DeepSeek اور Qwen ماڈلز کی 71 فیصد کوششوں میں درست حل براہ راست گٹ ہب سے اٹھا لیا گیا، یعنی ماڈل نے مسئلہ خود حل کرنے کے بجائے تیار جواب ڈھونڈ لیا۔ محققین نے ان نتائج کو مسترد کر دیا اور باقی تمام تجربات آف لائن کیے۔ انھوں نے یہ دعوٰی نہیں کیا کہ کسی کمپنی نے ماڈل کو جانچ کے ڈیٹا پر تربیت دی تھی۔
ہارنس بدلنے سے نتیجہ کیوں نہیں بدلا
بڑے مجموعے پر بھاری ترین ہارنس Claude Code اور ہلکے ترین ہارنس mini-SWE-agent کے درمیان فرق دو پوائنٹس سے کم رہا۔ محققین کے مطابق پانچ پوائنٹس کے دائرے میں یہ دونوں نظام شماریاتی لحاظ سے برابر ہیں۔ مشکل 45 ٹاسکس پر ہارنس بدلنے سے فی ماڈل صرف دو سے پانچ ٹاسکس کا فرق پڑا، جب کہ وہی سیٹ اپ دوبارہ چلانے سے بھی تین ٹاسکس تک کا فرق آ گیا۔ یعنی ہارنس بدلنا اور دوبارہ چلانا، دونوں نے تقریبا ایک جیسا اتار چڑھاؤ دکھایا۔
اعداد اس بات کو اور واضح کرتے ہیں۔ ہارنس بدلنے پر 13 فیصد ٹاسکس کا نتیجہ الٹ گیا، اور وہی ہارنس دوبارہ چلانے پر بھی 13 فیصد ٹاسکس کا نتیجہ الٹا۔ اس کے مقابلے میں ماڈل بدلنے پر 22 فیصد ٹاسکس کا نتیجہ بدلا۔ محققین نے لکھا ہے کہ ہارنس کا فرق تازہ قرعہ اندازی جیسا ہے، یعنی جس ٹاسک پر ایک ہارنس ایک بار جیتتا ہے، ضروری نہیں کہ اگلی بار بھی وہی جیتے۔
چھوٹے نمونوں کی ایک کمزوری بھی سامنے آئی۔ صرف 45 ٹاسکس پر 13 پوائنٹس کا فرق بھی صرف آدھی بار پکڑا جا سکا، جب کہ 447 ٹاسکس پر پانچ پوائنٹس کا فرق قابل اعتماد طریقے سے نظر آیا۔ اس پیمانے پر Zhipu کا یہ دعوٰی کہ اس کا ہارنس Claude Code سے 2.4 پوائنٹس آگے ہے، شور کی حد کے اندر آتا ہے۔ کمپنیاں اکثر اپنے ہارنس کی تبدیلی سے کامیابی کی شرح میں اضافے کا اشتہار دیتی ہیں، اور لیڈر بورڈز بھی مختلف ہارنس کو ایک ساتھ ملا کر درجہ بندی کرتے ہیں، مگر یہ تحقیق بتاتی ہے کہ ایسے موازنے بغیر دوبارہ چلانے کے اعداد کے زیادہ قابل اعتماد نہیں۔
ہارنس آپ کو کام میں ناکامی کے کم راستے اور ایک بل دیتا ہے، کامیابی کی شرح نہیں۔
محققین نے اپنی تحقیق کے اختتام پر یہ نتیجہ اخذ کیا ہے۔
بل تین گنا کیسے ہو جاتا ہے
اصل فرق قیمت میں نکلا۔ ایک ہی ماڈل اور ایک ہی قیمت کی فہرست کے باوجود ایک ٹاسک کی لاگت ہارنس کے لحاظ سے تین گنا تک مختلف رہی، کیوں کہ لمبی ہدایات ہر قدم پر دوبارہ بھیجی جاتی ہیں۔ Claude Code کا سسٹم پرامپٹ اور ٹولز کی تفصیل تقریبا 16,600 ٹوکنز کی بنتی ہے، OpenCode کی تقریبا 7,000 ٹوکنز کی، اور mini-SWE-agent کی 1,000 سے کم ٹوکنز کی۔ ہر قدم پر یہ ہدایات دوبارہ بھیجنے سے پہلی کال ہی بل کی بنیاد طے کر دیتی ہے، اور قدموں کی تعداد اس فرق کو کئی گنا کر دیتی ہے۔
مثال کے طور پر GLM-5.3-Flash کے ساتھ Claude Code میں ایک ٹرائل کی لاگت 1.81 یوآن (چین کی کرنسی) آئی، جب کہ OpenCode میں 0.56 یوآن۔ دوسری جانب DeepSeek-V4-Flash کے ساتھ mini-SWE-agent کو اتنے زیادہ قدم اٹھانے پڑے کہ آخر میں اس کی لاگت Claude Code کے تقریبا برابر ہو گئی۔ محققین کے مطابق ٹولز کے جواب کا حجم تینوں ہارنس میں تقریبا ایک جیسا رہا، اس لیے بل کا اصل فیصلہ پہلی کال پر ہی ہو جاتا ہے۔
ایک استثنا سوچنے کی صلاحیت یعنی تھنکنگ میں نظر آیا۔ تھنکنگ کے بغیر mini-SWE-agent کے ساتھ Qwen3.6 کی کارکردگی 11 پوائنٹس گر گئی، جب کہ Claude Code اور OpenCode میں تبدیلی شور کی حد کے اندر رہی۔ اسی طرح HY4-Preview بھی Claude Code میں تھنکنگ کے بغیر 11 پوائنٹس کھو بیٹھا۔
اوپن کوڈ باقیوں سے کیوں پیچھے رہا
واحد واضح ہارنس اثر نقصان کی صورت میں سامنے آیا۔ بڑے مجموعے پر OpenCode باقی دو ہارنس سے 9 پوائنٹس تک پیچھے رہا۔ اس فرق کا تقریبا آدھا حصہ اس حد سے نکلا جو ماڈل کے ایک قدم میں لکھے گئے جواب پر لگتی ہے۔ جب ماڈل اس حد سے آگے نکل جاتا ہے تو Claude Code اسے جاری رکھنے کا اشارہ دیتا ہے، جب کہ OpenCode وہ قدم وہیں ختم کر دیتا ہے اور کوشش عام طور پر ناکام ہو جاتی ہے۔ Claude Code جیسا اشارہ ڈالنے سے بھی کوئی قابلِ ذکر فائدہ نہیں ہوا۔
باقی فرق کی محققین کے پاس کوئی وضاحت نہیں، صرف یہ مشاہدہ ہے کہ OpenCode میں ماڈل جلد کام چھوڑ دیتے ہیں۔ مقامی طور پر چلائے گئے ماڈلز پر OpenCode کی وقت کی حد بھی Claude Code سے کہیں سخت تھی۔ اس کے علاوہ OpenCode کا سرچ ٹول پہلی بار استعمال پر ایک بائنری فائل ڈاؤن لوڈ کرنے کی کوشش کرتا ہے، اور آف لائن ماحول میں یہ کوشش ناکام ہو جاتی ہے۔ دوسری جانب mini-SWE-agent کو سیاق و سباق کی ترتیب نہ ہونے کی وجہ سے سیاق کی حد کا سامنا کرنا پڑا، مگر زیادہ تر ایسے ٹاسکس پر جہاں باقی ہارنس بھی ناکام ہو رہے تھے۔
پاکستانی ڈویلپرز اور سافٹ ویئر ہاؤسز کے لیے سبق
اس تحقیق کا عملی پیغام پاکستان کے فری لانسرز، سافٹ ویئر ہاؤسز اور طلبہ کے لیے خاصا اہم ہے۔ کوڈنگ ایجنٹ کا انتخاب کرتے وقت صرف اشتہاری کامیابی کی شرح پر بھروسا کرنا مہنگا پڑ سکتا ہے۔ بھاری ہارنس کی قیمت اس کے سسٹم پرامپٹ کے حجم میں چھپی ہوتی ہے، جو ہر قدم پر دوبارہ بھیجی جاتی ہے اور مہینے کے آخر میں بل کو خاموشی سے بڑھا دیتی ہے۔
محققین کی سفارش بھی سیدھی ہے کہ ہارنس کے ہر موازنے کے ساتھ وہی سیٹ اپ دوبارہ چلانے کا نتیجہ بھی شائع کیا جائے۔ اسی سے معلوم ہوگا کہ بتایا گیا فرق اصل بہتری ہے یا محض دوبارہ چلانے کا شور۔ کاروباری لحاظ سے بھی یہ نکتہ اہم ہے، کیوں کہ Nvidia نے حال ہی میں بہتر ایجنٹ رہنمائی کے ذریعے کوڈنگ ایجنٹس کے ٹوکن اخراجات تقریبا آدھے کر دیے ہیں۔ محققین نے اپنا ڈیٹا اور تجزیاتی اسکرپٹس گٹ ہب پر جاری کر دیے ہیں تاکہ دوسری ٹیمیں ان نتائج کو خود جانچ سکیں۔
