آن لائن، 4 نومبر 2026 (ویب ڈیسک): تحقیقی ادارے سیمی اینالیسس (SemiAnalysis) نے اے آئی ایجنٹوں کی صلاحیت جانچنے والا نیا بینچ مارک (Benchmark) جی ڈی پی ایکس (GDPx) جاری کر دیا ہے، اور اس کے نتائج بڑے بڑے دعووں سے بہت مختلف نکلے ہیں۔ اس امتحان میں بہترین ماڈل نے صرف 12 فیصد اسکور کیا ہے، یعنی ہر آٹھ ماہرانہ کاموں میں سے سات پر بہترین ماڈل بھی طے شدہ معیار پر پورا نہ اتر سکا۔
سیمی اینالیسس نے یہ بینچ مارک 2 نومبر 2026 کو جاری کیا تھا۔ اس کا مقصد یہ جانچنا ہے کہ اے آئی ایجنٹ حقیقی پیشہ ورانہ کاموں میں کتنے کارآمد ہیں، نہ کہ صرف یہ کہ وہ مختصر سوالوں کے جواب کتنے درست دیتے ہیں۔ اسی لیے اسے اس سال کی اہم ترین پیمائشوں میں شمار کیا جا رہا ہے۔
جی ڈی پی ایکس کیا جانچتا ہے
جی ڈی پی ایکس میں 206 کام شامل ہیں جو 11 شعبوں میں بٹے ہوئے ہیں۔ ان شعبوں میں چپ ڈیزائن، سائبر سیکیورٹی، حیاتیات، مالیات، قانون، مقداری تجارت، خود کو بہتر بنانے والی تحقیق، ہارڈویئر ڈیزائن، مادی سائنس، ہم آہنگی اور سافٹ ویئر انجینئرنگ شامل ہیں۔ ان کاموں کو 14 ماہر اداروں نے تیار کیا ہے۔ سب سے زیادہ کام چپ ڈیزائن کے ہیں، جن کی تعداد 34 ہے۔ اس کے بعد مالیات کے 24 اور مادی سائنس کے 23 کام آتے ہیں۔
طریقہ کار بھی عام امتحانوں سے مختلف ہے۔ ہر کام کے لیے ماڈل کو آٹھ گھنٹے تک کا وقت دیا جاتا ہے اور اسے حقیقی کام کے ماحول میں رکھا جاتا ہے۔ وہاں اسے خود سیاق و سباق تلاش کرنا ہوتا ہے اور نتیجہ طے شدہ جانچ پر پورا اتارنا ہوتا ہے۔ ہر کام تین بار آزمایا جاتا ہے اور تینوں کوششوں کی اوسط کامیابی ہی اسکور بنتی ہے۔ جہاں ممکن ہوا، نمبر یا تو پورے ملے یا صفر، یعنی ادھورا مسودہ قابل قبول نہیں تھا۔ یہی سختی اس بینچ مارک کی اصل خبر ہے۔ سیمی اینالیسس نے اپنے اعلان میں یہ نتیجہ ایک جملے میں سمیٹا ہے:
بہترین ماڈل بھی صرف 12 فیصد اسکور کر سکا۔
درجہ بندی میں کون کہاں کھڑا ہے
جاری کی گئی درجہ بندی میں 20 میں سے 13 ماڈلوں کے اسکور دکھائے گئے ہیں۔ پہلے نمبر پر اینتھروپک (Anthropic) کا کلاڈ اوپس 5.5 (Claude Opus 5.5) ہے جس نے 12.0 فیصد اسکور کیا۔ دوسرے نمبر پر گوگل (Google) کا جیمنائی 4 کاربن (Gemini 4 Carbon) ہے جس کا اسکور 10.9 فیصد رہا۔ تیسرے نمبر پر اوپن اے آئی (OpenAI) کا جی پی ٹی 6 ایسٹرا (GPT-6 Astra) 9.6 فیصد کے ساتھ ہے، اور چوتھے نمبر پر میٹا (Meta) کا میوز ونڈر فل (Muse Wonder Full) 9.0 فیصد کے ساتھ کھڑا ہے۔
اس کے بعد کلاڈ فیبل 5.1 (Claude Fable 5.1) نے 8.5 فیصد اور جی پی ٹی 6.1 سول (GPT-6.1 Sol) نے 8.3 فیصد اسکور کیا۔ نچلے درجوں میں گروک 4.7 (Grok 4.7) 3.9 فیصد اور زیڈ ڈاٹ اے آئی (Z.ai) کا جی ایل ایم 5.3 (GLM 5.3) 2.7 فیصد پر رہے۔ واضح رہے کہ جیمنائی 4 کاربن تاحال عام صارفین کے لیے دستیاب نہیں ہے۔
قیمت کا پہلو بھی اتنا ہی دل چسپ ہے۔ سیمی اینالیسس کی جدول کے مطابق کلاڈ اوپس 5.5 پر ہر کام کی اوسط لاگت 51.41 ڈالر رہی، جب کہ جیمنائی 4 کاربن پر یہ لاگت صرف 16.29 ڈالر تھی۔ یعنی کاربن نے اوپس کے اسکور کا تقریباً 91 فیصد صرف ایک تہائی لاگت میں حاصل کر لیا۔ دوسری جانب ڈیپ سیک (DeepSeek) کا ڈیپ سیک 4.1 فلیش (DeepSeek 4.1 Flash) 5.4 فیصد اسکور کے ساتھ صرف 0.94 ڈالر فی کام کی لاگت پر چلا، اور جی پی ٹی 6 لونا (GPT-6 Luna) پر 5.1 فیصد اسکور کے ساتھ ہر کام پر 0.92 ڈالر لاگت آئی۔ سب سے مہنگا کلاڈ فیبل 5.1 رہا جس پر ہر کام کی لاگت 67.16 ڈالر آئی۔ اس فرق سے صاف نتیجہ نکلتا ہے کہ سب سے زیادہ اسکور والا ماڈل ہر کام کے لیے بہترین انتخاب نہیں ہے، کیوں کہ روزانہ سینکڑوں کام کرانے والی کمپنی کے لیے فی کام لاگت بھی اتنی ہی اہم ہے۔
مالیات اور قانون میں صفر کیوں
سب سے نمایاں نتیجہ مالیات اور قانون کے شعبوں میں سامنے آیا ہے، جہاں سخت جانچ کے تحت تقریباً ہر ماڈل کا اسکور صفر رہا۔ سیمی اینالیسس کے مطابق اس کے مالیات اور قانون کے کام اس قدر مشکل ہیں کہ بنیادی طور پر کوئی بھی ماڈل انھیں طے شدہ معیار پر پورا نہ کر سکا۔
تاہم اس تصویر کا ایک دوسرا رخ بھی ہے جسے سیمی اینالیسس نے خود واضح کیا ہے۔ اس کے مطابق بعض ماڈلوں کے حفاظتی نظاموں کی وجہ سے سائبر سیکیورٹی، حیاتیات اور ہم آہنگی کے شعبوں میں ان کے اسکور کم رہے ہیں۔ جب ان تین شعبوں کو حساب سے نکال دیا گیا تو جی پی ٹی 6 ایسٹرا 11.8 فیصد کے ساتھ پہلے نمبر پر آ گیا اور کلاڈ اوپس 5.5 کا اسکور 11.7 فیصد رہا۔ اسی لیے ماہرین اس بینچ مارک کو ایک ہی نمبر سے نہیں، بلکہ شعبہ بہ شعبہ پڑھنے کا مشورہ دے رہے ہیں۔
یہ امتحان پرانے امتحانوں سے کیسے مختلف ہے
سیمی اینالیسس جی ڈی پی ایکس کو اوپن اے آئی کے جی ڈی پی ویل (GDPval) کا جانشین قرار دیتا ہے، جو 25 ستمبر 2025 کو جاری ہوا تھا اور اب تک نئے ماڈلوں کے تعارفی کارڈز پر سب سے زیادہ حوالہ دیا جانے والا عام بینچ مارک تھا۔ سیمی اینالیسس کا کہنا ہے کہ جی ڈی پی ویل میں ماڈل کو سارا سیاق و سباق سوال میں ہی دے دیا جاتا تھا، جب کہ جی ڈی پی ایکس میں ایجنٹ کو حقیقی ماحول میں کام کرنا ہوتا ہے اور معلومات خود تلاش کرنی ہوتی ہیں۔ آٹھ گھنٹے کے حقیقی کام میں منصوبہ بندی، اوزاروں کا استعمال، غلطیوں کی اصلاح اور طویل توجہ بھی درکار ہوتی ہے، اور یہی وجہ ہے کہ اس کے اسکور اتنے کم ہیں۔
تاہم یہ بھی واضح رہے کہ یہ نتائج سیمی اینالیسس کے اپنے ہیں اور ان کی آزادانہ تصدیق تاحال نہیں ہوئی ہے۔ زیادہ تر کام نجی ہیں، اس لیے باہر کے ادارے انھیں مکمل طور پر دہرا نہیں سکتے، اور 20 میں سے سات ماڈلوں کے اسکور ابھی جاری نہیں ہوئے ہیں۔
پاکستانی صارفین اور سافٹ ویئر صنعت کے لیے مطلب
پاکستان کے سافٹ ویئر ہاؤسز، فری لانسرز اور طلبہ کے لیے اس خبر کا عملی مطلب یہ ہے کہ اے آئی ایجنٹ کو کسی کام پر لگانے سے پہلے اس کام کی نوعیت کو سمجھنا ضروری ہے۔ معمول کے مسودے، خلاصے اور کوڈ کی مدد جیسے کاموں میں ماڈل پہلے ہی کارآمد ہیں، لیکن آٹھ گھنٹے کے ماہرانہ کام، مالیاتی حساب یا قانونی مسودہ ابھی انسان کی نگرانی کے بغیر نہیں چھوڑا جا سکتا۔
دوسری جانب لاگت کی جدول پاکستانی کاروباروں کی رہنمائی بھی کرتی ہے۔ چھوٹے کاموں کے لیے سستے ماڈل فی کام ایک ڈالر سے بھی کم میں چلتے ہیں، جب کہ مشکل کاموں کے لیے مہنگے ماڈل کی ضرورت پڑ سکتی ہے۔ اس کا مطلب ہے کہ اے آئی کا خرچ اسکور دیکھ کر نہیں، بلکہ کام کی نوعیت اور حجم دیکھ کر طے ہونا چاہیے۔ طلبہ کے لیے سبق یہ ہے کہ جس مہارت کی مانگ بڑھے گی، وہ یہ ہے کہ انسان اے آئی ایجنٹ کو کام سونپے، اس کے نتیجے کو جانچے اور غلطی پکڑے۔ جی ڈی پی ایکس کے کم اسکور یہی بتاتے ہیں کہ یہ نگرانی اور جانچ پڑتال کی مہارت آنے والے برسوں میں سب سے قیمتی ہوگی۔
مجموعی طور پر اب سوال یہ نہیں رہا کہ کون سا ماڈل سب سے زیادہ ذہین ہے، بلکہ یہ کہ کون سا ماڈل اصل کام، اصل وقت اور اصل لاگت میں کتنا پورا اترتا ہے۔ سیمی اینالیسس نے اعلان کیا ہے کہ وہ اس بینچ مارک کو ہر تین سے چھ ماہ بعد تازہ کرے گا، اور باقی سات ماڈلوں کے اسکور بھی آئندہ جاری کیے جائیں گے۔
