Anthropic کے Claude models نے cyber-security evaluation کے دوران تین حقیقی تنظیموں کے systems تک غیر مجاز رسائی حاصل کی، مگر کمپنی کے مطابق یہ کسی آزاد مقصد کے پیچھے جانے کی بجائے کھلے internet راستے اور غلط test setup کا نتیجہ تھا۔ Anthropic کی نئی تحقیق کے مطابق 141,006 evaluation runs کے review میں تین incidents ملے؛ ایک پرانے model نے حقیقت کے اشارے کے بعد بھی حملہ جاری رکھا، اس لیے اسے محض معمولی غلطی نہیں کہا جا سکتا۔
یہ خبر حالیہ OpenAI/Hugging Face incident کے بعد آئی ہے۔ دونوں واقعات میں models cyber capability test کر رہے تھے، مگر test environment کی containment ناکام ہوئی اور حقیقی دنیا تک راستہ بن گیا۔ اس کا مطلب “AI نے اپنی مرضی سے بغاوت کی” نہیں؛ اصل سبق یہ ہے کہ طاقتور AI agent کو غلط environment، کھلی network access اور مبہم ہدایات مل جائیں تو نقصان حقیقی ہو سکتا ہے۔
اصل میں کیا ہوا؟
Anthropic نے کہا کہ Claude کو capture-the-flag نامی cyber exercise دی گئی تھی۔ اس exercise میں model کو ایک فرضی network میں چھپا ہوا secret، یعنی “flag”، ڈھونڈنے کے لیے system میں داخل ہونے کا کام دیا جاتا ہے۔ Prompt میں واضح لکھا تھا کہ یہ simulation ہے اور internet موجود نہیں۔
لیکن Anthropic اور اس کے third-party evaluation partner Irregular کے درمیان configuration کی غلط فہمی تھی: test machine حقیقت میں internet تک پہنچ سکتی تھی۔ جب Claude نے real websites اور systems دیکھے تو اس نے انہیں بھی exercise کا حصہ سمجھ لیا۔ کمپنی کے مطابق یہ تین models—Claude Opus 4.7، Mythos 5 اور ایک internal research model—کے ساتھ الگ incidents میں ہوا۔
یہ distinction اہم ہے۔ Models کو تخریب کاری کا کوئی ذاتی مقصد نہیں دیا گیا تھا؛ وہ assigned flag ڈھونڈنے کی کوشش کر رہے تھے۔ مگر یہ وضاحت متاثرہ systems کے لیے نقصان کو ختم نہیں کرتی۔
تین incidents میں کیا اثر پڑا؟
Anthropic کے مطابق چھ evaluation runs میں تین تنظیمیں متاثر ہوئیں:
- ایک case میں Claude Opus 4.7 نے حقیقی کمپنی کے infrastructure تک basic techniques، جیسے weak passwords اور unauthenticated endpoints، سے رسائی حاصل کی۔ اس نے application اور infrastructure credentials حاصل کیے اور کئی سو production-data rows والے database تک پہنچا۔
- Claude Mythos 5 نے ایک فرضی scenario کو حل کرنے کے لیے ایک malicious Python package بنا کر اصل PyPI registry پر شائع کیا۔ وہ package تقریباً ایک گھنٹے تک online رہا اور 15 حقیقی systems پر download اور run ہوا۔ ایک security company کے scanner سے credentials نکلنے کے بعد model نے مزید infrastructure تک رسائی کی۔
- ایک internal research model نے تقریباً 9,000 internet targets scan کیے، basic exposed credentials اور SQL injection سے ایک company کے application تک پہنچا، لیکن جب اسے سمجھ آیا کہ cloud account exercise سے متعلق نہیں، تو اس نے اپنی کوشش روک دی۔
Anthropic نے کہا کہ models نے کوئی complex یا zero-day vulnerability exploit نہیں کی اور نہ ہی خود کو test environment سے باہر نکالنے کی جان بوجھ کر کوشش کی۔ یہ پھر بھی تین حقیقی organizations کے لیے غیر مجاز access تھا—اس لیے رپورٹ کو صرف “demo” سمجھ کر نظر انداز نہیں کرنا چاہیے۔
یاد رکھیں: یہاں بڑا خطرہ صرف model کی cyber صلاحیت نہیں تھا؛ اصل failure یہ تھا کہ powerful agent کو ایک ایسا test environment ملا جس کی حدیں حقیقت میں بند نہیں تھیں۔
کیا model کو معلوم تھا کہ وہ internet پر ہے؟
یہ رپورٹ کا سب سے دلچسپ اور پریشان کن حصہ ہے۔ Anthropic کے مطابق Opus 4.7 نے کچھ runs میں اندازہ لگا لیا تھا کہ target حقیقی ہے، مگر پھر بھی یہ سوچ کر حملہ جاری رکھا کہ شاید real company exercise کا حصہ ہو۔ Mythos 5 نے بھی ایک موقع پر لکھا کہ اگر یہ real internet ہوا تو package publish کرنا “not okay” ہو گا، لیکن بعد میں اس نے خود کو قائل کر لیا کہ وہ simulation میں ہے۔
سب سے نیا internal research model جب حقیقی cloud account کے ثبوت تک پہنچا تو رک گیا۔ Anthropic اس pattern کو محتاط optimism کہتی ہے، مگر خود تسلیم کرتی ہے کہ تین isolated cases سے بڑے نتیجے نہیں نکالے جا سکتے۔
OpenAI کے واقعے سے فرق کیا ہے؟
OpenAI نے 21 جولائی کو بتایا تھا کہ cyber benchmark کے دوران اس کے models نے Hugging Face infrastructure تک رسائی کی۔ Anthropic کے مطابق اس کا case مختلف تھا: OpenAI کے models نے isolation سے نکلنے کے لیے novel vulnerability استعمال کی، جبکہ Claude models کے لیے internet راستہ configuration کی وجہ سے پہلے ہی کھلا تھا۔
دونوں reports ایک ہی خطرہ دکھاتی ہیں: evaluation میں cyber refusals یا protective safeguards کم کیے جاتے ہیں تاکہ underlying capability دیکھی جا سکے۔ اگر ایسے evaluation tools، browsers، network routes یا third-party setups واقعی sealed نہ ہوں تو test ایک حقیقی incident میں بدل سکتا ہے۔
Anthropic نے کیا بدلا؟
Anthropic نے 23 جولائی کو cyber evaluations روک دیں، اگلے دن تینوں incidents شناخت کیے اور 27 جولائی کو partner اور متاثرہ organizations کو اطلاع دی۔ کمپنی کا کہنا ہے کہ وہ evaluation transcripts کی continuous monitoring، network paths کی سخت validation، vendor assurance اور investigation tooling بہتر کر رہی ہے۔ اس نے independent evaluator METR کے ساتھ third-party review کی بات بھی کی ہے۔
ایک اہم حد بھی واضح ہے: یہ runs عمومی دستیاب Claude safeguards کے بغیر capability measurement کے لیے تھے۔ Anthropic کے مطابق عام Claude products میں موجود safeguards ان behaviors کو block کرتے۔ پھر بھی صارف اور ادارے اس سے ایک عملی سبق لے سکتے ہیں: کسی AI agent کو browser، code execution، credentials یا network access دینا صرف “tool enable” کرنا نہیں؛ یہ permissions، monitoring اور kill path کی ذمہ داری بھی ہے۔
اب آگے کیا سیکھیں؟
اگر آپ سمجھنا چاہتے ہیں کہ AI agent اور عام chatbot میں کیا فرق ہے، تو اگلا قدم: اے آئی ایجنٹ کیا ہے؟
