الذكاء الاصطناعي الإنتاجي هو مشكلة تقييم.

تقضي الفِرَق أشهرها الثلاثة الأولى على السؤال الخاطئ. فهي تقيس أداء النماذج، وتتجادل حول أعداد المعاملات، وتُجري مقارنات الأداء — ثم تطلق المنتج داخل سير عمل لم يُجهّزه أحد بأدوات القياس. كان اختيار النموذج هو القرار السهل. أما القرار الصعب فهو كيف ستعرف، كل أسبوع من الآن فصاعدًا، أن النظام ما زال يفعل ما وعدتَ به.

الذكاء الاصطناعي في الإنتاج هو مشكلة تقييم في ثوب نمذجة. ففي اللحظة التي يواجه فيها النظام مدخلات حقيقية ومستخدمين حقيقيين وعواقب حقيقية، تتوقف جودته عن كونها خاصية للنموذج وتصبح خاصية لمدى صرامتك في قياسها.

لماذا يكذب عليك معيار قياس الإطلاق

رقم دقة واحد عند الإطلاق يصف لحظة لن تتكرر أبدًا. فالمدخلات تنحرف، والمستخدمون يتكيّفون، وبيانات المنبع تتغيّر في شكلها. والمعيار الذي احتفلتَ به في الأسبوع الأول يصبح، بحلول الشهر السادس، أثرًا تاريخيًا لا صلة له بما يفعله النظام فعليًا.

التقييم المستمر يعني إطارًا يعمل عند كل تغيير في النموذج أو الموجّه أو البيانات أو سير العمل — وينبّه بصوت عالٍ عندما تتحرك الجودة. إنها بنية تحتية لا بريق لها، وهي أعلى الأشياء أثرًا التي لا تبنيها معظم البرامج.

يحتاج الإطار إلى ثلاث خصائص: أن يكون ممثِّلًا لحركة المرور الحقيقية، وحساسًا بما يكفي لرصد الانحدارات قبل أن يلاحظها المستخدمون، ورخيصًا بما يكفي لتشغيله باستمرار. اضبط هذه الخصائص جيدًا فيتوقف التقييم عن كونه بوابة تخشاها ويصبح إشارة تعتمد عليها.

المجموعات الذهبية وحدها لا تكفي

مجموعة اختبار مجمَّدة تتعفّن. التقييم الحقيقي يقرن مجموعة ذهبية منتقاة بعيّنة حيّة من حركة مرور الإنتاج، تُقيَّم باستمرار، بحيث يتتبّع الإطار التوزيع الذي يواجهه النظام فعليًا بدلًا من الذي واجهه عند الإطلاق.

من المغري قراءة كل هذا بوصفه عبئًا — مزيدًا من البنية التحتية، ومزيدًا من البوابات، ومزيدًا من الاحتكاك. والحقيقة عكس ذلك. فالفريق الذي يملك إطارًا جديرًا بالثقة يطلق المنتجات أسرع، لأنه يستطيع تغيير الأشياء دون خوف. الإطار يرصد ما يتعطّل، فيكون الفريق حرًّا في التحرك.

المؤسسات التي تنتصر بالذكاء الاصطناعي ليست تلك التي تملك أفضل نموذج. بل تلك القادرة على أن تثبت، في أي يوم، أن نظامها ما زال يعمل — والقادرة من ثَمَّ على الاستمرار في تغييره دون أن تطير وهي عمياء.