توسيع التخزين السحابي الرقمي لمليار مستخدم في ChatGPT

كشفت شركة OpenAI عن تفاصيل تقنية معمقة حول منصة "Habitat"، وهي البنية التحتية للتخزين التي تدعم منتجاتها، وعلى رأسها ChatGPT، لخدمة أكثر من مليار مستخدم حول العالم. وتدير المنصة حالياً ما يزيد عن 500 بيتابايت من البيانات عبر 40 منطقة جغرافية، مع ضمان استجابة سريعة لا تتجاوز أجزاء من الثانية رغم النمو الانفجاري في أعداد المستخدمين.

رحلة التحول من البساطة إلى الضخامة

بدأت منصة Habitat كمجرد مكتبة برمجية بسيطة بلغة بايثون وقاعدة بيانات محدودة، لكنها تطورت لتصبح منصة تخزين عالمية موزعة. وبحسب الشركة، كان التحدي الأكبر يكمن في موازنة المقايضات التقنية؛ حيث ركز الفريق أولاً على جعل المنصة موثوقة بما يكفي لحركة البيانات الحساسة، ثم سريعة بما يكفي للمستخدمين العالميين، وأخيراً قادرة على العمل بكفاءة تحت ضغط هائل.

تعتمد OpenAI بشكل أساسي على قاعدة بيانات Azure Cosmos DB كمكون تخزين أساسي، وقد تطلب الوصول إلى الأداء الحالي تعاوناً وثيقاً مع فريق "أزور" في مايكروسوفت لتطوير نهج "تعدد المستأجرين" (Multi-tenancy). هذا النهج يسمح لعدة خدمات ومنتجات داخل الشركة بمشاركة موارد التخزين نفسها، مما يقلل التكاليف ويسهل إدارة السعة التخزينية مقارنة بنظام "المستأجر الواحد" الذي كان يتطلب من كل فريق تطوير إدارة قاعدة بياناته الخاصة.

معالجة مشكلات الأداء والجيران المزعجين

واجهت OpenAI تحديات تقنية معقدة في بداية الطريق، أبرزها مشكلة "الجيران المزعجين" (Noisy Neighbors)، حيث يستهلك أحد التطبيقات أو المستخدمين حصة غير متناسبة من الموارد، مما يؤثر سلباً على بقية الخدمات المشتركة في نفس الحاوية البرمجية. كما تسببت حدود "مفاتيح التقسيم المنطقي" في اختناقات مرورية للبيانات، خاصة عند تداخل طلبات مستخدمين مختلفين على نفس موارد المعالجة.

ولحل هذه المشكلات، انتقلت الشركة من استخدام حاوية تخزين افتراضية واحدة إلى توزيع الخدمات الحرجة على حاويات منفصلة لضمان العزل التام. ومع ذلك، وجدت الشركة أن هذا العزل أدى إلى تعقيد عمليات التنبؤ بالنمو، حيث كان على فرق المنتجات تقدير احتياجاتها بدقة قبل الإطلاق، وهو ما كان يؤدي أحياناً إلى تعثر الخدمات لحظة الإطلاق بسبب نقص الموارد المخصصة. وانتهى الأمر بالشركة إلى العودة لنموذج "تعدد المستأجرين" ولكن مع آليات تحكم وإدارة أكثر ذكاءً تعتمد على الأدوات المدمجة في Azure Cosmos DB.

التحديات التقنية في إدارة البيانات الضخمة

توضح OpenAI أن نمو حجم البيانات يؤدي تقنياً إلى تقسيم "الأقسام الفيزيائية" لقاعدة البيانات، وهو ما قد يقلل من قدرة المعالجة الفعلية لكل قسم إذا لم تتم إدارته بدقة. في حالات الاستخدام الكثيفة، كان نمو التخزين وحده كفيلاً بتقليل سرعة العمليات حتى لو ظل معدل الطلبات مستقراً.

لتجاوز ذلك، طورت الشركة أدوات برمجية لمزامنة إجمالي قدرة المعالجة مع عدد الأقسام المادية، مما ساعد في تجنب حوادث توقف الخدمة التي كانت تؤثر سابقاً على الموقع بالكامل. هذا التطور التقني يعني للمستخدم النهائي استمرارية في الخدمة وسرعة في استرجاع المحادثات والبيانات، بغض النظر عن الضغط العالمي على الخوادم.

حقائق وأرقام عن منصة Habitat

وفقاً للبيانات الرسمية الصادرة عن OpenAI، تتميز البنية التحتية الحالية بالآتي:

• قاعدة البيانات الأساسية: Azure Cosmos DB.
• حجم البيانات المدارة: أكثر من 500 بيتابايت.
• نطاق التغطية: 40 منطقة جغرافية حول العالم.
• عدد المستخدمين: يتجاوز مليار مستخدم لمنتجات الشركة.
• سرعة الاستجابة: تقاس بالأجزاء من الثانية (Milliseconds).

بالنسبة للمطورين والشركات التي تبني أنظمة برمجية ضخمة، فإن تجربة OpenAI تشير إلى أن العزل التام للخدمات (Single-tenancy) قد يحمي من الأعطال المتبادلة، لكنه يحد من مرونة النمو السريع. لذا، فإن التوجه نحو الأنظمة المشتركة الذكية هو الخيار الأكثر استدامة للأنظمة التي تخدم ملايين المستخدمين المتزامنين، شريطة وجود رقابة صارمة على كيفية توزيع الموارد بين الخدمات المختلفة. وتخطط الشركة لمواصلة تطوير هذه البنية التحتية لدعم الاستخدامات الجديدة والأكثر تعقيداً لنماذج الذكاء الاصطناعي في المستقبل.

المصدر: OpenAI