التعليم الدقيق: التخصيص باستخدام التعلم الآلي

كمهندس برمجيات، لديك خياران:

1. YOLO كل تغيير ونأمل أن يكون له التأثير المطلوب.
2. تتبع مقاييس المستخدم وقم بإجراء اختبارات A/B للتحقق من أن التغييرات التي أجريتها لها التأثير المطلوب.

‍

أحدهما أسهل من الآخر، لكن الطريقة السهلة نادرًا ما تعمل على المدى الطويل. هذا الدليل مخصص لمهندسي البرمجيات الذين بدأوا للتو في اختبار A/B. ستتعلم فيه:

• كيفية ابتكار اختبارات A/B جيدة
• كيفية تنفيذ الاختبارات ومراقبتها
• كيفية تحليل نتائجك (ذات دلالة إحصائية، أم لا)

‍

سنغطي أيضًا بعض الأسئلة الشائعة، مثل متى يجب ألا تجري اختبارات A/B، وقد أضفنا سؤالًا بسيطًا قائمة التحقق من إطلاق اختبار A/B لاستخدامها عند إجراء الاختبارات الخاصة بك.

‍

‍

‍

كيف يعمل اختبار A/B

إليك نموذج ELI5 السريع للوافدين الجدد - يرجى تخطيه إذا كنت بالفعل على دراية بالأساسيات.

‍

في اختبار A/B، عليك أولاً تحديد مقياس الهدف والتغيير الذي ترغب في رؤيته. على سبيل المثال، يمكنك زيادة معدل التحويل أو تقليل معدل إقبال العملاء.

‍

مع وضع هدفك في الاعتبار وتجهيز تغييرات التعليمات البرمجية الخاصة بك، يمكنك تقسيم المستخدمين بشكل عشوائي إلى مجموعتين (أو أكثر):

• مجموعة التحكم - سيختبر هؤلاء المستخدمون منتجك كما هو - بدون أي تغييرات جديدة.
• مجموعة الاختبار - سيختبر هؤلاء المستخدمون منتجك مع التغيير الجديد

‍

يمكنك بعد ذلك تشغيل اختبار A/B لجمع البيانات (عادةً على مدار بضعة أيام أو أسابيع) ومقارنة الاختلافات في مقياس الهدف بين المجموعات المختلفة.

‍

‍

هناك عدة أنواع مختلفة من اختبارات A/B، مثل الاختبارات متعددة المتغيرات (حيث تختبر أكثر من صيغة واحدة) واختبارات «مسار التحويل» متعددة الصفحات (حيث تختبر مسارات مستخدم مختلفة)، ولكن هذا الدليل يركز على اختبارات A/B التقليدية.

‍

‍

‍

ما الذي يجعل اختبار A/B جيدًا؟

هناك خمسة أجزاء لاختبار A/B الجيد:

‍

‍

‍

1. هدف واضح وقابل للقياس

مثل «زيادة معدل التحويل المدفوع» أو «تقليل معدل التغيير». يجب أن يكون هذا مقياسًا واحدًا تهدف إلى تحسينه.

‍

يُعد «زيادة تفاعل المستخدم» مثالًا على الهدف السيئ، نظرًا لأنه من غير الواضح أي مقياس سيحدد النجاح - هل هو الزوار النشطون يوميًا، أو إجمالي عدد مشاهدات الصفحة، أو الوقت المستغرق في التطبيق؟ قد تُظهر نتائج الاختبار تحسينات في بعض المقاييس، ولكنها تنخفض في مقاييس أخرى.

‍

لا يوجد هدف واضح وقابل للقياس = نتائج غامضة لا يمكنك اتخاذ إجراء بشأنها.

‍

‍

‍

2. فرضية واضحة حول سبب تحقيق تغييراتك لهدفك

يعد عدم إنشاء فرضية محددة جيدًا أحد أكثر الفرضيات شيوعًا أخطاء اختبار A/B.

‍

تركز الفرضية الجيدة على الاختبار وتوجه عملية صنع القرار من خلال توفير إطار لتقييم نتائجك. يجب أن يتضمن مقياس هدفك، وكيف تعتقد أن التغيير الذي أجريته سيحسنه، وأي سياق مهم آخر. على سبيل المثال: