المشكلة الحقيقية: لست تختبر، أنت تتخمن
حين يأتيني عميل يسأل عن اختبار A/B، أول سؤال أطرحه هو: "ما فرضيتك بالضبط؟" ومعظم الإجابات تأتي ضبابية. "نريد أن نعرف أي العناوين أفضل" أو "نختبر التصميم الجديد مقابل القديم" — هذا ليس فرضيات. هذا تمني.
الفارق حاسم: الفرضية الواضحة تعطيك هدفاً محدداً وتوقعاً قابلاً للقياس. الضبابية تعني أنك ستمضي وقتاً وموارد بلا اتجاه واضح. من تجربتي في قيادة المشاريع في الكويت والخليج، الفرق التي تنجح في A/B ليست الأكثر جرأة في الاختبار — هي الأوضح في التفكير قبل البدء.
الحقيقة الثانية: اختبار بلا حجم عينة محسوب هو قمار. قد تصل لنتيجة بعد أسبوع يبدو أنها تشير إلى ربح 15%. لكن هذا قد يكون ضوضاء إحصائية بحتة. كم مرة رأيت فريقاً ينشر ميزة، ثم بعد أسبوعين يكتشف أن "الربح" اختفى؟
كيف تكتب فرضية A/B قوية
فرضية A/B الجيدة لها أربعة أجزاء. تحتاج أن تكون واضحة جداً — لا غموض.
الأول: الملاحظة (Observation). ماذا رأيت في البيانات؟ لا تقل "المستخدمون لا يشترون". قل "40% من الزوار يصلون لصفحة الدفع لكن 70% منهم يتركونها قبل إكمال النموذج". رقم محدد، مؤشر واضح.
الثاني: الفرضية نفسها (Hypothesis). ماذا تتوقع أن يحدث إذا غيّرت شيئاً؟ "إذا قللت حقول النموذج من 8 إلى 4، فسيزيد معدل الإكمال بـ 25%". هذا محدد. له هدف (الإكمال) ولديك توقع رقمي (25%).
الثالث: السبب المنطقي (Rationale). لماذا تتوقع هذا؟ "الاختبارات الداخلية أظهرت أن النماذج الطويلة تزيد من التردد. كل حقل إضافي يضيف احتكاكاً نفسياً واحداً". اكتب القاعدة الثابتة التي تستند عليها فرضيتك.
الرابع: المقياس (Metric). كيف ستقيس النجاح؟ يجب أن تحدد مقياس واحد أساسي. "معدل إكمال النموذج" ليس "عدد الشراء" ليس "الرضا العام". اختر واحداً، وابن الحساب عليه.
إليك مثال حقيقي من مشروع في الكويت: "الملاحظة: 60% من مستخدمي التطبيق يفتحونه لكن لا يضيفون منتجات للسلة. السبب قد يكون أن الزر الأساسي صغير وفي مكان سيء. الفرضية: إذا جعلت الزر أكبر وحركته لأسفل الصورة، سيزيد معدل الإضافة للسلة بـ 18%. المقياس: نسبة منتجات أُضيفت إلى السلة من إجمالي مشاهدات المنتج."
كم ستخسر إذا كتبت فرضية ضعيفة؟ بصراحة، معظم الشركات في الكويت لا تحتاج إلى فرضيات معقدة جداً. لكن غياب الفرضية الواضحة يعني أنك ستقرأ النتائج بطريقة منحازة. ستجد ما تتوقعه، حتى لو لم يكن هناك.
حجم العينة: الحساب الذي يضيع 90% من المشاريع
هنا الجزء الذي يخيف معظم الناس. لكنه ليس معقداً كما يبدو.
سؤال بسيط: كم شخصاً تحتاج لاختباره حتى تكون نتائجك موثوقة؟ الإجابة تعتمد على أربعة أشياء:
الأول: معدل القاعدة (Baseline). كم نسبة الناس الذين يفعلون الشيء الآن؟ مثلاً، 5% من الزوار يشترون. أو 20% ينقرون على الزر. هذا أساس حسابك.
الثاني: التحسن المتوقع (Lift). كم نسبة التحسن الذي تتوقعه حقاً؟ هنا أكون صادقاً: معظم الاختبارات التي أشوفها تتوقع تحسناً بـ 20% على الأقل. لكن في الواقع، التحسنات المستقرة غالباً تكون 3-7%. إذا كنت متفائلاً جداً، ستحتاج عينة أصغر لترى النتيجة. إذا كنت واقعياً، ستحتاج عينة أكبر.
رأيت هذا الخطأ بالذات يُغرق مشاريع كانت ممولة تمويلاً جيداً: يتوقعون تحسناً بـ 30% ويحسبون العينة على أساسه، فينتظرون أسبوعين. لما تطلع النتيجة، يكتشفون أن التحسن الفعلي 5%، لكن لم يختبروا كفاية من الناس، فالرقم غير موثوق.
الثالث: مستوى الثقة (Confidence Level). في كم % من الحالات تريد أن تكون واثقاً من نتائجك؟ 95% هو المعيار الصناعي. هذا يعني أنك تقبل أن تكون مخطئاً في 1 من 20 مرة. إذا كنت تريد 99%، ستحتاج عينة أكبر.
الرابع: القوة الإحصائية (Statistical Power). هذا يقيس احتمالية اكتشافك للتحسن إذا كان موجوداً حقاً. 80% هو المعيار. يعني: إذا كان هناك تحسن فعلي بـ 10%، فأنت تريد أن تكون واثقاً 80% من أنك ستلاحظه.
الصيغة الكاملة معقدة قليلاً، لكن هناك أدوات حرة تفعل الحساب لك. موقع Statsig أو Evan Miller's Calculator يعطيك النتيجة في ثانية.
مثال عملي: اختبرت شركة خليجية زر جديد. معدل النقر الحالي: 2%. تتوقع تحسناً بـ 35% (يعني نسبة جديدة 2.7%). مستوى ثقة 95%. قوة 80%. الحاسبة تقول: تحتاج 15,000 زائر في كل نسخة. أي 30,000 إجمالي.
لو كانت تتلقى 1000 زائر يومياً، تحتاج شهر. لكن لو افترضت خطأً — مثلاً تتوقع تحسناً بـ 10% بدل 35% — تحتاج 300,000 زائر. تقريباً شهرين ونصف.
هنا تبدأ تفهم لماذا التخطيط مهم. قررت حجم العينة قبل البدء توفر عليك وقتاً وموارد ضخمة.
الأخطاء الإحصائية التي يدفع فيها الناس الثمن
هناك خطآن إحصائيان كبيران. يجب أن تعرفهما باسمهما لأن الكثيرين يخلطون بينهما.
Type I Error (الإيجابي الكاذب): أنت تقول أن هناك فرقاً لكن فعلاً لا يوجد. مثلاً، تقول "الزر الجديد أفضل" لكن في الحقيقة، التحسن كان صدفة عشوائية. احتمالية هذا الخطأ تتحكم فيه بـ مستوى الثقة. 95% ثقة = 5% احتمالية Type I Error.
ماذا يحدث لو عملت هذا الخطأ؟ تطلق ميزة بناءً على نتائج كاذبة. بعد أسبوع، تكتشف أن الميزة لم تحسّن أي شيء. أنت فقدت وقت التطوير، وقت الإطلاق، والفرصة لعمل شيء أفضل.
Type II Error (الإيجابي الضائع): أنت تقول أنه لا فرق، لكن في الحقيقة، هناك تحسن. مثلاً، الزر الجديد فعلاً أفضل لكن عينتك كانت صغيرة جداً فلم تلاحظيه. احتمالية هذا يتحكم فيه بـ القوة الإحصائية. 80% قوة = 20% احتمالية Type II Error.
ماذا يحدث؟ أنت ترمي فكرة جيدة لأنك لم تعطها فرصة عادلة. قد تكون خسارة أكبر من الخطأ الأول.
هنا بدأت أفهم: الخطآن متوازنان. تريد مستوى ثقة عالي (5% Type I) وقوة عالية (20% Type II). لكن لا تستطيع تقليل الاثنين معاً بلا عينة أضخم. هذا هو الحساب.
شيء أخير عن الأخطاء الإحصائية: العديد من الناس يعملون شيء يسمى "peeking"، أي أنهم ينظرون للنتائج قبل انتهاء الاختبار. إذا رأوا نتيجة جيدة في منتصف الطريق، يتوقفون ويطلقون الميزة. هذا مخطئ رياضياً. ينمّي الأخطاء الإحصائية بشكل كبير. عليك أن تحدد حجم العينة قبل البدء وأن تكمل حتى تصل.
خطوات عملية لفريقك
لو كنت تبني اختبار A/B غداً، ها هي الخطوات:
أولاً: اكتب الفرضية على ورق. الأربعة أجزاء: الملاحظة، الفرضية، السبب، المقياس. اجعل فريقك يوافق عليها قبل البدء.
ثانياً: احسب حجم العينة. استخدم حاسبة حرة. أدخل المعدل الحالي، التحسن المتوقع الواقعي (3-7% للمشاريع العملية)، مستوى ثقة 95%، قوة 80%. لا تفترض الأرقام.
ثالثاً: احسب كم يوم ستحتاج. اقسم حجم العينة على عدد الزوار يومياً. هذا وقت الاختبار الفعلي.
رابعاً: قبل الاختبار، اتفق على قاعدة واحدة: لا نتوقف قبل انتهاء الوقت المحدد. لا "peeking". لا استثناءات.
خامساً: عندما تنتهي، اقرأ النتائج بحيادية. إذا كانت النتيجة إيجابية، ابدأ. إذا كانت سالبة، لا تحزن — تعلمت شيئاً. إذا كانت محايدة، فلم تحتج لأن تهدر وقتاً عليها.
ملاحظة عملية: متى توقف الاختبار مبكراً
هناك حالة واحدة أقبلها: إذا النتيجة أسوأ بشكل دراماتيكي من المتوقع (خسارة 50% مثلاً)، يمكن أن توقف للحماية. لكن هذا استثناء، لا قاعدة. معظم الاختبارات التي تظهر خسارة في البداية تستقر لاحقاً.
سؤال حقيقي يطرحه القارئ على نفسه
قد تقول: "طارق، هذا كل جميل. لكن عندي 10 اختبارات تريد أن تجري الآن. هل أنا محتاج أن أحسب حجم العينة لكل واحدة؟" الجواب: نعم. لكن لا يأخذ وقتاً. دقيقة واحدة للحاسبة. لو اختبرت بلا حساب، ستهدر ساعات في تفسير نتائج غير موثوقة.
آخر نقطة: الحصافة في الختم
اختبار A/B ليس سحر. هو أداة قوية لو استخدمتها بحق. الفرضية الواضحة وحجم العينة الدقيق والانتظار الصبور هي الفرق بين قرار منتج مستند على حقائق وقرار مستند على حظ.
في رأيي: تجنب فخ الاختبار السريع. الشركات الناجحة في المنطقة ليست التي تختبر أسرع. هي التي تختبر بأقل أخطاء. بيئة ممارسة حقيقية من الممارسة الفعلية تفوز كل مرة.