ما الذي يمكن أن نتعلمه من فشل تحليل البيانات؟

ما الذي يمكن أن نتعلمه من فشل تحليل البيانات؟

مرة أخرى في فبراير ، ألقيت محاضرة في معهد والتر وإليزا هول للأبحاث في ملبورن بعنوان "دروس في الكارثة: ما الذي يمكن أن نتعلمه من فشل تحليل البيانات؟" كان هذا الحديث مختلفًا تمامًا عن المحادثات التي ألقيها عادةً حول الحوسبة أو الصحة البيئية وأظن أنه قد ظهر على الأرجح. كان مع ذلك حديثًا ممتعًا وتحدثت عن أشياء متعلقة بالفضاء.

من الصعب إجراء مناقشة حول تحليل البيانات دون ذكر جون توكي. على وجه الخصوص ، فإن ورقته "مستقبل تحليل البيانات" ، التي نُشرت في دورية حوليات الإحصاء عام 1962 ، لها وزن كبير. في الواقع ، إنها تزن بشدة لدرجة أن الورقة تتطلب جدول محتويات خاص بها! لطالما صدمتني فقرة واحدة من نهاية ورقة Tukey الضخمة ، حيث وصفه لكيفية تدريس تحليل البيانات بسيط نسبيًا ، لكن يبدو أننا غير قادرين على تنفيذه.

سنقوم بتدريس [تحليل البيانات] مثل الكيمياء الحيوية ، مع التركيز على ما تعلمناه ... مع إبعاد كل مسألة الطرق التفصيلية إلى "العمل المخبري". جميع دراسات البراهين التفصيلية ... أو مقارنات طرق العرض تنتمي إلى "المختبر" وليس "في الفصل".

اهتمامي بأخذ هذا البيان على نطاق واسع إلى حد ما والسؤال عن عدد المرات التي نقوم فيها بذلك بالفعل عندما يتعلق الأمر بتحليل البيانات؟

بيان آخر أدهشني جاء من داريل بريجيبون ، الذي كتب في تقرير المجلس القومي للبحوث عام 1991 بعنوان مستقبل البرامج الإحصائية ،

في جميع أنحاء الصناعة الأمريكية أو حتى العالمية ، هناك الكثير من الدعوة إلى التحكم في العمليات الإحصائية وعمليات الفهم. الإحصائيون لديهم عملية يتبنونها لكنهم لا يعرفون شيئًا عنها. إنها عملية تجميع العديد من القطع الصغيرة معًا ، وهي عملية تسمى تحليل البيانات ، وهي غير مفهومة حقًا.

إن جانب "تجميع العديد من القطع الصغيرة" لتحليل البيانات أمر أساسي حقًا. أعتقد أن Pregibon كان يشير إلى تجميع العديد من الأدوات الإحصائية واتخاذ جميع القرارات الصغيرة حول البيانات التي يتخذها المرء دائمًا. ومع ذلك ، غالبًا ما تكون هذه "القطع" الصغيرة أشخاصًا في الواقع ، ويمكن أن يكون جعل كل هؤلاء الأشخاص متوافقين معًا جانبًا مهمًا بنفس القدر من التحديات والنجاح.

يعد التعرف على كيفية نجاح أو فشل تحليل البيانات (ولكن الأهم من ذلك ، فشلها) أمرًا صعبًا للغاية دون المرور بالعملية بنفسك. لا أعتقد أنني تعلمت عنها أبدًا إلا من خلال التجربة المباشرة التي حدثت على مدار سنوات. هناك عدة أسباب لذلك لاحظتها مع مرور الوقت:

عادة ما يهتم النجاح في تحليل البيانات العلمية بما إذا كانت الادعاءات المقدمة بناءً على النتائج صحيحة أم لا. إذا شعرت أن النتائج صحيحة ، وبدا التحليل صارمًا ، فهذه عادةً نهاية المناقشة. يتم التركيز على النتيجة وما يجب أن يأتي بعد ذلك. الفكرة الأساسية هنا ليست بالضرورة مضللة: يعتمد التقدم في العلم على التكرار المستقل ، ولا يمكن إعطاء أهمية كبيرة لأي تحليل معين.

عندما تفشل التحليلات ، عادة ما تكون النتائج غامضة ومربكة. علاوة على ذلك ، نادرًا ما يكتشف الجمهور عنها لأنها غير منشورة. هذا يرجع في الغالب إلى الطبيعة البشرية: من الصعب تحفيز المرء على الكتابة عن تجربة غير حاسمة وربما غير متماسكة. قد يكون الأمر محرجًا أيضًا إذا تم ارتكاب أخطاء صادقة. إن نشر الدراسات السلبية هو أمر منفصل ، لأنني سأعتبر الدراسة السلبية حقًا ، في الواقع ، حاسمة. لكن في كثير من الأحيان ، ليس لدينا حتى هذا الوضوح.

في الحالات النادرة التي نتعرف فيها على إخفاقات تحليل البيانات ، غالبًا ما يكون التركيز على من أو ما يقع اللوم. في الحالات التي حدث فيها نشاط إجرامي ، هذا جانب مهم. ومع ذلك ، فإن تحديد من أو المسؤول عن اللوم لا يزودنا عادة بمعرفة قابلة للتعميم يمكننا تطبيقها على تحليلات البيانات الخاصة بنا. الافتراض الأساسي لهذا النهج هو أن هذا الفشل كان موقفًا فريدًا لم يكن من الممكن أن يحدث أبدًا إذا لم يكن الشخص المسؤول عن اللوم متورطًا. من حين لآخر ، أرى حالات يوجد فيها خلل واضح في بعض البرامج يؤدي إلى نتائج خاطئة. إصلاح الخلل في الكود سوف "يصلح" النتائج ، ولكن حتى في هذه الحالة ليس من الواضح لي أن الخطأ هو السبب النهائي للفشل (على الرغم من أنه في هذه الحالة هو السبب المباشر).

أريد استخدام دراسة حالة واحدة للتفكير في أنواع المعرفة القابلة للتعميم التي يمكننا الحصول عليها من إخفاقات تحليل البيانات. ما أصفه أدناه خاص لأنه كان له آثار خطيرة وجزء كبير منه ظهر في الأماكن العامة. في حين أننا على الأرجح لن نعرف كل التفاصيل ، فنحن نعرف ما يكفي لإجراء مناقشة هادفة.

ملحمة الدوق

لقد كانت "Duke Saga" صعبة المنال بالنسبة لي لسنوات عديدة حتى الآن. في حين أنه أمر رائع بسبب العدد الهائل من المشكلات التي حدثت ، فقد كافحت دائمًا لتحديد الخطأ الذي حدث بالضبط. بعبارة أخرى ، بالنظر إلى ما أعرفه الآن ، ما هو التدخل الذي كنت سأقوم به لمنع حدوث نوبة مماثلة في المستقبل. لطالما شعرت أن الدروس التي يستخلصها الناس من هذه القصة ليست صحيحة من حيث أن تطبيق الدروس على العمل المستقبلي لن يمنع الفشل.

لنبدأ أولاً ببعض المعلومات الأساسية. لاحظ أن هذا جدول زمني مختصر للغاية :

في عام 2006 ، نشرت Nature Medicine ورقة بحثية كتبها Potti et al. بعنوان "التوقيع الجينومي لتوجيه استخدام العلاج الكيميائي". زعمت الورقة أنها طورت مصنفًا يعتمد على تطبيق تقنية ميكروأري لخطوط الخلايا التي يحتفظ بها المعهد الوطني للسرطان (NCI). وزعموا أن المصنف يمكنه تحديد المرضى الذين سيستجيبون للعلاج الكيميائي.

كيث باغيرلي وكيفين كومبس في إم دي أندرسون سرطانغمر المركز طلبات من زملاء متحمسين (له ما يبرره) أرادوا استخدام هذه التكنولوجيا. حاول Baggerly و Coombes إعادة إنتاج النتائج باستخدام الوصف المنشور لكنهما لم يتمكنوا من القيام بذلك. أنها كانت قادرة على إنتاج بعض النتائج في ورقة بعد إدخال عمدا سلسلة من الأخطاء في تحليل البيانات.

منذ هذه الحادثة الأولية ، تم فحص عدد من الأوراق الأخرى من نفس المختبر وتم العثور على العديد من الأخطاء في التحليلات ، والتي يمكن للمرء أن يفكر في معالجة البيانات الأساسية وأخطاء الجدل. بالإضافة إلى ذلك ، وجد Baggerly و Coombes أدلة ظرفية على الاحتيال المتعمد ، مثل الادعاء بأن بعض الجينات كانت ضرورية لمصنف على الرغم من أن هذه الجينات غير مدرجة في المصفوفة الدقيقة التي يُزعم أنها استخدمت.

بدأت التجارب السريرية في ديوك حيث تم توزيع المرضى عشوائياً في أذرع مختلفة من التجربة بناءً على التقنيات المعيبة التي طورها بوتي. بعد أن كتب العديد من العلماء رسالة إلى مدير NCI هارولد فارموس ، علق ديوك المحاكمات للتحقيق في الموقف. برأت لجنة ديوك الداخلية في النهاية بوتي وزملائه من ارتكاب أي مخالفات وأعادت بدء المحاكمات. مر الوقت ، وفي النهاية اكتشفت الرسالة السرطانية أن بوتي كذب على طلب للحصول على تمويل فيدرالي حول كونه باحثًا في رودس. في النهاية ، توقفت المحاكمات ، ولكن بعد الكثير من التدقيق العام وسلسلة من الدعاوى القضائية (بعضها لا يزال جاريًا).

من الواضح أنني تركت الكثير من التفاصيل ، وإذا كنت تريد أن تسمع المزيد عن هذا ، فيمكنك أن تسمع عنه من كيث باغيرلي نفسه في هذه المحاضرة الرائعة . ومع ذلك ، أردت فقط تقديم رسم تخطيطي لما حدث على مدار أكثر من 10 سنوات الآن.

في رأيي ، كانت تفاصيل Duke Saga رديئة ، ولكن كان من الصعب استخلاص أي استنتاج حول الخطأ الذي حدث بالفعل وما هو النهج الذي يجب اتباعه لمنع حدوث شيء كهذا مرة أخرى. كان معظم الناس يتكهنون فقط بما يمكن أن يحدث والأشخاص الذين يعرفون حقًا التفاصيل لم يتحدثوا كثيرًا. في ما يلي كيفية تلخيص النقاط الأساسية التي بدا أن معظم الناس يستخلصونها من المعلومات المتاحة للجمهور حول الملحمة:

استنساخ . كانت هناك بالتأكيد زاوية بحث قابلة للتكرار في هذه الملحمة ، حيث كانت التحليلات التي أجريت تفتقر إلى الشفافية. لم يكن هناك سوى رمز سطحي تم نشره مع الورق ولم تكن البيانات متاحة على الفور. ومع ذلك ، بمعنى ملتوي ، أعتقد أن الكثير مما ظهر للضوء قد حدث لأن العمل في النهاية كان قابلاً للتكرار جزئيًا. هذا هو في الواقع كيف اكتشف باغيرلي وكومبس كل المشاكل. كانوا قادرين على إعادة إنتاج النتائج بعدتعمد إدخال أخطاء في البيانات. إذا عاد المرء في الوقت المناسب وأجبر كل شخص في المختبر بطريقة سحرية على استخدام R Markdown أو Juypter Notebooks ، فليس من الواضح بالنسبة لي كيف كان ذلك سيمنع أي شيء. بالنسبة للمبتدئين ، كان بإمكان كل فرد داخل الفريق الوصول إلى التحليلات والبيانات. من المحتمل أن يكون الأشخاص خارج الفريق قد اكتشفوا المشكلات في وقت أقرب إذا كان العمل قابلاً للتكرار تمامًا ، لكن Baggerly و Coombes اكتشفوا الأمور بسرعة نسبيًا. أيضًا ، هذا إلى جانب النقطة: يجب ألا نعتمد على الأشخاص خارج فريق البحث كدفاع أساسي ضد فشل تحليل البيانات. لا أعتقد أن التكاثر هو أحد الدروس المستفادة من هذه القصة لأنني لا أعتقد أنها كانت ستحدث فرقًا في هذه الحالة.

الخبرة . كان السرد الأساسي الذي شرح هذه القصة هو أن تحليل البيانات كان سيئًا. ركز الإحصائيون بشكل خاص على استخدام البرامج الاحتكارية ، وتدفقات العمل غير القابلة للتكرار (مثل التأشير والنقر في Excel) ، والتطبيق غير الصحيح لمنهجية إحصائية سليمة (مثل التحقق المتبادل). لقد شاركت في بعض المناقشات التي اقترحت أنه إذا كان الأشخاص المدربون بشكل أفضل قد أجروا التحليلات ، فلن يحدث أي من هذا. ربما تكون التحليلات الجينومية معقدة للغاية بالنسبة لعالم المختبر التقليدي. الفكرة هي أن هذا النوع من العمل "يصعب القيام به" وأنك بحاجة إلى أشخاص أفضل (أو تحسين الأشخاص الحاليين). أعتقد أن هذا هو جوهر الملخص في هذا المقطع من 60 دقيقةفي القصة بأكملها. سأناقش هذا أكثر أدناه.

السلوك الفردي . تم طرد أنيل بوتي في النهاية من ديوك بسبب هذه الفضيحة ولا أعتقد أن أي شخص سيختلف مع هذا القرار. إذا كان ديوك قد فصله قبل 10 سنوات ، إذن نعم ، لم يكن هذا البحث ليحدث في ديوك ، لكن ربما حدث في مكان آخر ، أو ربما حدث في ديوك ولكن مع محقق رئيسي مختلف. لذا ، بينما كان بوتي مسؤولاً في النهاية عن التحليلات ، فإن طرده لا يوفر "درسًا مستفادًا" مفيدًا.

في يناير 2015 ، نشرت The Cancer Letter مذكرة كتبها برادفورد بيريز ، الذي كان في عام 2008 طالبًا متدربًا في كلية الطب في مختبر بوتي. لقد رأى ما يجري في المختبر وتعرف على رديءاته. المشاكل التي كان على Baggerly و Coombes عكسها بشكل أساسي ، رأى بيريز مباشرة وتعرف على الفور على أنها خطيرة. في الواقع ، كتب في عام 2008 مذكرة لقيادة معهده يصف فيها بعض تلك المشاكل:

"تسعة وخمسون عينة خط خلوي مع بيانات تعبير mRNA… تم تقسيمها إلى نصفين لتعيين أنماط ظاهرية حساسة ومقاومة. ثم عند تطوير النموذج ، تم تضمين فقط تلك العينات التي تناسب النموذج الأفضل في التحقق المتقاطع . تمت إزالة أكثر من نصف العينات الأصلية…. كان هذا نهجًا متحيزًا بشكل لا يصدق ولا يفعل أكثر من مجرد إعطاء مظهر تحقق متقاطع ناجح ". [تم اضافة التأكيدات]

وكتب كذلك ، في هذه المرحلة ، أعتقد أن الموقف خطير بدرجة كافية بحيث يجب إيقاف جميع التحليلات الإضافية لتقييم ما هو معروف عن كل متنبئ ويجب إعادة النظر في ما هو مناسب لمواصلة الاستخدام وتحت أي ظروف…. أود أن أزعم أنه في هذه المرحلة لا شيء… يجب أن يؤخذ على أنه أمر مفروغ منه. يجب إجراء جميع ادعاءات عمليات التحقق من صحة التنبؤ بشكل مستقل وعمياء ".

تم تجاهل المذكرة من قبل القيادة. لم يتم إيقاف أي شيء ولم يتغير شيء في ذلك الوقت. في النهاية سحب بيريز اسمه من سلسلة من الأوراق وغادر المختبر.

الدروس المستفادة ان هذه المذكرة مهمة في رأيي لأنها تغير بشكل جذري السرد حول الخطأ الذي حدث في هذه القصة بأكملها. نعم ، من الصعب إجراء التحليلات الجينومية ولكن من الواضح أن هناك خبرة في المختبر للتعرف على تلك الصعوبة ومعرفة متى تم تطبيق الأساليب الإحصائية بشكل غير صحيح. لم تكن المشكلة نقص التدريب ، ولم تكن ببساطة نتيجة بعض الأخطاء الصادقة في إدارة البيانات هنا وهناك. كانت المشكلة هي انهيار الاتصال وانعدام الثقة التام بين المحققين وأعضاء فريق تحليل البيانات. من الواضح أن بيريز شعر بعدم الارتياح لإثارة هذه القضايا في المختبر وكتب المذكرة وهو يعلم أن لديه "الكثير ليخسره". كان يعتقد أن المشكلة في المختبر تكمن في إساءة تطبيق الأساليب الإحصائية ، لكن المشكلة الحقيقية في المختبر هي ذلكلم يشعر بالراحة في مناقشته . يعد انهيار العلاقة بين المحلل والمحقق مشكلة خطيرة في تحليل البيانات .

من الممكن أن أتخيل سيناريو بديل حيث يرى محلل بيانات مثل بيريز مشكلة في الطريقة التي يتم بها تطوير النماذج أو تطبيقها ، ويذكر ذلك للمحقق الرئيسي ولديه مناقشة مفصلة ، وربما يسعى للحصول على خبرة خارجية (على سبيل المثال من الإحصائي) ، ثم يعدل الإجراء لإصلاح المشكلة. من السهل بالنسبة لي تخيل هذا لأنه يحدث كثيرًا كل يوم. لا يوجد تحليل بيانات مثالي من البداية إلى النهاية. يتم إجراء التغييرات وتصحيحات المسار باستمرار على طول الطريق. عندما أقوم بتحليل البيانات وأواجه مشاكل يمكن تتبعها في جمع البيانات ، سأرفع هذا الأمر مع الباحث الرئيسي. عندما أعطي النتائج للمحققين الآخرين ، أحيانًا لا تبدو النتائج صحيحة بالنسبة لهم ويأتون إلي ويطلبون التوضيح. إذا كان هذا خطأ من ناحيتي ، فسأصلحه وأرسل لهم النتائج المحدثة.

عندما تكون العلاقات بين المحلل وأعضاء مختلفين في فريق المحققين قوية وهناك ثقة كبيرة بينهم ، فإن الأخطاء الصادقة هي مجرد عقبات صغيرة في الطريق يمكن الكشف عنها ومناقشتها وإصلاحها. عندما يكون هناك انهيار في تلك العلاقات ، يتم التستر على الأخطاء نفسها وإنكارها ودفنها. لا يمكن إصلاح انهيار العلاقات بين المحللين والمحققين الآخرين في الفريق بشكل عام باستخدام طريقة إحصائية أفضل ، أو سير عمل قابل للتكرار ، أو برنامج مفتوح المصدر. إن إدراك أن هذه هي المشكلة أمر صعب لأنه غالبًا لا يوجد حل سهل.

أعتقد أن الدرس التحليلي المستفاد من Duke Saga هو أن محللي البيانات بحاجة إلى السماح لهم بقول "توقف". ولكن أيضًا ، القدرة على القيام بذلك تعتمد بشكل حاسم على العلاقات بين المحلل وأعضاء فريق المحققين. إذا شعر المحلل بعدم الارتياح لإثارة قضايا تحليلية مع أعضاء آخرين ، فيمكن القول إن جميع التحليلات التي أجراها الفريق معرضة للخطر. لا يمكن لأي قدر من الخبرة أو الأدوات الإحصائية إصلاح هذه المشكلة الإنسانية الأساسية.

لطلب تحليل احصائي التواصل عبر الواتس اب اضغط هنا