فحاولنا نسرعه بدون ما نلغي الخاصية .. وإكتشفنا شئ

عنوان المحادثة: فحاولنا نسرعه بدون ما نلغي الخاصية .. وإكتشفنا شئ صادم في السكرابر وهو...

التاريخ: 13.05.2026

التصنيف: 📊 البيانات وتحليل البيانات

إجمالي الرسائل: 3 | ياسر: 3 | M: 0

فحاولنا نسرعه بدون ما نلغي الخاصية .. وإكتشفنا شئ صادم في السكرابر وهو إن كان بيحلل بالذكاء الصناعي المنتج مرتين .. مرة وقت السكرابنج ومرة وقت النشر .. ده مش خطأ بشغلي ده كان المشروع كده .. فطبعا دي كارثة من حيث إستهلاك التوكنز للذكاء الصناعي فلغيناها .. ثم لما دققنا كمان أكتر لاحظنا إن الذكاء الصناعي بيحلل المنتجات منتج بمنتج وده طبعا كارثة من حيث إستهلاك التوكنز فقررنا إن نخليه يتعامل بمبدأ دفعات .. دلوقتي بياخد المنتجات ك دفعات ويرسلها للذكاء الصناعي يحللهم دفعة بدفعة لتوفير التوكنز بشكل كبير جدا وكمان بدون التحليل الأول وإنما فقط التحليل الثاني .. برضه عملنا تعديل صغير ممكن تلاحظه بنفسك أثناء السكرابنج للموقع وهو إن بدلا من التعديل على قاعدة البيانات مع كل منتج نسحبه صرنا بنحفظ بقاعدة البيانات كلما جمعنا مجموعة من المنتجات لنوفر برضه بضع أجزاء من الثانية بسيطة بكل منتج وده يوفر مئات الثواني على مستوى المنتجات كلها فده وفر وقت كتير برضه وخلى الشغل أسرع

يعني لما كانت المنتجات بتتسحب كلما سحبنا منتج بيتم إضافته لقاعدة البيانات ثم حفظ قاعدة البيانات بعد تسجيله .. دول برمجيا عبارة عن 3 خطوات وهم .. قراءة قاعدة البيانات وتخزينها في متغير ثم إضافة المعلومات الجديدة ثم تخزينها وعمل commit ليها يعني حفظ دا غير خطوة إغلاق قاعدة البيانات هي الرابعة .. دي خطوات برمجية بكل منتج والخطوات دي لو قلنا بتاخد مثلا نصف ثانية فهو رقم تافه لكن لما مثلا يكون عدد المنتجات 1000 فإحنا بنتكلم عن 500 ثانية ولما مثلا يكون 30 ألف منتج بالموقع فإحنا صرنا نتكلم عن 15 ألف ثانية أي 4 ساعات وربع .. فالثواني البسيطة بتعمل أرقام كبيرة كلما زادت عدد المنتجات وهيك .. دلوقتي النظام اللي بنتبعه هو ان بدلا من عمل الخطوات دي في كل مرة نجمع منتج فاحنا حاليا بنجمع المنتجات بالرام لحد ما يصيروا رقم كبير مثلا 100 منتج ثم نحفظهم دفعة واحدة بقاعدة البيانات

تبع السكرابر .. السكرابر ليه قاعدة بيانات والموقع المادة ليه قاعدة بيانات تانية