1 / 5
النص يتحول إلى مهمة تنبؤ
يقرأ النموذج جملة حقيقية، وكل كلمة تصبح مدخلاً؛ والكلمة التالية تصبح الهدف.
—
جملة تدريب
—
token
—
كلمة في القاموس
اعرض نص التدريب الحقيقي
مثال
كل token يتنبأ بالذي يليه
المدخل الحالي
—
→
الحالة الخفية
تتحدّث
→
هدف التدريب
—
0 / 8
اقرأ كلمة واحدة
الذاكرة السابقة
صفر
+
الكلمة الحالية
<بداية>
→
ذاكرة جديدة
24 قيمة
hₜ = tanh(Wₓ e(xₜ) + Wₕ hₜ₋₁ + b)
الحالة الخفية hₜ — كل عمود قيمة بين −1 و +1
P(next)
أعلى احتمالات الكلمة التالية
شاهد التدريب يتراكم:
Backpropagation through time + AdaGrad داخل المتصفح
التدريب: 8,000 جملة
loss: —
جاهز
اضغط «ولّد النص» لترى النموذج يختار كلمة بعد كلمة.
الاختيار الأخير
احتمالات النموذج
المسافة 0
هل بقي الفاعل في الذاكرة؟
الذاكرة متصلة
مع الفاعل
يتوقع: —
—
صفّرنا الذاكرة بعد الفاعل
بلا فاعل
يتوقع: —
—
اختبار فعلي
احتمال الفعل الصحيح كلما ابتعد الفاعل
المسافة = عدد الكلمات المحايدة بين الفاعل والفعل. المنحنى يُعاد حسابه من أوزان الـ RNN.
مقارنة صريحة
النموذج المدرّب في الجولة Vanilla RNN؛ هذه خلية LSTM التي تعالج عنق الذاكرة.
جاهز
اتبع مسار Cₜ₋₁ عبر خلية واحدة
Cₜ = fₜ ⊙ Cₜ₋₁ + iₜ ⊙ C̃ₜ
hₜ = oₜ ⊙ tanh(Cₜ)