SPO++: بهینه‌سازی خط‌مشی هم‌راستا با جریان برای یادگیری تقویتی عاملی ناهم‌زمان

یادگیری تقویتی نسبی به گروه انتظار دارد که گسترش‌های هم‌سطح همان پرامپت را دریافت کنند؛ این برای مسیرهای طولانی و متغیر هزینه‌بر است. بهینه‌سازی سیاست تک‌جریان (SPO) این وابستگی را با استفاده از یک تخمین ثابت‑مدت از ارزش سطح پرامپت رفع می‌کند، اما خود روش قبل از بهینه‌سازی، با اعمال یک خطای فعال مبتنی بر میانگین توکن، برای هر مسیر یک مزیت «سفید» (whitening) ایجاد می‌کند. ما نشان می‌دهیم که مرکزی‌سازی مسیر به‌طور کلی مقدار وزن‌دار توکن مصرف‌شده توسط فعال را تغییر نمی‌دهد؛ با این حال، استانداردسازی مزایای نهایی‌دست‌یافته تحت اندازه‌گیری توکن عمل، این عدم‌تطابق را برطرف می‌سازد. علاوه بر این، شواهد پرامپت بر اساس رویداد سیاستی که توسط آن تولید شده است (نه بر اساس ترتیب دریافت توسط یادگیرنده) سازماندهی می‌شوند. در آزمایش‌های انجام‌شده روی دیتاست‌های ALFWorld در دو مقیاس مدل و همچنین روی Math‑TIR، SPO++ نسبت به SPO، کارایی یادگیری آنلاین را بهبود می‌بخشد. یک ablation (حذف) همراه، نرمال‌سازی اندازه‌گیری توکن عمل را به‌عنوان قوی‌ترین جزء آزمایش‌شده شناسایی کرد. موضوعات: هوش مصنوعی (cs.AI) برای ارجاع: arXiv:2608.24870 [cs.AI] (یا arXiv:2608.24870v1 [cs.AI] برای این نسخه) https://doi.org/10.48550/arXiv.2608.24870 تاریخچه ارسال: از کای روان [مشاهده ایمیل] [v1] دوشنبه، ۲۵ اوت ۲۰۲۶ ساعت ۱۷:۵۲:۱9 UTC (۱۰۵ کیلوبایت) User Safety: safe