مشخصات مقاله انگلیسی (PDF)
سال انتشار مقاله	2013
تعداد صفحات مقاله انگلیسی	9 صفحه با فرمت pdf
رشته های مرتبط با این مقاله	مهندسی کامپیوتر
گرایش های مرتبط با این مقاله	مهندسی الگوریتم ها و محاسبات، هوش مصنوعی
چاپ شده در مجله (ژورنال)	هوش کاربردی – Applied Intelligence
کلمات کلیدی	یادگیری تقویتی بیزی، یادگیری تقویتی مبتنی بر مدل، تحقیق مونته کارلو ، POMDP
ارائه شده از دانشگاه	مرکز تحقیقات و توسعه علوم و فناوری، دانشگاه DuyTan، ویتنام
نویسندگان	Ngo Anh Vien , Wolfgang Ertel , Viet-Hung Dang , TaeChoong Chung
شناسه شاپا یا ISSN	ISSN 1573-7497
شناسه دیجیتال – doi	https://doi.org/10.1007/s10489-012-0416-2
رفرنس	دارد ✓
کد محصول	9547
لینک مقاله در سایت مرجع	لینک این مقاله در سایت Springer
نشریه اسپرینگر

نوشته دانلود ترجمه مقاله جست جوی درخت مونته کارلو برای یادگیری تقویتی بیزی – اسپرینگر 2013 اولین بار در ترجمه فا پدیدار شد.

گروه آموزشی ترجمه فا اقدام به ارائه ترجمه مقاله با موضوع ” کاربرد آموزش تقویتی در مدیریت منابع در WSN ” در قالب فایل ورد نموده است که شما عزیزان میتوانید پس از دانلود رایگان مقاله انگلیسی و نیز مطالعه نمونه ترجمه و سایر مشخصات، ترجمه را خریداری نمایید.

• فهرست مطالب:

چکیده
1. مقدمه
2. اثر مرتبط
3. پس زمینه
4. یادگیری تقویتی مستقل توزیع شده (DIRL)
4.1. مفروضات و مدل سیستم
4.2. چارچوب DIRL
4.3. بهینه گی جهانی
5. ماکرو یادگیری مبتنی بر هوش جمعی
5.1. کاربرد COIN برای مدیریت منابع WSN
5.2. چارچوب مدیریت منابع با استفاده از یادگیری دولایه
5.3. معماری و اجزای سیستم
6. اجرای کاربردهای دنیای واقعی
6.1. ردیابی هدف
6.2. جمع آوری داده ها با عناصر تلفن همراه
6.3. نظارت بر بهداشت
7. راه اندازی شبیه سازی
8. نتایج شبیه سازی
8.1. عملکرد یادگیری
8.2. تاثیر تعداد اهداف
8.3. تاثیر تعداد گره های حسگر
9. نتیجه گیری ها

• بخشی از ترجمه:

9. نتیجه گیری ها
طرحی را برای منابع مدیریت در شبکه های حسگر بی سیم (WSNها) ارائه میکنیم که یک رویکرد پائین به بالا را استفاده می کند به طوری که هر گره حسگر در قبال انتخاب وظیفه مسئولیت دارد. این رویکرد مبتنی بر یادگیری تقویتی است و توسعه کاربردهای WSN مستقل با تطبیق دینامیکی، پردازش حداقلی یا پردازش غیر متمرکز برای تخصیص وظیفه، و سربار ارتباطاتی کم را مجاز می داند. برای اطمینان از این موضوع که سیستم در واقع اهداف کاربرد جهانی را برآورده می سازد، طرح یادگیری دو لایه را استفاده می کنیم: میکرو آموزش استفاده شده توسط گره های منحصربفرد برای خود برنامه ریزی وظائف خودشان؛ و ماکرو آموزش استفاده شده توسط هر داده جریان به منظور هدایت سیستم به سمت اهداف تعریف شده توسط کاربرد. بطور خاص، تئوری هوش جمعی (COIN) را استفاده می کنیم تا ماکرو آموزش را با تنظیم و به روزرسانی پارامترهای عملیاتی میکرو یادگیرندگان اجرا و فعالسازی کنیم. نتایج شبیه سازی نشان می دهد که اساسا یادگیری دو لایه عملکرد کلی را در مقایسه با میکرو یادگیری یا ماکرو یادگیری بهبود می بخشد. کاربرد تئوری COIN تضمین می کند که نقطه مطلوب پارتو در نهایت به دست می آید، و از محدود بودن سیستم در بیشینه محلی اجتناب به عمل می آورد.

• بخشی از مقاله انگلیسی:

9 Conclusions

We presented a scheme for resource-management in wireless sensor networks (WSNs) that employs a bottomup approach such that each sensor node is responsible for task selection. This approach is based on reinforcement learning and allows the development of autonomous WSN applications with dynamic adaptation, minimal or no centralized processing for task allocation, and low communication overhead. In order to ensure that system is actually meeting the global application goals, we used a two-tier learning scheme: micro-learning used by individual nodes to self-schedule their tasks; and macro-learning used by each data-stream to guide the system towards application-defined goals. Specifically, we used the collective intelligence (COIN) theory to enable macro-learning by setting and updating the operating parameters of the micro-learners. Simulation results showed that two-tier learning can substantially improve the overall performance compared to microlearning or macro-learning alone. The application of the COIN theory guarantees that the Pareto-optimal point is eventually achieved, and avoids the system to be con- fined in a local maximum.

دانلود رایگان مقاله انگلیسی

خرید ترجمه فارسی مقاله

نوشته دانلود ترجمه مقاله کاربرد آموزش تقویتی در مدیریت منابع در WSN – نشریه اسپرینگر اولین بار در ترجمه فا پدیدار شد.

• بخشی از ترجمه:

چکیده
بازاریابی مستقیم یکی از موثرترین شیوه های بازاریابی بسیارکارا با هدف حداکثر کردن ارزش دوره عمرمشتریان می باشد. بسیاری از شیوه های یادگیری که به قیمت حساس هستند مشتریان با ارزش را شناسایی می کنند تا سود مورد انتظارشان را حداکثر کنند. با این حال این شیوه ها تا زمانی که سود کل را برای دوره زندگی مشتریان حداکثر می کند، نمی تواند کنترلی بر عیوب احتمالی داشته باشد. متاسفانه فعالیتهای بازاریابی بهینه برای بدست آوردن حداکثر سود اغلب در حداقل کردن عیوب احتمالی بسیار ضعیف عمل می کند، چون با این روشها بین اهداف تناقض هایی پدید می آید. در این مقاله ما روش تصمیم گیری متوالی(ترتیبی) را برای حداکثر کردن سود با در نظر گرفتن عیوب احتمالی در بازاریابی مستقیم، ارائه می کنیم. ما الگوریتم یادگیری تقویتی را می پذیریم تا فعالیتهای بازاریابی بهینه متوالی را تعیین کنیم. با این یافته ها نقشه استرتژی را طراحی می کنیم که به مدیران بازاریابی کمک می کند تا مجموعه فعالیت متوالی بهینه و کوتاهترین راه را برای رسیدن به وضعیت مورد مطلوب را شناسایی کند. در نتیجه، این استراتژی به طراحی ایده آلی برای مجموعه فعالیتهای موثر منتهی می شود.
کلمات کلیدی: تصمیم گیری های متوالی، یادگیری تقویتی، استراتژی بازاریابی مستقیم، مدیریت ارتباط با مشتری، نقشه استراتژی های بازاریابی
مقدمه :
بازاریابی مستقیم یکی از روشهای بسیار موثر برای حداکثر کردن سودهای مورد انتظار است. تعدادی از روشهای یادگیری که به قیمت حساس هستند بر مشتریان سودآوری پیش بینی شده در بازاریابی مستقیم تاکید می کنند. با این حال، هدف معمولی این روشها فقط حداکثر کردن سود کوتاه مدت مرتبط با هر مجموعه فعالیت بازاریابی است. آنها تمامی تعاملات خروجی های تصمیم گیری را نادیده می گیرند، با اینکه ممکن است توالی از تصمیمات بازاریابی در طول زمان شکل بگیرد. این استراتژی های تصمیم گیری مستقل نمی تواند ضامن حداکثر کردن سودهای کل در دوره زندگی مشتری باشد چون انها اغلب وقتی تصمیم گیری ترتیبی در طول زمان پیش بیاید، تعاملات بین نتایج تصمیم گیری را نادیده می گیرند.

• بخشی از مقاله انگلیسی:

abstract

Direct marketing is one of the most effective marketing methods with an aim to maximize the customer’s lifetime value. Many cost-sensitive learning methods which identify valuable customers to maximize expected profit have been proposed. However, current cost-sensitive methods for profit maximization do not identify how to control the defection probability while maximizing total profits over the customer’s lifetime. Unfortunately, optimal marketing actions to maximize profits often perform poorly in minimizing the defection probability due to a conflict between these two objectives. In this paper, we propose the sequential decision making method for profit maximization under the given defection probability in direct marketing. We adopt a Reinforcement Learning algorithm to determine the sequential optimal marketing actions. With this finding, we design a marketing strategy map which helps a marketing manager identify sequential optimal campaigns and the shortest paths toward desirable states. Ultimately, this strategy leads to the ideal design for more effective campaigns.

1. Introduction

Direct marketing is one of the most effective marketing methods with an aim to maximize the expected profits [13]. A number of cost-sensitive learning methods which focus on predicting profitable customers have been proposed for direct marketing [2,3,13,15]. However, a common objective of these methods is to only maximize the short-term profit associated with each marketing campaign. They ignore the interactions among decision outcomes when sequences of marketing decisions are made over time. These independent decision-making strategies cannot guarantee the maximization of total profits generated over a customer’s lifetime because they often inundate profitable customers with frequent marketing campaigns or encourage radical changes in customer behavior [10].

دانلود رایگان مقاله انگلیسی

خرید ترجمه فارسی مقاله

نوشته دانلود ترجمه مقاله بازاریابی مستقیم با استفاده از نقشه راهبردی بازاریابی نوین – مجله الزویر اولین بار در ترجمه فا پدیدار شد.

• فهرست مطالب:

 چکیده
پیشگفتار
۱ مقدمه ای بر یادگیری عمیق (DL) در شبکه های عصبی (NN)
مخفف ها به ترتیب حروف الفبا
علامتگذاری رویداد گرا برای گسترش فعالسازی در NN
۳ عمیق مسیرهای تخصیص اعتبار (CAP) و مسائل
۴ موضوعات تکراری یادگیری عمیق
۱ ۴ برنامه ریزی پویا برای یادگیری نظارت شده/ تقویتی (SL/RL)
۲ ۴ تسهیل SL و RL با یادگیری نظارت نشده (UL)
۳ ۴ نمایش سلسله مراتبی یادگیری از طریق SL، UL، RL عمیق
۴ ۴ فشرده سازی و طول توصیف حداقل یا کمینه (MDL)
۵ ۴ واحدهای پردازش گرافیکی سریع (GPU) برای DL در NN
۵ NN های نظارت شده با کمک NN های نظارت نشده
۱ ۵ NN های اولیه از دهه ۱۹۴۰ ( و ۱۸۰۰)
۲ ۵ حول و حوش ۱۹۶۰ قشر دیداری برای DL الهام بخش است ( بخش های ۴ ۵، ۱۱ ۵)
۳ ۵ ۱۹۶۵ شبکه های عمیق مبتنی بر روش گروهی داده گردانی
۴ ۵ ۱۹۷۹ پیچش+ تکرار وزن+ زیرنمونه گیری (Neocognitron)
۵ ۵ ۱۹۸۱ ۱۹۶۰ و بعد از آن توسعه پس انتشار (BP) برای NN
۱ ۵ ۵ BP برای NN های پیشرو به اشتراک گذاشتن وزن (FNN) و NNهای بازگشتی (RNN)
الگوریتم ۱ ۵ ۵ یک تکرار از BP برای FNN یا RNNهای به اشتراک گذاشتن وزن
۶ ۵ اواخر ۲۰۰۰ ۱۹۸۰ و بعد از آن بهبودهای متعدد NN
۱ ۶ ۵ ایده هایی برای مقابله با تاخیرهای زمانی طولانی و CAP های عمیق
۲ ۶ ۵ BP بهتر از طریق نزول گرادیان پیشرفته ( مقایسه بخش ۲۴ ۵)
۳ ۶ ۵ جستجوی NN های حل مسئله آسان و ساده (بخش ۲۴ ۵)
۴ ۶ ۵ مزایای بالقوه UL برای SL (مقایسه بخشهای ۷ ۵، ۱۰ ۵، ۱۵ ۵ )
۷ ۵ ۱۹۸۷ UL از طریق سلسله م۸ ۵ ۱۹۸۹ BP برای NN های پیچشی
راتب ( مقایسه بخش ۱۵ ۵)
۹ ۵ ۱۹۹۱ مسئله یادگیری عمیق بنیادی نزول گرادیان
۱۰ ۵ ۱۹۹۱ فشرده سازی تاریخچه مبتنی بر UL از طریق پشته عمیق RNN
۱۱ ۵ ۱۹۹۲ در راستای MPCNN ( مقایسه بخشهای )
۱۲ ۵ ۱۹۹۴ NN های اولیه برنده رقابت
۱۳ ۵ ۱۹۹۵ فراگیر بسیار عمیق بازگشتی نظارت شده
۱۴ ۵ ۲۰۰۳ NN های برنده رقابت/ تعیین کننده رکورد NN های عمیق موفق
۱۵ ۵ ۲۰۰۶/۲۰۰۷ UL برای شبکه های باور عمیق/ پشته های AE تنظیم شده با BP
۱۶ ۵ ۲۰۰۶/ ۲۰۰۷ بهبود یافته برای پشته های
۱۷ ۵ ۲۰۰۹ اولین رقابت های رسمی که RNN ها با MPCNN فاتح آن بودند
۱۸ ۵ روی GPU، رکورد MNIST را در هم می شکند
۲۰ ۵ ۲۰۱۱ بهینه سازی آزاد هسی برای RNN
۲۱ ۵ ۲۰۱۲ اولین رقابت های برنده شده روی ، تشخیص شی و قطعه بندی
۲۲ ۵ ۲۰۱۳ رقابت های بیشتر و رکوردهای محک
۲۳ ۵ تکنیک های در حال حاضر موفق و
۲۴ ۵ ترفندهای اخیر برای بهبود NN های عمیق SL ( مقایسه بخشهای ۲ ۶ ۵ و ۳ ۶ ۵)
۲۵ ۵ نتایج عصب شناسی
۲۶ ۵ DL با نورون های اسپایکی؟
۶ DL در FNN و RNN برای یادگیری تقویتی (RL)
۱ ۶ RL از طریق مدلهای جهانی NN RNN هایی با CAP های عمیق حاصل می کند
۲ ۶ FNN های عمیق برای RL سنتی و فرایند تصمیم گیری مارکو (MDP)
۳ ۶ RL RNN های عمیق برای MDP های قابل مشاهده در حد جزئی (POMDP)
۴ ۶ RL تسهیل شده با UL عمیق در FNN و RNN
۵ ۶ RL سلسله مراتبی عمیق (HRL) و یادگیری زیرهدف با FNN و RNN
۶ ۶ RL عمیق با جستجوی مستقیم NN/ گرادیان سیاست/ تکامل
۷ ۶ RL عمیق با جستجوی غیر مستقیم سیاست/ جستجوی فشرده NN
۸ ۶ RL جهانی
۷ نتیجه گیری و چشم انداز

• بخشی از ترجمه:

یادگیری عمیق (DL) در شبکه های عصبی (NN) به یادگیری نظارت شده (SL)، یادگیری نظارت نشده (UL) و یادگیری تقویتی (RL) ربط دارد. با حل مسائل مسیرهای تخصیص اعتبار عمیق (CAP)، UL نه تنها SL توالی ها و الگوهای ایستا بلکه همچنین RL را تسهیل می نماید. برنامه ریزی پویا (DP) روشی مهم برای SL عمیق و RL سنتی با NN های عمیق می باشد. جستجو برای NN هایی با پیچیدگی پائین، مقاوم در برابر اختلال برای محاسبه راه حل که توسط چند بیت اطلاعات وصف می شوند، می تواند برازش بیش از حد را کاهش داده و عمیق و همچنین RL را حتی در مورد محیط های قابل مشاهده در حد جزئی بهبود بخشد.
عمیق اغلب سلسله مراتبی از نمایش های مجرد تر داده های ایستا، داده های ترتیبی، یا سیاست های RL ایجاد می کنند. درحالیکه UL می تواند SL را تسهیل نماید، SL خالص برای NN های پیشرو (FNN)، و NN های بازگشتی (RNN) نه تنها در رقابت های اولیه بلکه در اکثر رقابت های اخیر برنده شدند. به ویژه DL در FNN از پیاده سازی GPU سود برد. به ویژه NN های پیچشی، و مبتنی بر GPU در رقابت های مربوط به تشخیص الگو و همچنین قطعه بندی تصویر و تشخیص شی برنده شدند.
برخلاف این سیستم ها، انسان ها یاد می گیرند الگوها را با توجه به اجزای مربوطه داده های موجود، فعالانه درک کنند. NN های عمیق آینده نزدیک، نیز این کار را انجام داده و کار قبلی از سال 1990 پیرامون NN هایی که توجه انتخابی را از طریق RL (a) اعمال حرکتی نظیر کنترل جهشی و (b) اعمال درونی که نورافن های توجه در RNN ها را کنترل کرده و حلقه حسی حرکتی عمومی را از طریق بازخورد برونی و درونی می بندند، یادمی گیرند، توسعه می دهند.

• بخشی از مقاله انگلیسی:

Preface This is the preprint of an invited Deep Learning (DL) overview. One of its goals is to assign credit to those who contributed to the present state of the art. I acknowledge the limitations of attempting to achieve this goal. The DL research community itself may be viewed as a continually evolving, deep network of scientists who have influenced each other in complex ways. Starting from recent DL results, I tried to trace back the origins of relevant ideas through the past half century and beyond, sometimes using ‘‘local search’’ to follow citations of citations backwards in time. Since not all DL publications properly acknowledge earlier relevant work, additional global search strategies were employed, aided by consulting numerous neural network experts. As a result, the present preprint mostly consists of references. Nevertheless, through an expert selection bias I may have missed important work. A related bias was surely introduced by my special familiarity with the work of my own DL research group in the past quarter-century. For these reasons, this work should be viewed as merely a snapshot of an ongoing credit assignment process. To help improve it, please do not hesitate to send corrections and suggestions to juergen@idsia.ch. 1. Introduction to Deep Learning (DL) in Neural Networks (NNs) Which modifiable components of a learning system are responsible for its success or failure? What changes to them improve performance? This has been called the fundamental credit assignment problem (Minsky, 1963). There are general credit assignment methods for universal problem solvers that are time-optimal in various theoretical senses (Section 6.8). The present survey, however, will focus on the narrower, but now commercially important, subfield of Deep Learning (DL) in Artificial Neural Networks (NNs). A standard neural network (NN) consists of many simple, connected processors called neurons, each producing a sequence of real-valued activations. Input neurons get activated through sensors perceiving the environment, other neurons get activated through weighted connections from previously active neurons (details in Section 2). Some neurons may influence the environment by triggering actions. Learning or credit assignment is about finding weights that make the NN exhibit desired behavior, such as driving a car. Depending on the problem and how the neurons are connected, such behavior may require long causal chains of computational stages (Section 3), where each stage transforms (often in a non-linear way) the aggregate activation of the network. Deep Learning is about accurately assigning credit across many such stages. Shallow NN-like models with few such stages have been around for many decades if not centuries (Section 5.1). Models with several successive nonlinear layers of neurons date back at least to the 1960s (Section 5.3) and 1970s (Section 5.5). An efficient gradient descent method for teacher-based Supervised Learning (SL) in discrete, differentiable networks of arbitrary depth called backpropagation (BP) was developed in the 1960s and 1970s, and applied to NNs in 1981 (Section 5.5). BP-based training of deep NNs with many layers, however, had been found to be difficult in practice by the late 1980s (Section 5.6), and had become an explicit research subject by the early 1990s (Section 5.9). DL became practically feasible to some extent through the help of Unsupervised Learning (UL), e.g., Section 5.10 (1991), Section 5.15 (2006). The 1990s and 2000s also saw many improvements of purely supervised DL (Section 5). In the new millennium, deep NNs have finally attracted wide-spread attention, mainly by outperforming alternative machine learning methods such as kernel machines (Schölkopf, Burges, & Smola, 1998; Vapnik, 1995) in numerous important applications. In fact, since 2009, supervised deep NNs have won many official international pattern recognition competitions (e.g., Sections 5.17, 5.19, 5.21 and 5.22), achieving the first superhuman visual pattern recognition results in limited domains (Section 5.19, 2011). Deep NNs also have become relevant for the more general field of Reinforcement Learning (RL) where there is no supervising teacher (Section 6). Both feedforward (acyclic) NNs (FNNs) and recurrent (cyclic) NNs (RNNs) have won contests (Sections 5.12, 5.14, 5.17, 5.19, 5.21, 5.22). In a sense, RNNs are the deepest of all NNs (Section 3)— they are general computers more powerful than FNNs, and can in principle create and process memories of arbitrary sequences of input patterns (e.g., Schmidhuber, 1990a; Siegelmann & Sontag, 1991). Unlike traditional methods for automatic sequential program synthesis (e.g., Balzer, 1985; Deville & Lau, 1994; Soloway, 1986; Waldinger & Lee, 1969), RNNs can learn programs that mix sequential and parallel information processing in a natural and efficient way, exploiting the massive parallelism viewed as crucial for sustaining the rapid decline of computation cost observed over the past 75 years.

نوشته دانلود ترجمه مقاله Deep learning در شبکه های عصبی – مجله الزویر اولین بار در ترجمه فا پدیدار شد.

فهرست مطالب:

چکیده
۱ مقدمه
۲ سیستم RL دو سطحی
۱ ۲ معادلات یادگیری و به روزدرآوری ها
۲ ۲ انتخاب عمل
۳ ۲ ویژگیها و محدودیت ها
۴ ۲ کارایی یادگیری سطح بالا
۳ نتایج تجربی
۱ ۳ حوزه فوتبال ساده شده
۱ ۱ ۳ تنها روشهای درست
۲ ۱ ۳ با تقریب تابع
۲ ۳ حوزه RTS تاکتیکی
۱ ۲ ۳ ویژگیها و نادرستی یابی دقتی ورابطه ای
۴ بحث و کار وابسته
۵ نتیجه گیری

بخشی از ترجمه:

 ۱ مقدمه

دانش تخصصی معمولاً در یادگیری تقویتی در مقیاس بزرگ (RL) به طرق گوناگونی بکار گرفته شده است. به ویژه، RL سلسله مراتبی فرایندهای تصمیم گیری تک عاملی مارکو (MDP) را از طریق تقسیم بندی بازگشتی آنها به مسائل کوچکتر با استفاده از سلسله مراتب وظایف، اداره می کند. سلسله مراتب وظایف فضای حل (سیاست ها) مسئله یادگیری را محدود می کند به گونه ای که فقط اعمال وابسته به کار و وظایف را در هر مقطع زمانی می توان انتخاب نمود. یادگیری (فراگیری) سیاست انتخاب وظایف خوب روند اکتشاف را به سمت بخشهای امیدوارکننده تری از MDP هدایت می کند.

برای مسائل چند عاملی، هر عامل دارای مجموعه اعمالی است که محصول دکارتی، فضای عمل مشترک را تشکیل می دهد. این فضا در تعدادی از عوامل نمایی بوده و به همین خاطر RL با اکتشاف ساده، به صورت آهسته انجام می گیرد. برای مسائل چند عاملی با یک سلسله مراتب وظیفه به ازای هرعامل از RL سلسله مراتبی استفاده شده که اعمال به صورت مشترک انتخاب شده اند. به محض انتخاب وظیفه هر عامل، مجموعه محدود شده ای از اعمال در مورد او در نظر گرفته می شود. اما، این چارچوب را نمیتوان به راحتی بسط و توسعه داد و رفتار هماهنگی میان عوامل متعدد را لحاظ نمود.

 5. نتیجه گیری
دراینجا کاربرد دانش هماهنگی تخصصی برای بهبود RLاز طریق CC ها برای MDP های چند عامل از دیدگاه متمرکز را مورد پژوهش قرار داده ایم. سطح بالای سیستم پیشنهاد شده یاد می گیرد برای هدایت فرایند اکتشاف سطح پائین به سمت کسب تجربه بهتر، CC ها را فعال سازد. یادگیری برای فعال سازی CC ها امکان انعطاف پذیری در کشف سیاست های خوب را فراهم می آورد. برعکس، داشتن CC های ایستایی یا ثابت به تنهایی منجر به محدودیت بیش از حد سیاست می گردد. در اینجا آزمایشاتی را انجام دادیم که سیستم معرفی شده را با سایر روشهای مفید برای مسائل چند عاملی تلفیق کردند. نتایج بدست آمده پیرامون حوزه های مختلف حاکی از آن است که سیستم RL دو سطحی منجر به سیاست های بهتری در مقایسه با شیوه های موجود می گردد. به علاوه، RL با CC ها از اکتشاف زودهنگام به ویژه با CC های چند عاملی استفاده بهتری می کند. این مسئله برای برنامه های کاربردی آنلاین مفید می باشد زیرا نیل به هدف بالاتر صورت گرفته است. کار آتی شامل خودکارسازی ساخت CC ها برای کاهش تکیه بر دانش تخصصی می باشد. سایرین از یادگیری غیر متمرکز برای برنامه های توزیع شده با هزینه های ارتباطی و تلفیق روش حاضر با روشهای بر مبنای وظیفه تشکیل می شوند.

بخشی از مقاله انگلیسی:

INTRODUCTION

Expert knowledge is commonly employed in large-scale reinforcementlearning (RL) in a variety of ways. In particular,hierarchical RL handles single agent Markov decision processes(MDPs) by recursively partitioning them into smallerproblems using a task hierarchy [19, 7, 1]. The task hierarchyconstrains the solution space (policies) of the learningproblem so that only relevant actions for a task can be selectedat each time step. Learning a good task selection policy will direct exploration towards the more promisingparts of the MDP.

For multi-agent problems, each agent has a set of actionswhose Cartesian product forms the joint action space. Thisspace is exponential in the number of agents and therefore,RL with naive exploration is slow. Hierarchical RL has beenadapted to multi-agent problems [15, 9] by having one taskhierarchy per agent where the actions are selected jointly.Once each individual agent’s task is selected, it will have aconstrained (reduced) set of actions to consider. However,this framework cannot be easily extended to incorporate coordinationbehavior among multiple agents.

5. CONCLUSION

We have investigated the use of expert coordination knowledge to improve RL via CCs for multi-agent MDPs from a centralized perspective. The proposed system’s top level learns to activate CCs to guide the bottom level’s exploration towards better experience. Learning to activate CCs allows flexibility in discovering good policies. Conversely, having only static CCs may lead to over-constraining the policy. We conducted experiments that progressively integrate our system with other useful methods for multi-agent problems. Our results on different domains demonstrate that the two-level RL system leads to better policies compared to existing approaches. Further, RL with CCs makes better use of early exploration, especially with multi-agent CCs. This is advantageous for online applications as overall higher goal achievement is attained. Future work involves automating the construction of CCs to reduce reliance on expert knowledge. Others include decentralized learning for distributed applications with communication costs, and fusing our method with task-based methods.

دانلود رایگان مقاله انگلیسی

خرید ترجمه فارسی مقاله با فرمت ورد

خرید نسخه پاورپوینت این مقاله جهت ارائه

نوشته دانلود ترجمه مقاله یادگیری تقویتی با راهنمایی هماهنگی – مجله ACM اولین بار در ترجمه فا پدیدار شد.