پیش بینی طوفان در یک ابر

Storm Prediction in a Cloud

Abstract

Predicting future behavior reliably and efficiently is key for systems that manage virtual services; such systems must be able to balance loads within a cloud environment to ensure that service level agreements are met at a reasonable expense. In principle accurate predictions can be achieved by mining a variety of data sources, which describe the historic behavior of the services, the requirements of the programs running on them, and the evolving demands placed on the cloud by end users. Of particular importance is accurate prediction of maximal loads likely to be observed in the short term. However, standard approaches to modeling system behavior, by analyzing the totality of the observed data, tend to predict average rather than exceptional system behavior and ignore important patterns of change over time. In this paper, we study the ability of a simple multivariate linear regression for forecasting of peak CPU utilization (storms) in an industrial cloud environment. We also propose several modifications to the standard linear regression to adjust it for storm prediction.

1 Introduction

Infrastructure as a Service (IaaS) is becoming a norm in large scale IT systems and virtualization in these environments is common. One of the main difficulties of such virtualization is the placing of virtual machines (VMs) and balancing the load. If the demands placed on the infrastructure exceed its capabilities, thrashing will occur, response times will rise, and customer satisfaction will plummet. Therefore it is essential to ensure that the placing and balancing is done properly [1-4].

Proper balancing and capacity planning in such cloud environments requires forecasting of future workload and resource consumptions. Without good forecasts, cloud managers are forced to over-configure their pools of resources to achieve required availability, in order to honor service level agreements (SLAs). This is expensive, and can still fail to consistently satisfy SLAs. Absent good forecasts, cloud managers tend to operate in a reactive mode and can become ineffective and even disruptive.

Several workload forecast techniques based on time series analysis have been introduced over the years [5] that can be applied in the cloud settings as well. The bottom-line of such literature is that there is no “silver bullet” technique for forecasting. Depending on the nature of the data and characteristics of the services and the workload, different statistical techniques and machine learning algorithms may perform better than the others. In some cases even the simplest techniques such as linear regression may perform better than the more complex competitors [6].

To understand the practicality of such prediction techniques on industrial size problems, we set up a series of case studies where we apply different forecasting techniques on data coming from our industrial collaborator, CA Technologies [7]. CA Technologies is a cloud provider for several large scale organizations. They provide IaaS to their clients and monitor their usage. Their cloud manager system basically is responsible for balancing the workload by placing the virtual machines on the physical infrastructure.

In this paper, we report our experience on applying a basic multivariate linear regression (MVLR) technique to predict the CPU utilization of virtual machines, in the context of one of the CA clients. However, unlike many existing prediction techniques, where they minimize the average prediction errors or maximize average likelihoods, we are more interested in predicting extreme cases rather than averages. The motivation comes from the type of workload we are facing in our case study, which is not very uncommon for other cloud-based applications, as well. In our case, the average utilization across all VMs was at most 20%, but the maximum utilization was almost invariably very close to 100%. Applying MVLR in such data (most of the time very low utilization but occasionally reaching to peaks), we realized that though the average predictions are very accurate but the forecast for large values (storms) are drastically poor.

To cope with this problem, we introduce several modifications to the basic MVLR to adjust it for predicting peak values. The results show that subtracting seasonalities extracted by Fourier transform and then using a weighted MVLR provides our best observed results for storm prediction. In the following sections, we describe the details of each modified MVLR and report its results.

مقاله انگلیسی رایگان (PDF)

ترجمه فارسی رایگان (PDF)

خرید ترجمه با فرمت ورد

بخشی از ترجمه فارسی مقاله:

1- مقدمه
موج طوفان ناشی از افزایش غیر طبیعی سطح دریا ناشی از نیروهای جوی، از جمله فشار باد و فشار اتمسفری همراه با سیکلون های فوق العاده گرمسیری و گرمسیری است (فلادر، 2001). این تاثیر بزرگی در مناطق ساحلی دارد و ممکن است آسیب جدی به سازه های ساحلی وارد کند و باعث از دست رفتن جان و مال انسان شود (مدسن و جاکوبسن ، 2004). رودخانه یانگ تسه و خلیج یانگ ژو در ساحل شرقی چین و در معرض دریا واقع شده اند. آنها تحت تهدیدات مکرر از سیکلون های گرمسیری قرار می گیرند، دچار آسیب جدی ناشی از باد شدید، موج طوفان و سیلاب های داخلی می شوند. این سیکلون های گرمسیری عمدتا در سطح اقیانوس، در شرق جزایر فیلیپین یا در نزدیکی جزیره گوام تولید می شوند. طبق آمارهای سال های 1949 تا 2008، حدود 3.5 گردباد در هر سال در این مناطق رخ داده است که باعث افزایش شدید طوفان شده است و یکی از شدیدترین بلایای اقیانوسی در منطقه را ایجاد کرده است. پیش بینی موج طوفان، بهترین راه برای کاهش خسارت آن است. تولید موج های بلند بوسیله طوفان های فوق العاده گرمسیری در اروپا توسط (کلیام و همکاران، 2006؛ زامپاتو و همکاران، 2006) مورد مطالعه قرار گرفت، در حالی که این موج های بلند ناشی از طوفان در خلیج مکزیک و ایالات متحده شرقی در شمال امریکا توسط (پنگ و همکاران، 2006a، b ؛ وایزبرگ و ژنگ، 2008) مورد مطالعه قرار گرفت و موج های ناشی از گردبادها در آسیا و اقیانوسیه توسط (مکنس و همکاران، 2002؛ جین و همکاران، 2007) مورد مطالعه قرار گرفت. روش های پیش بینی به دو دسته کلی تقسیم می شوند: روش های پیش بینی آماری تجربی (مانند کنر و همکاران، 1957؛ هریس، 1959) و روش های پیش بینی عددی (به عنوان مثال، یلنسکی هنسکی، 1966؛ 1967). روش های پیش بینی آماری تجربی نیاز به نظارت دقیق و طولانی دارند، بنابراین آن ها تا حد زیادی محدود شده اند (برای کاربردهای خاصی استفاده می شوند)؛ روش های پیش بینی عددی از نتایج پیش بینی عددی که اطلاعات مربوط به پیش بینی های طوفان مانند پیش بینی باد، فشار و جابجایی آب دریا در منطقه مورد مطالعه را با حل یک سری از معادلات دینامیکی پیچیده ارائه می دهد، استفاده می کنند. با پیشرفت در فن آوری رایانه، اکثر کشورها این روش را برای پیش بینی وقوع طوفان اتخاذ کرده اند. علاوه بر این، پیش بینی عددی یکی از اقدامات اولیه برای کنترل فاجعه موج طوفان است. به عنوان مثال، مدل معروف SLOSH به طور گسترده ای برای کاربردهای دو بعدی مورد استفاده قرار گرفته است (یلنسکی هنسکی و همکاران، 1992).آزمایش های عددی به ما کمک کرد تا بینشی را نسبت به مکانیزم های موج طوفان بدست آوریم. آنها به نوبه خود به بهبود نظریه های موج طوفان کمک می کنند. با ظهور رایانه های با سرعت بالا، تقریب های عددی برای معادلات حاکم توسعه یافته است. در اوایل دوره، شبکه های محاسباتی ساختاری (به طور کلی مربع ها) در دو بعد (به صورت عمودی یکپارچه) استفاده شد (کائو و زو، 2000؛ دایچه و همکاران، 2007؛ هو و همکاران، 2007). با این حال، مدل های دو بعدی ممکن است فشار ته (bottom stress) را یا کمتر از واقعیت و یا بیشتر از واقعیت تخمین بزنند. پارامترهای فیزیکی غیر واقعی یا تکنیک های دیگر فشار سطحی برای کالیبره کردن مدل لازم هستند. آن ها اساسا ساختار جریان عمودی که ممکن است اثر قابل توجهی بر شبیه سازی بگذارد را نادیده می گیرند (وایسببرگ و ژنگ ، 2008). سپس، مدل موج طوفان سه بعدی توسعه یافت. آن امکان گنجاندن توزیع مجدد توده ای را می-دهد (تعادل بین شار خالص آب در داخل یک منطقه و تغییر در سطح آب) و نمایش واقع بینانه تری از خطوط ساحلی و عمق سنجی ها را ارائه می دهد. تحقیق اثر تعامل غیرخطی بین جزر و مد نجومی و موج طوفان به منظور بازتاب نوسانات دوره ای واضح دیده شده در مشاهدات طوفان را بررسی می کند (وانگ و چای، 1989). تکنیک های عددی اجزا محدود غیرساختاری (بی ساختار)، برای مدل های جریان طوفانی طراحی شدند که امکان استفاده از شبکه های محاسباتی تشکیل شده از مثلث های بدون ساختار را می دهند. این شبکه ها به راحتی پیکربندی می-شوند تا ویژگی های توپوگرافی و عمق سنجی های پیچیده (مانند خطوط ساحلی نامنظم، رودخانه ها، خلیجک ها و جزایر سدی و غیره) را نشان دهند. بنابراین، آن ها می توانند وضوح بسیار بالا را در زمینه مورد نظر (چن و همکاران، 2003؛ 2007) ارائه دهند. دقت ورودی میدان باد در طول یک سیکل گرمسیری برای نتایج مدل سازی موج طوفانی بسیار مهم است. برخی از فشار پارامتری کلاسیک (classic parametric pressure) یا مدل های باد اغلب به راحتی برای تولید میدان های بادی متقارن استفاده می شوند (هلند، 1980). این مدل های پارامتری سیکلون، در زمان اجرای سیکلون های قدیمی، دقت کم میدان های باد را نشان دادند. با میدان های دقیق باد، مدل-های موج طوفان سه بعدی در حال حاضر قادر به توضیح کامل اثر جذر و مد نجومی در سطح کل آب می باشند. آن ها همچنین می توانند سیلاب های احتمالی را در طول طوفان پیش بینی کنند. در این مطالعه، مدل اولیه اقیانوس (FVCOM)، که از روش نقطه شبکه خشک و تر (WDM)، استفاده کرد با اضافه کردن تغییر سطح آب با توجه به فشار اتمسفری برای مدل موج طوفان سه بعدی اصلاح شد. به طور کلی، ورودی داده های مدل طوفان از یک سیستم عامل DOS استفاده می کند. فایل های داده خروجی حاوی تصاویر استاتیک ترسیم شده، بودند. بنابراین، دقیق بودن و اثرات زمانی پیش بینی جریان موج طوفان تا حد زیادی تحت تأثیر قرار می گیرند. علاوه بر این، تحلیل موثر و درک بصری نیز مانع می شوند (وایزبرگ و ژنگ، 2006a، b؛ گوا و همکاران، 2009؛ یین و همکاران، 2009). این یک حوزه پژوهش مرزی است که از طریق ترکیب با بهبود مشاهدات هواشناسی و مدل سازی، دقت اطلاعات عمق سنجی، قابلیت های محاسباتی و سیستم های هشدار طوفانی می تواند در نهایت طرح های بلایای ملی را بهبود بخشد (تاسینس و گاد، 2001؛ کاستروژیوانی و همکاران، 2005). سیستم اطلاعات جغرافیایی (GIS) کاربران را قادر می سازد که حجم زیادی از داده ها را در یک فرآیند زمانی کوتاه مدت مدیریت کنند و به آن ها این امکان را می دهد که به جای اینکه زمان بیشتری برای وظایف اولیه صرف کنند این زمان را برای مطالعه کارهای مهندسی اختصاص دهند. تلاش های متعددی برای ادغام مدل های هیدرودینامیکی با GIS صورت گرفته است (به عنوان مثال تاسینس و بویل، 2001؛ جم اسی و تولیکس، 2004؛ ناوم و همکاران، 2005؛ انگ و همکاران، 2009). چنین ادغام هایی (یکپارچه سازی) نه تنها پیش پردازش و پس پردازش مدل سازی کارآمد را ارائه می دهند، بلکه همچنین سیستم با مدیریت داده های فضایی، تجزیه و تحلیل و قابلیت های مصور سازی را فراهم می کند (انگ و همکاران، 2009). این مقاله تلاش کرد تا یکپارچه سازی یک باد متقارن ناشی از طوفان و میدان فشار را با یک پس زمینه، مدل اقیانوس حجم محدود و عملکرد GIS ایجاد کند. ما تمام فرآیند مدل سازی را به یک محیط واحد متصل کردیم تا از مزایای هر دو سیستم اطلاعات جغرافیایی و مدل سازی عددی که شامل محاسبه مش، انتخاب پارامتر مدل و تنظیم، محاسبات مدل و مصور سازی نهایی نتایج می شوند، استفاده کنیم. این سیستم می تواند قابلیت استفاده از کاربرد مدل و کارایی تصمیم گیری را کامل کند و بهبود بخشد. بنابراین، ما مشکلات مربوط به روش عددی موج طوفان مرسوم از جمله مسائل جمع آوری داده، مصور سازی، پرس و جو فضایی و تجزیه و تحلیل نتایج شبیه سازی را حل کردیم.به عنوان یک روش مصنوعی و معکوس / پیش-بینی برای کنترل فاجعه طوفان، سیستم GIS را با مدل عددی طوفانی ترکیب می کند و محیط عملیاتی خوبی را جهت مصور سازی، پرس و جوی فضایی و تجزیه و تحلیل نتایج شبیه سازی فراهم می کند.
با استفاده از نمونه ی موج طوفان که توسط گردباد اگنس شماره 8114 عبوری از YE-HB ایجاد شد، مقاله در مورد تکنولوژی یکپارچه ضروری که در آن ما ComGIS DLL (نرم افزار ابزراهای دریایی) مدل عددی موج طوفان را در داخل نرم افزار کاربردی ArcGIS تعبیه کردیم، بحث می کند ( مرکل و همکاران، 2008؛ تاسینس و گد، 2001؛ انگ و همکاران، 2009). توسعه یک سیستم یکپارچه پیش بینی عددی موج طوفان پشتیبانی شده توسط GIS نیز گنجانده می شود. روش ها و تخصص های توسعه GIS دسکتاپ خلاصه می شوند. روش های یکپارچه سازی از GIS و مدل کاربردی حرفه ای مورد تجزیه و تحلیل قرار می گیرند. سیستم ادغام بدون درز برای GIS و تمام مراحل مدل عددی، شامل پیش پردازش مدل، محاسبات مدل، پس پردازش مدل و تجسم نتایج را نشان می دهد. به عنوان مثال، مدل رقومی ارتفاع (DEM) برای ایجاد لندفرم (زمین چهر) آب برای تولید داده های شبکه های مختلف به طور خودکار استفاده شد. سپس تکنولوژی پایگاه داده فضایی GIS برای تحقق نمودار اعمال شد و امکان پرس و جوی فضایی بر روی اطلاعات، مانند عمق آب، مسیر گردباد و سطح جزر و مدی را می دهد. آن همچنین توانست با پیش بینی موج طوفان، ارتباط برقرار کند. تکنولوژی تصویر سازی GIS برای شبیه سازی محیط های پویا ساحلی (مانند میدان جریان، توزیع پیوسته آب موج طوفان) و روند تحول آن ها در مناطق آسیب دیده از طوفان اعمال شد. مدل یکپارچه برای تولید موج طوفان تولید شده توسط گردباد اگنس (شماره 8114) و شبیه سازی میدان باد ناشی از گردباد و ارتفاع آب YEHB مورد استفاده قرار گرفت. نتایج نشان می دهند که سیستم خوب است و براحتی اداره می شود. این می تواند کارایی تصمیم گیری را برای مدل عددی موج طوفان بهبود بخشد.
مقاله شامل بخش های زیر است. در بخش 2، مدل عددی متصل شده با سیستم شرح داده می شود. این مدل شامل یک مدل بادی متقارن بوجود آمده از طوفان و یک مدل تجدید نظر شده هیدرودینامیکی FVCOM است که شامل اثر تغییر فشار اتمسفری است. در بخش 3، روش اتصال GIS با مدل سازی هیدرولوژیکی ارائه می شود. سپس، فرآیند موج طوفان YE-HB بوسیله گردباد اگنس (شماره 8114) برای اعتبارسنجی نرم افزار ارتقا یافته-ی Marine Tools Pro، شبیه سازی می شود و نتایج شبیه سازی با داده های مشاهده شده مقایسه می شوند. نتیجه گیری در بخش 4 ذکر می شوند.

بخشی از مقاله انگلیسی:

1 Introduction

Storm surge is an abnormal rise of sea surface caused by atmospheric forces, including wind stress and atmospheric pressure associated with extra-tropical and tropical cyclones (Flather, 2001). It has a great impact on coastal regions and may cause severe damage to coastal structures and loss of human lives and properties (Madsen and Jakobsen, 2004). Yangtze Estuary and Hangzhou Bay (YE-HB) are located in the east coast of China, facing open sea. They are subjected to frequent threats from tropical cyclones, suffering massive damage from resulting strong wind, storm surge and inland flooding. These tropical cyclones are mainly generated on the ocean surface, either east of the Philippine Islands, or near Guam. According to 1949–2008 statistics, about 3.5 typhoons occurred in these areas every year which made storm surge become one of the most serious oceanic disasters in the region. Storm surge forecasting is considered to be the best way to mitigate its damage. Surge generation by extra-tropical storms was studied in Europe (e.g., Kliem et al., 2006; Zampato et al., 2006), while it caused by hurricanes in the Gulf of Mexico and Eastern USA was studied in North America (e.g. Peng et al., 2006a, b; Weisberg and Zheng, 2008), and one by typhoons was studied in Asia and Oceania (e.g. McInnes et al., 2002; Jain et al., 2007). The forecasting methods are divided into two general categories: the empirical statistical forecasting methods (e.g., Conner et al., 1957; Harris, 1959) and the numerical prediction methods (e.g., Jelesnianski, 1966; 1967). The former methods require a sufficiently long-term observation, so they are greatly restricted; the latter one use numerical prediction results that provide information on storm forecasts, such as forecast surface wind, pressure fields, and seawater motion in the specific study area by solving a series of complex dynamic equations. With advances in computer technology, most countries adopted these methods for forecasting storm surges. Moreover, numerical prediction is one of primary measures for storm surge disaster control. For instance, the famous SLOSH model has been widely used for two-dimensional applications (Jelesnianski et al., 1992). Numerical experiments helped us to gain insight into storm surge mechanisms. They in turn contribute to improving storm surge theories. With the appearance of high-speed computers, numerical approximations to the governing equations have been developed. In early period, structured computational grids (generally squares) in two dimensions (vertically integrated) was used (Cao and Zhu, 2000; Dietsche et al., 2007; Hu et al., 2007). However, the 2D models may overestimate (or underestimate) bottom stress. Physically unrealistic parameterizations or other techniques of surface stress are necessary to calibrate the model. They essentially ignore the vertical flow structure that may have a significant effect on simulation (Weisberg and Zheng, 2008). Then, the 3D storm surge model was developed. It allows the inclusion of mass redistribution (the balance between the net water flux into an area and the change in water level) and the representation of more realistic shorelines and bathymetries. Research is also under way to include the influence of nonlinear interaction between astronomical tides and storm surge to reflect the obvious periodic oscillations seen in storm observations (Wang and Chai, 1989). Unstructured, finite element numerical techniques were developed for storm surge models that allowed the use of computational grids composed of unstructured triangles. These grids are easily configured to represent complex topographic and bathymetric features (e.g., irregular coastlines, rivers, inlets and barrier islands, etc.). Therefore, they can provide a very high resolution in area of interest (Chen et al., 2003;2007). The accuracy of wind field input during a tropical cyclone is crucial for the results of storm surge modeling. Some classic parametric pressure or wind models are frequently used to conveniently generate symmetric wind fields (Holland, 1980). These parametric cyclone models have demonstrated accuracy of a few feet wind fields when running past cyclones. With accurate wind fields, the 3D storm surge models are now able to fully account for the effect of the astronomical tide on the total water level. They also can forecast the potential flooding during a storm. In this study, the original Finite-Volume Coastal Ocean Model (FVCOM) model, which used the wet–dry grid point method, was revised by adding the water level change due to the atmospheric pressure field for the 3D storm surge model. In general, the storm model data input uses a DOS operating system mode. Output data files were comprised of the plotted static images. Thus, the accurateness and time effects of storm surge prediction are greatly affected. In addition, effective analysis and visual comprehension are also obstructed (Weisberg and Zheng, 2006a, b; Guo et al., 2009; Yin et al., 2009). This is a frontier research field through combing with improving meteorological observations and modeling, accuracy of bathymetric information, computational capabilities, and hurricane warning systems can enhance national disaster plans at last (Tsanis and Gad, 2001; Castrogiovanni et al., 2005). Geographic information system (GIS) enables users to handle a large amount of data in a short time frame, and allows them to allocate more time to study the engineering tasks instead of spending excess time on preliminary tasks. Numerous efforts have been made to integrate hydrodynamic models with GIS (e. g., Tsanis and Boyle, 2001; Gemitzi and Tolikas , 2004; Naoum et al., 2005; Ng et al., 2009). Such integrations provide not only efficient modeling pre-processing and post-processing, but also the system with spatial data management, analysis, and visualization functionalities (Ng et al., 2009). The paper attempted to establish the integration of a symmetric storm-induced wind and pressure field with a background, finite volume ocean model and GIS functionality. We integrated all of the modeling process into the same environment in order to fully use the advantages of both GIS and numerical modeling, including mesh calculation, model parameter selection and setting, model computation, and the final results visualization. The system can complete and improve the operability of model application and the decision-making efficiency. Thus, we solved the problems associated with traditional storm surge numerical method including issues with data collection, visualization, spatial query, and analysis of simulative results. As a synthetic measure and inversion/prediction for storm-surge disaster control, the system combines GIS with storm-surge numerical model felicitously, and provides well operating environment for visualization, spatial query and analysis of simulative results. Using the example of the storm surge which was induced by No. 8114 Typhoon Agnes crossing the YE-HB, the paper discusses the essential integrated technology in which we embedded ComGIS DLL (MarineTools Pro) of the storm surge numerical model inside the ArcGIS implemental software (Merkel et al., 2008; Tsanis and Gad, 2001; Ng et al., 2009). The development of the integrated system of storm surge numerical prediction supported by GIS is also included. The ways and specialties of the Desktop GIS development are summed up. The integrated methods of GIS and professional applied model are analyzed. The system shows seamless integration for GIS and all phases of the numerical model, including model preprocessing, model computation, model post-processing, and results visualization. For example, the Digital elevation model was utilized to make water landforms to generate the difference-grid data automatically. The spatial database technology of GIS was then applied to realize chart show and allow spatial query on information, such as water depth, typhoon route and tidal level. It also enabled to correlate with prediction of storm surge. GIS visualization technology was applied to simulate coastal dynamic environments (such as flow field, storm surge water accretion distribution) and their transformation process in typhoon-affected regions. The integrated model was used to reproduce the storm surge generated by Typhoon Agnes (No. 8114), and simulate typhoon-induced wind field and water elevations of YEHB. The results show that the system is good, easy to operate. It can improve the efficiency of decision-making for the storm surge numerical model. The paper is organized as follows. In Sect. 2, the numerical model coupled in system is described. The model consists of a symmetric storm-induced wind model and a revised FVCOM hydrodynamic model that involves the effect of the atmospheric pressure change. In Sect. 3, the method of coupling GIS with hydrological modeling is presented. Then, the process of YE-HB storm surge induced by Typhoon Agnes (No. 8114) is simulated to validate the developed MarineTools Pro, and the simulation results are compared with the observed data. The conclusions are outlined in Sect. 4.