Big data اصطلاحی است برای مجموعه داده های حجیم که بزرگ، متنوع، با ساختار پیچیده و با دشواریهایی برای ذخیره سازی، تحلیل و تصویرسازی (نمایش)، پردازشهای بیشتر یا نتایج میباشد. پروسه تحقیق بر روی داده های حجیم جهت آشکارسازی الگوهای مخفی و راز همبستگی ها، تجزیه و تحلیل big data نامیده میشود. این اطلاعات مفید برای سازمانها وشرکتها در جهت کسب بینش غنی تر و عمیق تر و موفقیت در رقابت کمک میکند. به همین دلیل اجراهای big data نیاز دارند تا در صورت امکان، تحلیل شوند و به طور دقیق اجرا شوند. این گزارش خلاصه ای از محتوای big data، هدف، مثالها، روشها، منافع و چالش ها ارائه میدهد و در خصوص نگرانیهای حفظ حریم خصوصی در big data بحث میکند.
Big data و تجزیه و تحلیلش در مرکز علوم و تجارتهای مدرن هستند. این داده ها از تراکنشهای online email ها، ویدئوها، صوتها، کلیک کردن ها، log ها و ارسالها، درخواستهای جستجو، یادداشتهای درست، تعاملات شبکه های اجتماعی، داده های علمی، سنسورها و تلفنهای همراه و برنامه های کاربردی آنها تولید میشوند. آنها بر روی پایگاه داده ها که به شکل حجیم رشد میکنند، ذخیره میشوند و ضبط، شکل دهی، ذخیره سازی، مدیریت، به اشتراک گذاری، تحلیل و نمایش آنها از طریق ابزارهای نوعی نرم افزار پایگاه داده ها، دشوار میشود.
سرفصل های دوره آموزشی Udemy Hands on Big Data with Apache Hadoop, Python and HDInsight:
– خوش آمدید و مبانی درس
– تنظیم و تاسیسات
– شروع با Big Data و HDInsight
– بزرگ اطلاعات MapReduce
– هایو – استفاده از SQL با HDInsight
– اسکریپت Pig
– داده های بزرگ را برای برنامه های واقعی دنیا بهینه سازی کنید
– UDF – گسترش اطلاعات بزرگ فراتر از Pig و هایو با استفاده از توابع تعریف شده کاربر
– نتیجه