بیگ دیتا یا کلان داده در همه جا وجود دارد اما اینکه دقیقا چه چیزی است و چه تفاوتی با دیتای معمولی دارد یک سوال مهم است. هر اقدامی که انجام می دهیم چه در حالت آنلاین و چه در حالت آفلاین مجموعه ای از داده ها و اطلاعات را تشکیل می دهید. در حقیقت انسان ها از زمانی که اولین نگاره های خود را روی سطح غارها کشیدند تا اولین سرشماری در سال 3800 قبل از میلاد و تا امروز و ظهور دنیای دیجیتال در حال ثبت داده ها بوده اند، البته امروز با توجه به سرعت گرفتن انتقال اطلاعات امکان دسترسی به این داده ها سریعتر و آسان تر از گذشته است. بنابراین بیگ دیتا یا کلان داده چیست؟



اگر دنیای آنلاین را به عنوان یک جهان مستقل و چهار و نیم میلیارد کاربر را مردم آن در نظر بگیریم، هر کدام مجموعه ای از داده هستند. بیگ دیتا یا کلان داده به معنی حجم عظیمی از داده ها است که بدون دسته بندی در هر دقیقه و هر روز تولید می شوند و اگر از آنها به درستی استفاده شود ارزش بسیاری دارند.

اگر مفهوم بیگ دیتا یا کلان داده برایتان مبهم است و مایلید بیشتر در مورد آن بدانید مطلب زیر به شما کمک می کند که جواب سوالاتی از قبیل "بیگ دیتا چیست؟، بیگ دیتا از کجا تولید می شود؟، انواع مختلف بیگ دیتا چیست؟، ارزش بیگ دیتا چقدر است؟ " را پیدا کنید.

بیگ دیتا یا کلان داده چیست؟

John Mashey متخصص کامپیوتر در اوایل دهه 90 میلادی اصطلاح بیگ دیتا را ابداع کرد اما این مفهوم در سال 2000 مورد توجه قرار گرفت و شاید دلیل این توجه ظهور اینترنت به صورت فراگیر، گرایش ما به دستگاه های هوشمند و محبوب شدن رسانه های اجتماعی باشد. ما به طور روزانه در حال تولید اطلاعات به صورت گسترده و سریع هستیم و همین اطلاعات اساس کلان داده یا بیگ دیتا را تشکیل می دهد. در واقع بیگ دیتا به معنای حجم زیادی از داده ها و اطلاعات است که به سرعت و با تنوع بسیار منتشر می شود و نمی شود آنها را با استفاده از روش های سنتی پردازش کرد.



سوال بعدی این است که بیگ دیتا یا کلان داده چقدر بزرگ است و منظور از "سرعت" دقیقا چیست؟ Douglas Laney یک متخصص داده و اطلاعات در شرکت معتبر گارتنر است، او در سال 2001 سه ویژگی مهم برای بیگ دیتا تعریف کرد: حجم، سرعت و تنوع. این ویژگی ها برای تعریف بیگ دیتا و تشخیص آن از دیتا معمولی کاربرد دارد.  





حجم: اولین چیزی که باید درباره ی بیگ دیتا یا کلان داده بدانید این است که بزرگ است و به طور مداوم در حال رشد است. در ابتدای سال 2020 تخمین زده می شد که جهان دیجیتال از 44 زتابایت بیگ دیتا تشکیل شود. برای در نظر گرفتن عظمت حجم این داده باید بدانید که یک zettabyte تقریباً برابر با یک تریلیون گیگابایت است. تصور می شود تا سال 2025 تقریباً 463 اگزابایت داده در هر 24 ساعت در سراسر جهان تولید شود. یک exabyte معادل یک میلیارد گیگابایت است. بنابراین هنگامی که ما در مورد بیگ دیتا صحبت می کنیم با حجم عظیم و تقریباً غیرقابل درکی از داده ها روبرو هستیم.  



سرعت: اینکه ما همیشه آنلاین هستیم به این معناست که شرکت ها به معنای واقعی کلمه مملو از داده ها و اطلاعات هستند. هر فردی که از یک دستگاه هوشمند استفاده می کند، در اینترنت گشت و گذار می کند یا از شبکه های اجتماعی استفاده می کند در حال تولید داده های خود است و از دیدگاه کسب و کار جذب و استفاده از این داده ها به نفع شرکت ها است. بنابراین، سرعت بیگ دیتا یا کلان داده به سرعت تولید و جمع آوری داده ها اشاره دارد.  



تنوع: بیگ دیتا از منابع مختلف و بی شماری به دست می آید و به همین دلیل پیچیده است. داده ها و اطلاعات به اشکال مختلف از نوشتار تا ویدئو و صوت منتشر می شوند در نتیجه برای تحلیل و پردازش آنها به روش های مختلفی نیاز است.   با توجه به توضیحاتی که گفته شد چه تفاوتی بین بیگ دیتا و دیتای معمولی و کوچک وجود دارد؟ بهترین راه تشخیص بیگ دیتا از داده های معمولی توجه به چالش هایی است که بیگ دیتا ایجاد می کند. داده های معمولی اساساً داده های ساختاری هستند که به طور منظم در یک پایگاه داده جمع می شوند و می توان با استفاده از ابزارها و نرم افزارهای سنتی، مانند Excel آنها را مرتب و تحلیل کرد. در مقابل حجم، سرعت و تنوع بیگ دیتا به قدری بزرگ است که نمی توان با ابزار سنتی و تنها یک روش آنها را پردازش و تحلیل کرد.

بیگ دیتا یا کلان داده چطور تولید می شوند؟

سه منبع اصلی برای تولید بیگ دیتا وجود دارد:





داده های اجتماعی داده های اجتماعی همه ی داده هایی است که از شبکه های اجتماعی مانند فیس بوک، توییتر و اینستاگرام به دست می آید. این اطلاعات شامل لایک، توییت، نظر، تصویر، لینک، لوکیشن و پین در Pinterest است و اساساً هر چیزی که به صورت عمومی در شبکه های اجتماعی به اشتراک گذاشته می گذارید در این قسمت دسته بندی می شود. شرکت ها از داده های اجتماعی برای ایجاد کمپین های تبلیغاتی هدفمند استفاده می کنند.  





داده های ماشینی داده های ماشینی توسط رایانه ها، نرم افزار ها، دستگاه ها و هر نوع ماشینی که می توان آن را برنامه ریزی کرد، به طور خودکار و بدون درگیری انسان تولید می شود. به عنوان مثال از طریق سنسورهای موجود در دستگاه های پزشکی، دوربین های کنترل سرعت نصب شده در جاده، ماشین های هوشمند و ماهواره ها اطلاعاتی دریافت و نگهداری می شود که می توان از آنها استفاده های مختلفی کرد.  





داده های معاملاتی داده های معاملاتی اطلاعاتی هستند که معامله ی بین دو طرف را مستند می کند خواه یک سازمان باشد یا یک فرد. در این حالت یک معامله لزوماً نباید مالی باشد و به هر نوع مبادله توافق یا انتقال گفته می شود. به طور مثال رسید یا فاکتور خرید، سابقه ای مبنی بر اینکه مشتری کالایی را پس داده است، برداشت پول از حساب بانکی، رزرو اتاق هتل یا حتی گرفتن اشتراک یک ایمیل تبلیغاتی جز داده های معاملاتی هستند.  



انواع مختلف بیگ دیتا یا کلان داده برای تبدیل داده های خام به یک اطلاعات مفید و کاربردی تشخیص ساختار داده مهم است زیرا تعیین می کند که چگونه داده ها جمع آوری، پردازش، تجزیه و تحلیل و ذخیره شوند. بیگ دیتا را می توان از نظر ساختار به سه دسته تقسیم کرد:  



داده های ساختار یافته به زبان ساده داده های ساختاریافته نوعی داده هستند که قبلاً در پایگاه داده ذخیره شدند و می توان آنها را در یک قالب ثابت پردازش، ذخیره و بازیابی کرد. داده های ساختاریافته  آسان ترین نوع بیگ دیتا برای کار است زیرا قبل از تجزیه و تحلیل به آماده سازی زیادی احتیاج ندارند. این داده ها تقریبا 20 درصد از محتوای بیگ دیتا را تشکیل می دهند.  





داده های بدون ساختار داده های بدون ساختار نقطه مقابل داده های ساختار یافته هستند، کاملاً بی منظم و بدون قالب مشخص. شما می توانید داده های بدون ساختار را به عنوان داده هایی تصور کنید که اگر در مجموعه و یک کل قرار نگیرند معنایی ندارند. کار با داده های غیر ساختاری بسیار پر دردسر و شامل الگوریتم های پیچیده است و تقریبا 80 درصد از محتوای بیگ دیتا را تشکیل می دهند.  





داده های نیمه ساختار یافته داده های نیمه ساختار یافته در واقع همان داده های بدون ساختار هستند که با داشتن خصوصیات مشخصی پردازش آنها آسان تر می شود. به طور مثال اگر یک ایمیل به دوست خود ارسال کنید محتوای آن جز داده های بدون ساختار است اما آدرس ایمیل، IP کاربر و تاریخ و ساعت ارسال باعث می شود جز داده های نیمه ساختار یافته دسته بندی شود.

بیگ دیتا یا کلان داده چه ارزشی دارد؟

بیگ دیتا یا کلان داده به تنهایی ارزشمند نیست اما پس از تجزیه و تحلیل می توان از آن مفاهیم ارزشمندی استخراج کرد. با استفاده از مدل های پیش بینی کننده و الگوریتم های آماری در نهایت می توان نتایجی گرفت که به شما بگوید چه چیزی خوب به درد می خورد، چه چیزی چندان کارآیی خوبی ندارد و چه عواملی ممکن است در آینده به بهبود و کارکرد موضوع مورد نظر شما کمک کند. پردازش بیگ دیتا نیروی محرکه تصمیم گیری های کسب و کار هوشمند است که به شما کمک می کند مخاطب خود را بهتر بشناسید، بتوانید محصولات خاص تری تولید کنید، از هزینه ی جاری کم کنید، فروش را افزایش دهید و به همین دلایل است که ذخیره سازی بیگ دیتا یا کلان داده ارزش بسیاری برای شرکت ها دارد.