دادهکاوی (Data Mining) چیست و چه کاربردی دارد؟

سلام، من چند وقتیه دارم در مورد دیتا ماینینگ تحقیق میکنم، با توجه به چیزهایی که در این زمینه یاد گرفتم، یه پست داخل سایت نوشتم، اون رو اینجا هم منتشر میکنم تا هم افرادی که در این زمینه اطلاعات ندارن بخوننش و هم اینکه دوستانی که در این زمینه اطلاعات دارن، به تکمیل شدن این مقاله کمک کنن.

دادهکاوی (Data Mining) چیست و چه کاربردی دارد؟

امروزه با پیشرفت فناوری و حضور گستردهی آن در زندگی روزمرهمان شاهد کاربرد پررنگ داده و اطلاعات هستیم، یکی از روشهای استخراج اطلاعات از دادههای خام دیتاماینیگ یا دادهکاوی میباشد، در ادامه با همیار آیتیهمراه باشید تا با مفاهیم دادهکاوی و کاربردهای آن آشنا شویم.

قبل از اینکه با مفهموم Data Mining آشنا شویم بهتر است ابتدا تعریف داده (Data) و اطلاعات (Information) را بشناسیم و پس از آن به سراغ دادهکاوی و کاربردهای آن برویم.
تفاوت داده (Data) و اطلاعات (Information) چیست؟

داده (Data) که بعضا از آن با عنوان دادهی خام نیز یاد میشود، گونهای از اطلاعات به صورت خام و دست نخورده است که میتواند بسیار درهم و حتی به صورت عادی غیر قابل استفاده باشد، مجموعهای از اعداد و ارقام درهم و شاید بدون معنای خاص میتوانند به عنوان داده در نظر گرفته شوند، اما نتایج حاصل از پردازش و تجزیه و تحلیل این دادهها به عنوان اطلاعات تلقی میشوند، حتما متوجه شدهاید که اطلاعات نیز میتوانند مجددا به عنوان دادهی ورودی سیستم مورد استفاده قرار گیرند.بنابراین با توجه به توضیحات بالا در حالت کلی اطلاعات و ورودیهای خام را داده (Data) و نتایج حاصل از پردازش دادههای خام را اطلاعات (Information) مینامیم.به عنوان مثال نمرات دانشجویان یک کلاس، داده و نتایج حاصل از پردازش روی این نمرات، شامل میانگین، میزان افزایش یا کاهش نمرات، نمودارها و… میتوانند به عنوان اطلاعات در نظر گرفته شوند.
دادهکاوی (Data Mining) چیست؟

به فرایند استخراج و کشف همبستگیها و الگوهای مفید از میان حجم زیادی از دادههای خام که با استفاده از الگوریتم و ساز و کارهای هوشمند انجام میگیرد دیتاماینینگ یا دادهکاوی میگویند، به زبان سادهتر، استخراج دانش از میان مجموعهای از دادهها را دادهکاوی مینامند.البته لازم به ذکر است، برای اینکه این الگوریتم بتواند دانش را به خوبی استخراج کند نیاز به یکسری پیشپردازش بر روی دادههای اولیه و همچنین یکسری پسپردازش بر روی اطلاعات خروجی خواهد داشت.
کاربردهای اصلی دادهکاوی:

• کشف الگوی میان دادهها
• پیشبینی حدودی نتایج
• بهدست آوردن اطلاعات کاربردی
• تمرکز بر روی دادههای بزرگ

فرایند انجام Data Mining:

همانگونه که در نمودار پایین مشاهده میکنید، دادهکاوی به صورت کلی و عمومی در ۶ مرحلهی اصلی انجام میشود، در ابتدا دادههای مورد نیاز (دادههای هدف) جمعآوری میشوند و مورد پردازش و پاکسازی قرار میگیرند، یعنی دادههای اضافه حذف شده و تنها دادههای مورد نیاز وارد سیستم میشوند.در مرحلهی بعدالگوی میان دادهها کشف و ارزیابی و سپس الگوریتم و متدهای Data Mining بر روی دادهها انجام خواهد شد.در نهایت نیز اطلاعات بهدست آمده از فرایند دادهکاوی در قالب فرمتهای قابل درک برای انسان مانند نمودار، تصویر، گزارش و… ارائه شده و دانش مورد نظر که از میان انبوه دادههای خام استخراج شدهاست در اختیار سازمان قرار خواهد گرفت.

مشکلات اساسی که بر سر راه دیتاماینینگ وجود دارند:

به طور کلی اکثر سیستمهای دادهکاوی با دو مشکل اساسی دستوپنجه نرم میکنند، این مشکلات عبارتند از:

• حجم بالای دادههای موجود در ورودی
• عدم اطمینان کامل به اطلاعات خروجی

• زبان برنامهنویسی آر (R)
• زبان برنامهنویسی پایتون
• زبان برنامهنویسی متلب
• نرمافزار SPSS
• نرمافزار Weka
• نرمافزار RapidMiner

واژهی CRISP (کریسپ) از سرواژههای عبارت CRoss Industry Standard Process for Data Mining و به معنی فرایندهای استاندارد صنعت متقابل برای دادهکاوی در اصل یکی از روشهای تحلیلی متفاوت برای فرایند دادهکاوی است، همانگونه که در نمودار زیر مشاهده میکنید متدلوژی CRISP شامل ۶ مرحلهی اصلی میشود که عبارتند از:

• فهم تجاری (Business Understanding)
• درک داده (Data Understanding)
• آمادهسازی داده (Data Preparation)
• مدلسازی (Modeling)
• ارزیابی (Evaluation)
• توسعه (Deployment)