گامهای انجام پروژه داده کاوی در کسب و کار
0
azsoftir.com
09367292276
09367292276
azsoftir@gmail.com
azsoftir.com
09367292276
09367292276
azsoftir@gmail.com
azsoftir.com
در بسیار از کسب و کارها وسازمان‌ها داده کاوی به عنوان یک جزء تکنولوژی تحلیلی (analytical technology component) در نظر گرفته می شود. در این دیدهدف استفاده از داده کاوی، رسیدن به یک جواب برای یک مشکل یا چالش کسب و کار با استفاده از ابزارهای تکنولوژیک است. همین دید اشتباه باعث شده است که مدیران کسب و کار فکر کنند که انجام پروژه خوب و بدون نقص داده کاوی یعنی خریدن نرم افزار و سخت افزار  های مرتبط با داده کاوی.
مفهوم و تعریف درست داده کاوی در کسب و کار عبارت است:
azsoftir.com
09367292276
09367292276
azsoftir@gmail.com
azsoftir.com
09367292276
09367292276
azsoftir@gmail.com
azsoftir.com
داده کاوی در حوزه کسب و کار یک فرایند گام به گام است که در آن متخصصان حوزه داده کاوی و متخصصان حوزه کسب و کار به صورت مداوم با ابزارها و تکنولوژی‌های داده کاوی در ارتباطات هستند تا بتوانند بهترین راه حل را برای مشکلات کسب و کار ارائه دهند. بر این اساس گام‌های داده کاوی در یک کسب و کار را می‌توانیم به صورت زیر برشماریم

    شناسایی مشکلات و چالش‌های کسب و کار
    تحلیل دقیق و موشکافانه مشکلات و چالش‌ها
    شناسایی ابزارها و تکنیک‌های مناسب داده کاوی برای حل مشکلات یا چالش‌ها
    پیاده سازی راه حل و نظارت بر خروجی

گام های بیان شده در بالا می بایست به صورت متوالی انجام شوند و وردوی هر گام، خروجی گام قبلی است. به عبارت دیگر تا یک گام انجام نشود، شروع گام بعدی ممکن نیست.

داده کاوی در کسب و کار
azsoftir.com
09367292276
09367292276
azsoftir@gmail.com
azsoftir.com
09367292276
09367292276
azsoftir@gmail.com
azsoftir.com
گام های داده کاوی در کسب و کار

تجربه نشان داده است که گام ” شناسایی مشکلات و چالش‌های کسب و کار ” مهم‌ترین گام در موفقیت داده کاوی در کسب و کارها است. نکته مهمی که بر اساس این تجربه قابل ذکر است؛ این است که در مهمترین گام داده کاوی، نقش متخصصان و نیروی انسانی بسیار پر رنگتر است  ابزاها و تکنولوژی  است.
azsoftir.com
09367292276
09367292276
azsoftir@gmail.com
azsoftir.com
09367292276
09367292276
azsoftir@gmail.com
azsoftir.com
در این مطلبقصد داشتیم تا یک تعریف دقیقتر از داده کاوی از منظر کسب و کار ارائه بدهیم، و دید تکنولوژی تحلیلی محض را نسبت به داده کاوی در کسب و کار برطرف کنیم.

ممکن است برخی داده‌کاوی (Data Mining) را مجموعه‌ای از نرم‌افزارهای خودکار یا روش‌های ریاضی و آماری بدانند. درواقع داده‌کاوی یک فرآیند و متدولوژی است که به مدیران کمک می‌کند تا از داده‌های خام به اطلاعات ارزشمندی برسند که به بهبود تصمیم‌گیری‌های آنان منجر شود. یکی از متداول‌ترین فرآیندها برای انجام پروژه‌های داده‌کاوی، CRISP-DM (Cross-Industry Standard Process for Data Mining) نام دارد. در این مقاله به‌طور عمده به توضیح این روش خواهم پرداخت.
CRISP-DM
azsoftir.com
09367292276
09367292276
azsoftir@gmail.com
azsoftir.com
09367292276
09367292276
azsoftir@gmail.com
azsoftir.com
این استاندارد اولین بار در میانه دهه ۱۹۹۰ میلادی توسط گروهی از شرکت‌های اروپایی به‌عنوان روشی برای انجام پروژه‌های داده‌کاوی ارائه شد. شکل-۱ فرآیند یک پروژه داده‌کاوی را تحت این استاندارد نشان می‌دهد. این فرآیند شش مرحله‌ای از درک نیازهای اصلی کسب‌وکار شروع می‌شود و به ارائه راهکاری برای آن نیاز ختم می‌شود. اگرچه مراحل این فرآیند به دنبال یکدیگر می‌آیند اما در عمل رفت‌وبرگشت‌های زیادی بین مراحل مختلف این فرآیند وجود دارد. کسانی که درگیر پروژه‌های داده‌کاوی بوده‌اند، به‌خوبی می‌دانند که کار کردن با داده نیازمند سعی و خطا و آزمایش کردن است.
شکل-۱
گام اول: فهم کسب‌وکار

یکی از مراحل مهم یک پروژه داده‌کاوی فهم نیاز کسب‌وکار است. این کار با مطالعه و فهم دقیق نیازهای مدیریتی آغاز می‌شود. اهداف کسب‌وکار که انگیزه اصلی اجرای پروژه است باید به‌خوبی مشخص شوند. اهدافی مانند این‌که “ویژگی‌های مشترک مشتریانی که اخیراً از دست دادیم و از خدمات و محصولات شرکت‌های رقیب استفاده می‌کنند، چیست؟” یا “هر یک از مشتریان شرکت دارای چه ارزشی برای ما هستند؟” من همیشه توصیه می‌کنم بهتر است افرادی که دارای فهم خوبی از آن کسب‌وکار هستند در تمام مراحل همراه تیم پروژه داده‌کاوی باشند.
azsoftir.com
09367292276
09367292276
azsoftir@gmail.com
azsoftir.com
09367292276
09367292276
azsoftir@gmail.com
azsoftir.com
فهم کسب‌وکار و هدف اصلی اجرای پروژه مشخص می‌کند چه داده‌هایی باید جمع‌آوری شوند، چگونه داده‌ها تحلیل شوند و چطور نتایج ارائه شوند. همچنین کمک می‌کند تا بودجه موردنیاز برای اجرا و زمان‌بندی پروژه تعیین گردد.

در مورد اهمیت پرسیدن سؤال درست برای فهم کسب‌وکار مقاله “تحول در گوگل: آیا مدیریت به درد می‌خورد؟” را مطالعه کنید.
گام دوم: درک داده

با توجه به نیاز کسب‌وکار، مجموعه‌ای از داده‌ها که می‌توانیم از آن‌ها استفاده کنیم تا هدف آن پروژه محقق گردد، شناسایی می‌شوند. رعایت چند نکته در این مرحله ضروری است.

اول، تحلیل‌گر در مورد نوع داده‌هایی که نیاز دارد باید بسیار دقیق و شفاف باشد. برای مثال ممکن است که یک خرده‌فروش که به دنبال تحلیل رفتار خریداران زن که پوشاک فصلی می‌خرند است، داده‌هایی در مورد وضعیت جمعیت شناختی آنان، میزان خرید و ویژگی‌های اجتماعی-اقتصادی آنان جمع‌آوری کند.

دوم، تحلیل‌گر باید با داده‌ها به‌خوبی ارتباط برقرار کند. او باید منابع جمع‌آوری داده را بشناسد؛ این‌که داده‌ها چگونه جمع‌آوری‌ شده‌اند، در چه قالبی نگه‌داری می‌شوند، دستی جمع‌آوری می‌شوند یا به شکل خودکار، چه کسانی داده‌ها را جمع‌آوری می‌کنند، هر چند وقت یک‌بار داده‌ها به‌روزرسانی می‌شوند و مانند آن.

او همین‌طور باید تعریف دقیق متغیرهایی را که در داده‌ها وجود دارند، بداند. بر اساس تجربه شخصی می‌دانم که حتی ممکن است در داخل یک شرکت افراد مختلف تعریف واحدی از یک متغیر نداشته باشند. تحلیل‌گر باید بداند به‌طور دقیق هر متغیر چه معنی می‌دهد، آیا هم‌پوشانی بین آنچه اندازه‌گیری می‌شود وجود دارد، متغیرهای وابسته و مستقل را شناسایی کند و مانند آن.
azsoftir.com
09367292276
09367292276
azsoftir@gmail.com
azsoftir.com
09367292276
09367292276
azsoftir@gmail.com
azsoftir.com
سوم، تحلیل‌گر باید تشخیص دهد کدام‌یک از متغیرها، کمّی (Quantitative) و کدام‌یک کیفی (Qualitative) است. متغیرهای کمّی به‌طور مستقیم با اعداد سنجیده می‌شوند. سطح درآمد ماهیانه هر فرد و یا میزان فروش هفتگی شرکت برحسب دلار مثال‌هایی از متغیرهای کمّی هستند. متغیرهای کیفی که متغیرهای رسته‌ای (Categorical) نیز نامیده می‌شوند، مستقیماً با مقادیر عددی سنجیده نمی‌شوند. این متغیرها به دو دسته اسمی (Nominal) و ترتیبی (Ordinal) تقسیم می‌شوند.

متغیرهای اسمی دارای مقادیر محدود و بدون ترتیب هستند. برای مثال جنسیت (زن و مرد بودن)، هوادار یک باشگاه ورزشی بودن با نبودن، استان محل زندگی و رشته تحصیلی نمونه‌هایی از متغیرهای اسمی هستند. متغیرهای ترتیبی دارای مقادیر محدود و بر اساس یک ترتیب هستند. سطح رضایت مشتری (که معمولاً بر اساس طیف لیکرت سنجیده می‌شود: از خیلی راضی تا خیلی ناراضی)، سطح تحصیلات (کاردانی، کارشناسی تا دکترا) نمونه‌هایی از متغیرهای ترتیبی هستند.

اهمیت فهم انواع متغیرها این است که روش‌های تحلیل این متغیرها از نظر آماری متفاوت است. همچنین متغیرهای کمّی را به‌طور مستقیم می‌توان تحلیل کرد ولی متغیرهای کیفی ابتدا باید به شکل عددی کدگذاری شوند تا بتوان آن‌ها را تحلیل کرد.

چهارم، تحلیل‌گر معمولاً در این گام شروع به بررسی اولیه داده‌ها می‌کند. در این مرحله معمولاً متغیرهای عددی بر اساس خلاصه‌های آماری مانند میانگین، کمینه/بیشینه، انحراف معیار، میانه و یا سایر کمیت‌های آماری موردعلاقه بررسی می‌شوند. در مورد متغیرهای رسته‌ای فرکانس و مد داده‌ها تحلیل می‌شوند. تحلیل‌های همبستگی، رسم نمودارهای پراکندگی، هیستوگرام و سایر روش‌ها برای نمایش گرافیکی داده‌ها در این مرحله بکار می‌روند تا تحلیل‌گر بتواند فهم بهتری نسبت به داده‌ها پیدا کند.
گام سوم: آماده‌سازی داده
azsoftir.com
09367292276
09367292276
azsoftir@gmail.com
azsoftir.com
09367292276
09367292276
azsoftir@gmail.com
azsoftir.com
هدف از این گام، آماده کردن داده‌ها برای فاز تحلیل با روش‌های داده‌کاوی است. بر اساس تجربه شخصی می‌دانم این فاز معمولاً بیشترین زمان را به خود صرف می‌کند. در برخی از پروژه‌ها ممکن است تا ۸۰ درصد زمان پروژه به مرحله آماده‌سازی داده اختصاص داده شود. علت این مسئله این است که در دنیای واقعی داده‌ها معمولاً آن‌طور که می‌خواهیم نیستند.

وجود المان‌های نامربوط، عدم وجود المان‌های موردعلاقه، خطا و داده‌های پرت (Outliers)، ناسازگاری و مانند آن نیازمند این است که تحلیل‌گر زمان زیادی را برای آماده کردن داده‌ها بگذارد. در بسیاری از موارد پیش می‌آید که داده‌ها به شکل الکترونیکی ذخیره نشده‌اند و یا اگر شده‌اند نمی‌توان آن‌ها را مستقیم استفاده کرد. در یکی از پروژه‌هایی که درگیر بودم بسیاری از داده‌ها در فایل‌های PDF توسط کارفرما ارائه شده بود. آماده کردن اعداد موجود در این فایل‌ها برای تحلیل کاری طاقت‌فرسا و زمان‌بر بود.

شکل-۲ نشان می‌دهد که در یک پروژه داده‌کاوی چه مراحلی باید طی گردد تا داده‌های دنیای کسب‌وکار برای تحلیل نهایی آماده شوند.
شکل-۲

در فاز درآمیختن داده (Data Consolidation) باید داده‌های مرتبط شناسایی و جمع‌آوری شوند، رکوردها و متغیرهای موردنیاز انتخاب و منابع داده با یکدیگر یکپارچه شوند. در بسیاری از موارد داده‌های کسب‌وکار از منابع مختلف به دست می‌آیند؛ برخی ممکن است از سیستم ثبت فروش به دست آیند، برخی دیگر از سیستم مدیریت انبار، برخی از طریق نظرسنجی و مانند آن. منظور از یکپارچه‌سازی داده این است که این داده‌ها بتوانند به شکلی که کنار هم قرار گیرند که ارتباط آن‌ها مشخص‌شده و قابل‌تحلیل شوند.

در فاز پاک‌سازی داده (Data Cleaning)، داده‌های گم‌شده (Missing Values) که مقادیر آنان نامعلوم است شناسایی می‌گردند. روش‌های مختلفی برای برخورد با داده‌های گم‌شده وجود دارد. در برخی موارد ممکن است مقادیر بسیار محتمل برای آنان پیدا کنیم. در برخی موارد هم آنان را نادیده بگیریم و رکورد مربوط به آن را حذف کنیم. در این فاز داده‌های پرت باید شناسایی شوند. برخی موارد داده‌های پرت حذف می‌شوند چراکه ممکن است در اثر خطا در ورود داده به وجود آمده باشند. با داده‌های پرت باید بااحتیاط رفتار کرد. در برخی حالات داده‌های پرت نشان‌دهنده رخ‌دادهای منحصربه‌فرد هستند و بسیار می‌توانند جالب‌توجه باشند. همچنین ناسازگاری‌ها باید شناسایی شوند. برای مثال ممکن است مقادیر متفاوتی برای یک مورد، از دو منبع داده متفاوت به دست آید. در همه این موارد حضور خبرگان و کسانی که با کسب‌وکار آشنا هستند کمک می‌کند تا علت وجود این موارد شناسایی و در مورد نحوه برخورد با آن تصمیم‌گیری شود.

در فاز تبدیل داده (Data Transformation) ممکن است بخواهیم داده‌ها را نرمال کنیم. متغیرهای مختلف در مسئله ممکن است بازه متفاوتی از مقادیر به خود بگیرند. سطح درآمد سالیانه مقدار عددی بسیار بزرگ‌تری از میزان تجربه برحسب سال را به خود می‌گیرد. این مسئله ممکن است در مدل‌های ریاضی سوگیری ایجاد کند. به همین دلیل معمولاً مقادیر متغیرها را به‌گونه‌ای تغییر می‌دهند که نرمال شوند؛ برای مثال همه آن‌ها بین ۱- و ۱+ شوند. روش دیگر برای تبدیل داده، گسسته کردن داده‌های کمّی است. برای نمونه سطح درآمد که یک متغیر کمّی است به سه سطح بالا، متوسط و پایین تقسیم شود. اگرچه میزان دقت اندازه‌گیری افت پیدا می‌کند، ممکن است برای مسئله موردنظر همین سطح دقت کفایت کند. به‌این‌ترتیب از پیچیدگی محاسبات و یا دشواری ارائه نتایج برای مخاطب کاسته می‌شود. از سمت دیگر ممکن است بخواهیم داده‌های رسته‌ای را تجمیع کنیم. برای مثال در داده‌ها، محل زندگی مشتریان ۵۰ دسته مختلف را شامل می‌شود. ممکن است چنین حدی از دقت برای تحلیل لازم نباشد و اگر این نواحی به پنج منطقه کلی تقسیم شوند کفایت کند. در این فاز همچنین ممکن است بر اساس متغیرهای موجود، متغیر جدیدی تعریف شود تا فرآیند تحلیل را ساده‌سازی کند. برای مثال در مورد داده‌های اهدای عضو، در پایگاه داده اصلی گروه خونی گیرنده عضو و گروه خونی دهنده عضو ذکر شده است. تحلیل‌گر می‌تواند متغیر دو ارزشی (Binary) جدیدی تعریف کند که نشان دهد آیا گروه خونی گیرنده و دهنده عضو، باهم هماهنگ است یا خیر.
azsoftir.com
09367292276
09367292276
azsoftir@gmail.com
azsoftir.com
09367292276
09367292276
azsoftir@gmail.com
azsoftir.com
فاز نهایی، کاهش داده (Data Reduction) است. در داده‌کاوی تمایل داریم با داده‌های بزرگ کار کنیم اما خود این مسئله می‌تواند دشواری‌هایی ایجاد کند. لزوماً ممکن است همه داده‌ها موردنیاز نباشد. در یک پایگاه داده که داده‌ها دارای دو بعد هستند ستون‌ها (متغیرها) و سطرها (رکوردها)، تحلیل‌گر ممکن است ابعاد داده را کاهش دهد. یک روش، کاهش تعداد متغیرهاست. تکنیک‌های آماری مانند تحلیل مؤلفه‌های اصلی (Principal Component Analysis)، تحلیل همبستگی، آزمون کای دو (Chi-Square Test) و یا درخت تصمیم‌گیری (Decision Tree Induction) برای این منظور بکار می‌روند. در مورد تعداد رکوردها، برخی از منابع داده ممکن است شامل میلیون‌ها یا میلیاردها رکورد باشند. این مسئله می‌تواند توان محاسباتی را به شکل نمایی کاهش دهد. در این حالت به‌جای تحلیل همه داده‌ها می‌توان زیرمجموعه‌ای از آن را انتخاب کرد و تحلیل را روی آن انجام داد. تحلیل‌گر باید بسیار دقت کند که در این حالت نمونه به‌گونه‌ای انتخاب شود که منعکس‌کننده الگوها و روابط موجود در داده‌های اصلی باشد. در مورد داده‌هایی که چولگی (Skewness) دارند (به این معنی که یک زیرمجموعه از داده بخش زیادی از آن را تشکیل می‌دهد؛ مثلاً داده‌های فروشی که افراد زیر ۳۰ سال، ۹۰ درصد مشتریان را شامل می‌شوند) ممکن است نیاز باشد تا متعادل‌سازی صورت گیرد. مطالعات نشان داده مدل‌هایی که بر اساس داده‌های متعادل ساخته می‌شوند قدرت پیش‌بینی کنندگی بهتری دارند. یک روش افزایش نمونه‌گیری (Oversampling) از بخش‌هایی است که کمتر در داده‌ها حضور دارند.
گام چهارم: مدل‌سازی

در این گام، تحلیل‌گر ممکن است روش‌های مختلف داده‌کاوی را بر روی داده‌های آماده‌شده امتحان کند تا بتواند به هدف اصلی پروژه برسد. ساخت مدل یک فرآیند خطی نیست و رفت‌وبرگشت‌های زیادی وجود دارد. یک مدل بهینه در داده‌کاوی وجود ندارد و بسته به مسئله‌ای که تحلیل‌گر با آن مواجه است، روش‌های مختلف باید آزمایش شوند و خروجی آن‌ها باهم مقایسه گردند. در این مرحله احتمالاً لازم است به گام قبلی بازگشت و برای برخی از الگوریتم‌ها داده‌ها را به شکل دیگری آماده کرد.

بسته به نیاز کسب‌وکار، داده‌کاوی ممکن است باهدف پیش‌بینی (Prediction)، پیدا کردن روابط (Association) و یا برای خوشه‌بندی (Clustering) استفاده گردد. در هر یک از این دسته‌ها الگوریتم‌های متفاوتی وجود دارند که بسته به شرایط یکی از آن‌ها یا ترکیبی از آنان استفاده می‌شوند.
گام پنجم: ارزیابی
azsoftir.com
09367292276
09367292276
azsoftir@gmail.com
azsoftir.com
09367292276
09367292276
azsoftir@gmail.com
azsoftir.com
در گام پنجم مدلی که توسعه یافته است بر اساس دقت و قابلیت عمومی‌سازی آن آزمایش می‌شود. در این مرحله باید ارزیابی شود که مدل تا چه حد می‌تواند به اهداف کسب‌وکار کمک کند. اگر زمان‌بندی و بودجه پروژه اجازه دهد بهتر است مدل در دنیای واقعی آزمایش شود. نتایج آزمایش کمک می‌کند تا مدل ارزیابی شود و شاید اطلاعات جدیدتری به دست آید که به کامل‌تر شدن مدل کمک کند.

این مرحله بسیار مهم و چالش‌برانگیز است. در این مرحله تیم پروژه باید نشان دهد که دانش به‌دست‌آمده از مدل می‌تواند الگوها و روابط جدیدی را به تصمیم‌گیر نشان دهد که با استفاده از آن ارزش جدیدی برای کسب‌وکار خلق می‌شود. این مانند حل کردن یک معما است. آنچه از فرآیند داده‌کاوی به دست می‌آید تنها بخشی از یک کل است. مدیران و تحلیل‌گران باید نتایج را در فضای کلی آن کسب‌وکار مورد ارزیابی قرار دهند. در اینجا دانش کسب‌وکار کمک بسیاری به بررسی خروجی‌های مدل می‌کند.

مدیران کسب‌وکار معمولاً علاقه و دانش کافی برای آنکه درگیر تحلیل‌های پیچیده ریاضی شوند، ندارند. وظیفه تحلیل‌گر و تیم پروژه داده‌کاوی است تا با ابزارهای گرافیکی و استفاده از جداول ساده به بهترین شکل ممکن نتایج و الگوهای کشف‌شده در داده‌ها را به تصمیم گیران عرضه کنند.
گام ششم: استقرار
azsoftir.com
09367292276
09367292276
azsoftir@gmail.com
azsoftir.com
09367292276
09367292276
azsoftir@gmail.com
azsoftir.com
بسته به نوع پروژه، فاز استقرار می‌تواند متفاوت باشد. در برخی موارد ارائه گزارش از روند کار و خروجی تحلیل، پایان یک پروژه داده‌کاوی است. در سمت دیگر استقرار یک سیستم قابل تکرار که سازمان از آن بتواند برای مدت‌ها استفاده کند قرار دارد. در استقرار چنین سیستمی باید تحلیل‌گر نیز مشارکت داده شود تا فهم خود را به اجراکننده سیستم انتقال دهد.

مرحله استقرار می‌تواند شامل فعالیت‌های نگه‌داری نیز شود. در طول زمان محیط کسب‌وکار و نیازهای آن تغییر می‌کند و ممکن است مدل به‌دست‌آمده کارایی خود را از دست بدهد. طراحی یک استراتژی نگه‌داری مناسب می‌تواند کمک کند تا کسب‌وکار برای مدت طولانی به‌اشتباه از مدل داده‌کاوی استفاده نکند.
سخن پایانی
azsoftir.com
09367292276
09367292276
azsoftir@gmail.com
azsoftir.com
09367292276
09367292276
azsoftir@gmail.com
azsoftir.com
در پایان می‌خواهم تأکید کنم که مدیران نباید پروژه‌های داده‌کاوی را یک جعبه سیاه ببینند که از خروجی آن می‌توانند استفاده کنند. چنین رویکردی عموماً به شکست می‌خورد. مدیران باید از فرآیند داده‌کاوی آگاهی داشته باشند، در توسعه آن مشارکت فعال کنند و فهم خود را از کسب‌وکار به شکل سازنده‌ای به تیم پروژه منتقل کنند. این تعامل هم کمک می‌کند تا مدل بهتری ساخته شود و هم به مدیران کمک می‌کند تا به نتایج اطمینان بیشتری داشته باشند و در تصمیم‌گیری‌های خود از آن استفاده کنند.

آموزش و انجام پروژه های داده کاوی

azsoftir.com
09367292276
09367292276
azsoftir@gmail.com
azsoftir.com
09367292276
09367292276
azsoftir@gmail.com
azsoftir.com

گروه انجام پایان نامه کارشناسی ارشد داده کاوی (Data Mining)  رویال پروژه با کادری مجرب و کارآزموده در پایان نامه داده کاوی کار خود رااز کرد. ای گروه ابتدا در گروه های آموزشی انجام پایان نامه کارشناسی ارشد داده کاوی و نرم افزار آغاز به کار نمود و رفته رفته رشته ها و گرایش های دیگری نیز به لیست پایان نامه های خود افزود.

انجام پایان نامه ارشد داده کاوی در زمینه های مختلف از جمله: تشخیص تقلب بانکی و بیمه، شبکه های عصبی ANN، ماشین بردار پشتیبان SVM، درخت های تصمیم، الگورتم مورچگان، کلونی مورچگان، کلونی ذرات، منطق فارسی Fuzzy logic و....

انجام پایان نامه و پروژه داده کاوی در تشخیص بیماری های کلویه ای، بیماری های چشم، گوش، بیماری قلبی، تشخیص بیماری صرع، تپش قلب، سرطان، سرطان سینه، تشخیص سرطان خون، سرطان لوزالمعده، پیشگیری و پیش بینی بیماری های قلبی، سرطان، بیماری های ژنتیکی، عوامل سرطان زا،  سرطان ریه، مجاری تنفسی، سرطان‌های دهان، ژن تعمیر DNA

برخی از زمینه های قابل ارائه در زمینه مشاوره پایان نامه داده کاوی را میتوان به صورت زیر خلاصه کرد
موضوع پایان نامه داده کاوی

    پایان نامه سیستم های تشخیص نفوذ با استفاده از روش های داده کاوی
    تشخیص نرخ اعتباری بیمه و مشتریان بیمه
    تعیین نرخ اعتباری مشتریان بانک
    ارائه روش نوین در پایان نامه داده کاوی در تشخیص بیماری های قلبی با استفاده از شبکه های عصبی
    تشخیص بیماری های عروقی و قلبی با استفاده از درخت تصمیم
    شناسایی سرطان خون با بکارگیری الگوریتم های داده کاوی
    شناسایی سرطان پروستات با استفاده از متد های داده کاوی
    انجام پایان نامه داده کاوی تشخیص سرطان سینه با استفاده از ترکیب طبقه بندها
    و...
azsoftir.com
09367292276
09367292276
azsoftir@gmail.com
azsoftir.com
09367292276
09367292276
azsoftir@gmail.com
azsoftir.com
پس از انتخاب موضوع می بایست به نگارش پروپوزال داده کاوی پرداخت:
مشاوره نگارش پروپوزال داده کاوی

مشاوره پروپوزال کارشناسی ارشد داده کاوی اولین مرحله از مجموعه مراحل انجام پایان نامه می باشد. که در ابتدا به بررسی موضوع از طریق مقالات مختلف پرداخته میشود. سپس با راهنمایی اساتید برتر الگوریتم نهایی که می بایست در مشاوره پایان نامه داده کاوی پیاده سازی شود ارائه میشود. در پروپوزال داده کاوی می بایست به بررسی و ارائه راه کارهای کارا در زمینه موضوع خود بپردازیم. در برخی از دانشگاه های می بایست الگوریتم با جزئیات بیان شود این درحالی است که بسیاری از دانشگاه های حتی نباید نامی از الگوریتم داده کاوی مورد استفاده در پایان نامه خود ببرید و در طی نگارش آن به آلگوریتم بهینه شده خود میرسیم.

 
انجام پایان نامه داده کاوی با وکا
azsoftir.com
09367292276
09367292276
azsoftir@gmail.com
azsoftir.com
09367292276
09367292276
azsoftir@gmail.com
azsoftir.com
پایان نامه داده کاوی مانند تمامی پایان نامه های دیگر احتیاج به ابزاری برای انجام و پیاده سازی دارد، یکی از مهمترین این ابزار ها وکا (Weka) می باشد. وکا در برگیرنده تمامی الگوریتمهای مهم و کاربردی داده کاوی می باشد به صورتی که حد زیادی شما را در پیاده سازی پایان نامه از کد نویسی مبرا میکند. از جمله الگوریتم های مهمی که در weka وجود دارد می توان از انوان طبقه بندها مانند، شبکه عصبی MLP، RFB - SOM، شبکه عصبی فازی، پایان نامه شبکه عصبی با وکا در شبکه هاپفیلد (Hopfield network)، ماشین بولتزمن (Boltzmann machine)، شبکه های عصبی با یادگیری عمیق (Deep Learning) و همچنین مشاوره پایان نامه و پروپوزال درخت های تصمیم با Weka، ماشین بردار پشتیبان (support vector machine- SVM)، مدل مخفی مارکوف Hidden Markov Model (HMM)، رده بندی و کلاسیفیکشن داده ها، کلاسترینگ و خوشه بندی داده ها (clustering algorithms) و....

اینها تنها بخشی از پایان نامه و پروژه های قابل انجام با weka  می باشند

 

تیم هوش مصنوعی و داده کاوی رویال پروژه مفتخر است که سالها در کنار شماست، جهت سفارش پایان نامه، انتخاب موضوع، پروپوزال ویا مشاوره در زمینه سیستم های داده کاوی با ما تماس بگیرید:

سفارش پایان نامه و پروژه داانشجویی

 
انجام پایان نامه پیش بینی رفتار کاربر وب با بهینه سازی کلونی مورچه

در این پایان نامه به بررسی الگوریتم کلونی مورچه بر پایه بهینه سازی برای پیش بینی رفتار کاربر وب با الگوریتم های داده کاوی می پردازیم. متدولوژی این پایان نامه شامل منابع داده ای مختلف مثل محتوا و ساختار وب است، درست مثل استفاده از وب.

azsoftir.com
09367292276
09367292276
azsoftir@gmail.com
azsoftir.com
09367292276
09367292276
azsoftir@gmail.com
azsoftir.com
انجام پایان نامه سیستم رتبه بندی با داده کاوی

 
انجام پایان نامه سیستم رتبه بندی در داده کاوی زمانی اهمیت لازمه را خواهد داشت که از معیار مناسبی برای ارزیابی مشتریان قبل از اعطای تسهیلات برخوردار باشد، به گونه‌ای که تسهیلات بانکی با استفاده از این الگوریتم پیشنهادی پایان نامه به مشتریان مطلوب تخصیص یابد. از دیدگاه داده کاوی و سیستم رتبه بندی، مشتری مطلوب به مشتریانی اطلاق می‌شود که ضمن هزینه نمودن تسهیلات دریافتی در بخش‌های مختلف اقتصادی بتواند به موقع تسهیلات دریافتی را به سیستم بانکی بازگرداند. که این کار با استفاده از الگوریتم های داده کاوی قابل انجام است


انجام پایان نامه تشخیص ریسک اعتباری مشتریان بیمه



azsoftir.com
09367292276
09367292276
azsoftir@gmail.com
azsoftir.com
09367292276
09367292276
azsoftir@gmail.com
azsoftir.com
بانک ها با ریسکهای متفاوتی روبرو هستند، که مهمترین آنها ریسک اعتباری است که به معنی از دست دادن بهره و سود بانک به دلیل متعهد نبودن وام گیرنده به قرار داد خود میباشد (Ya-qiong, 2007). یکی از خصوصیات بانکها این است که به صورت کوتاه مدت قرض میگیرند و به صورت بلندمدت وام میدهند و این خصوصیت به این امر منتهی شده که بانکها در معرض ریسک اعتباری قرار بگیرند.


این گونه ریسک دارای تاریخچهایی تقریبا همزمان با پیدایش بانک و سیستم بانکداری است. وجود این ریسک ناشی از این احتمال است که وام گیرنده قادر به پرداخت منظم اصل و فرع بدهی خود نباشد و یا در پرداخت آن کوتاهی کند. به همین جهت ارزی ابی بانکها از میزان ریسکی بودن درخواست کنندگان وام و تصمیم این است که آیا اعتبار لازم با میزان نرخ تنظیم شده، داده شود یا خیر. هم چنین کنترل و پایش وام داده شده، از اهمیت بالایی برخوردار است. (Jacobson, Linde, & Roszbach, 2006) ریسک اعتباری موجب مشکلات مالی در بانکها خواهد شد و ارزیابی آن نیازمند تکنیکهای مدلسازی پیشرفته است که مرتبط به منبع عدم قطعیت ناشی شده میباشد. متعاقبا، ریسک اعتباری یکی از بزرگترین تهدیداتی است که موسسات مالی با آن روبرو هستند و مدلسازی اعتبارسنجی مشتریان موسسات مالی و بخصوص بانک ها امری مهم و ضروری است(2009 Lin,).


یم هوش مصنوعی و داده کاوی رویال پروژه مفتخر است که سالها در کنار شماست، جهت سفارش پایان نامه، انتخاب موضوع، پروپوزال ویا مشاوره در زمینه سیستم های داده کاوی با ما تماس بگیرید:

سفارش پایان نامه و پروژه داانشجویی
انجام پایان نامه پیش بینی استفاده مجدد موفق در ماژول‌های نرم‌افزاری

   
azsoftir.com
09367292276
09367292276
azsoftir@gmail.com
azsoftir.com
09367292276
09367292276
azsoftir@gmail.com
azsoftir.com
با ورود فناوری­های جدید به سازمان­هاو افزایش سرعت تولید اطلاعات و در نتیجه بر جای ماندن حجم عظیمی از داده‌هاو دشواری استفاده از این حجم وسیع، معمولاً امکان استفاده از این داده‌هابه صورت خام وجود ندارد، بلکه دانش موجود در آن­ها باید استخراج گردد. همچنین پایان نامه تحلیل این داده‌هابه واسطه روش‌های گزارش گیری سنتی در این مقیاس امکان­پذیر نیست و روش‌های آماری موجود نیز از ظرفیت کافی جهت تحلیل این داده‌ها برخوردار نمی­باشند. پایان نامه های پیش بینی راهکاری است که با غلبه بر این محدودیت، امکان انجام مطالعاتی جامع­تر با نتایج دقیق­تر و درصد خطای پایین­تر را ممکن سازد.


کاربردهای داده‌کاوی

  
داده کاوی امروزه به یکی از چالش‌ برانگیزترین علوم دنیا تبدیل شده است چرا که دانشمندان و محققان به این مسئله پی برده‌اند که با استفاده از تکنیک‌های داده‌کاوی می‌توان به دانش پنهان موجود در داده‌ها پی برد. امروزه نیز با گسترش حجم روزافزون داده‌ها در صنایع، سازمان‌ها و مراکز دولتی و خصوصی نیاز به استخراج دانش و استفاده از داده کاوی بیشتر حس می‌شود. داده‌کاوی در هر سازمانی که با داده‌های زیاد مواجه است کاربرد دارد.

azsoftir.com
09367292276
09367292276
azsoftir@gmail.com
azsoftir.com
09367292276
09367292276
azsoftir@gmail.com
azsoftir.com
انجام پایان نامه حداکثرسازی تاثیر در شبکه های اجتماعی

 
عنوان پایان نامه:

انجام پایان نامه حداکثرسازی تاثیر در شبکه های اجتماعی

پایان نامه حداکثرسازی تاثیر (Influence Maximization):

پایان نامه حداکثرسازی تاثیر، کاربرد قابل توجهی در بازاریابی ویروسی و دهان به دهان دارد. این پایان نامه اغلب با تعیین مشتریان بالقوه برای اهداف بازاریابی به وجود می آید.

azsoftir.com
09367292276
09367292276
azsoftir@gmail.com
azsoftir.com
09367292276
09367292276
azsoftir@gmail.com
azsoftir.com
مشاوره پایان نامه داده کاوی
دپارتمان کامپیوتر و انجام پایان نامه داده کاوی رویال پروژه از سالها قبل  اقدام به مشاوره پایان نامه داده کاوی به دانشجوانی هوش مصنوعی کرده است.




فرآیند پیش بینی رفتار کاربر در وب کاوی


شکل 4 مراحل اصلی الگوریتمی را نشان می دهد که پیش بینی ها را ایجاد کرده و برخوردهایی را فراهم می کند. زمانی که یک کاربر شئی را درخواست می کند، گره مربوطه در گراف مورد جستجو واقع می شود. اگر گره وجود نداشته باشد یا ثانویه باشد، هیچ پیش بینی انجام نشده و هیچ کمان برخوردی فراهم نمی شود. در مقابل، اگر گره وجود داشته باشد و اصلی باشد،

 همه کمانهای اصلی آن تحلیل می شوند. کمانهایی که دارای اعتبار انتقال بزرگتر از استانه مورد نظر باشند، در فهرست کمانهای اصلی قرار می گیرند، که با اعتبار انتقال مرتب شده اند. آنگاه گره های موخر مانند کمانها نیز مورد جستجو واقع شده و کمانهای ثانویه انها تحلیل می شوند. کمانهای ثانویه با اعتبار انتقال بزرگتر از آستانه ثانویه در فهرست کمانهای نتیجه ثانویه قرار دارند، و آنها نیز با اعتبار انتقال کمان مرتب می شوند.
آنگاه فهرست های کمانهای اولیه و ثانویه بهم پیوند می خورند. URI های مربوط به این کمانها ، برخوردهایی هستند که به عنوان پیش بینی ها فراهم خواهند شد. فهرست قطعی برخوردها را می توان کاهش داد تا تنها اولین برخوردهای N فراهم شود.

 azsoftir.com
09367292276
09367292276
azsoftir@gmail.com
azsoftir.com
09367292276
09367292276
azsoftir@gmail.com
azsoftir.com

پیش بینی رفتار کاربران وب

 
الگوریتمهای پیش بینی را می توان به دو گروه اصلی بر اساس نوع اطلاعات استفاده شده برای ایجاد پیش بینی تقسیم کرد (3). اولین گروه شامل الگوریتم هایی می شود که دسترسی های آتی را بر مبنای الگوهای دسترسی قبلی پیش بینی می کنند. دو زیر گروه را می توان مشخص کرد : اول زیرگروهی تشکیل شده از الگوریتم هایی که از مدل مارکف استفاده می کنند


مقدمه ای بر وب کاوی



در حال حاضر، وب دارای استفاده بسیار گسترده ای است، بنابراین افزایش ثابت ترافیک در شبکه مانند باری است که سرورها را مدیریت می کند. گرچه امروزه کاربران وب دارای ارتباطات با پهنای باند بالا هستند، هنوز زمانهای تاخیر گسترده ای را در زمان مرور وب احساس می کنند و دلیل آن اجزای اضافی بارگذاری شده(یعنی شبکه، سرورها، سوئیچ ها، یا سخت افزارهای میانی)، و زمان های انتقال پیام طولانی می باشند. در نتیجه، کاهش زمان تاخیر درک شده توسط کاربران در هنگام مرور صفحات وب، هنوز موضوع تحقیق انتقادی هستند.

انجام پایان نامه مدیریت ارتباط با مشتری با تحلیل درخت تصمیم
azsoftir.com
09367292276
09367292276
azsoftir@gmail.com
azsoftir.com
09367292276
09367292276
azsoftir@gmail.com
azsoftir.com
انجام پایان نامه مدیریت ارتباط با مشتری (( CRM - Customer Relationship Management)  زیرمجوعه پایان نامه داده کاوی و هوش مصنوعی می باشد ودر گروه تاپ پروژه توسط اساتید انجام پایان نامه داده کاوی و هوش مصنوعی انجام میشود.

داده کاوی با نرم افزار Weka

داده کاوی با نرم افزار Weka

تا به امروز نرم افزارهای تجاری و آموزشی فراوانی برای داده کاوی در حوزه های مختلف داده ها به دنیای علم و فناوری عرضه شده اند. هریک از آنها با توجه به نوع اصلی داده هایی که مورد کاوش قرار میدهند، روی الگوریتمهای خاصی متمرکز شده اند. مقایسه دقیق و علمی این ابزارها باید از جنبه های متفاوت و متعددی مانند تنوع انواع و فرمت داده های ورودی، حجم ممکن برای پردازش داده ها، الگـوریتمهای پیاده سـازی شده، روشهای ارزیابی نتایج، روشهای مصـور سـازی، روشهای پیش پردازش داده ها، واسطهای کاربر پسند، پلت‌فرمهای سازگار برای اجرا،قیمت و در دسترس بودن نرم افزار صورت گیرد. از آن میان، نرم افزار Weka با داشتن امکانات بسیار گسترده،امکان مقایسه خروجی روشهای مختلف با هم، راهنمای خوب، واسط گرافیگی کارا، سازگاری با سایر برنامه های ویندوزی، و از همه مهمتر وجود کتابی بسیار جامع و مرتبط با آن ] ، معرفی میشود.

دانلود کد ,دانلود پروژه, پروژه آماده ,داده کاوی , نرم افزار, rapidminer , clementine , weka , وکا , کلمنتاین , رپیدماینر

 azsoftir.com
09367292276
09367292276
azsoftir@gmail.com
azsoftir.com
09367292276
09367292276
azsoftir@gmail.com
azsoftir.com

همکاری در انجام تمامی پروژه های داده کاوی با استفاده از نرم افزار وکا –

معرفی چند نرم افزار کاربردی جهت داده کاوی
این درس از مجموعه دوره آشنایی با داده کاوی(Data Mining) و کاربردهای آن است

    درس قبلی - کاربرد داده کاوی و یادگیری ماشین در پردازش متن(Text Processing)
    درس بعدی - ویژگی(Feature) یا همان بُعد(Dimension) در داده کاوی چیست؟

azsoftir.com
09367292276
09367292276
azsoftir@gmail.com
azsoftir.com
09367292276
09367292276
azsoftir@gmail.com
azsoftir.com

بهتر است ابتدا درس داده کاوی چیست را مطالعه کرده باشید
مطالعه با تمرکز بیشتر
مدرس: مسعود کاویانی
MasoudKaviani.ir

با مطالعه دروس گذشته، یاد گرفته ایم که داده کاوی چیست. در این درس، میخواهیم چند نرم افزار کاربردی حوزه داده کاوی را مروری داشته باشیم. در میان نرم افزار های موجود، تمرکز را بر نرم افزارهایی گذاشتیم که نیاز به دانش برنامه نویسی ندارند. یعنی کسانی که به حوزه برنامه نویسی علاقه ندارند یا فعلا ترجیح میدهند از نرم افزارهای آماده(بدون طراحی نرم افزار و برنامه نویسی) استفاده کنند، میتوانند یادگیری این نرم افزارها را در دستور کار خود قرار دهند.

نرم افزار RapidMiner

این نرم افزار که که به گفته سازندگان آن تلاش بر این کرده است که به صورت یکپارچه عملیات مختلف حوزه علوم داده را تجمیع کند و به دانشمندان علوم داده اجازه دهد به سرعت مدل های مورد نیاز برای عملیات داده کاوی را شناسایی کنند.
نرم افزار Weka

نرم افزار وکا(weka) مجموعه ای از الگوریتم های مختلف جهت عملیات داده کاوی را در اختیار متخصصان و دانشمندان علوم داده می گذارد. کار با این نرم افزار بسیار ساده است و در اینجا کتابی جهت آموزش نرم افزار weka توسط خود سایت سازنده قرار داده شده است.
azsoftir.com
09367292276
09367292276
azsoftir@gmail.com
azsoftir.com
09367292276
09367292276
azsoftir@gmail.com
azsoftir.com
[sc name=”tbl_ea”]
نرم افزار Orange

یکی از نرم افزارهای بسیار ساده و لذت بخش جهت انواع عملیات داده کاوی است. این نرم افزار به خاطر سادگی و واسط کاربری ساده آن میتواند مورد استفاده بسیاری از متخصصان حوزه علوم داده باشد. حتی دوستانی که به تازگی به دنبال یادگیری علوم داده هستند، میتوانند از این نرم افزار استفاده کنند.
نرم افزار Neural Designer مخصوص طراحی شبکه های عصبی

اگر با شبکه های عصبی کار کرده باشید میدانید که طراحی این گونه شبکه ها معمولا کار وقت گیری است و نیاز به دقت بالایی دارد. با استفاده از نرم افزار Neural Designer به راحتی میتوانید شبکه های عصبی مخصوص خود را طراحی کنید و مدل های مختلف داده را توسط آن ها آزمایش کنید.

 
می‌توانید نقاط قوت یا ضعف این درس را به ما بگویید و همچنین اگر سوالی در ذهن دارید از این قسمت(دیدگاه‌ها) سوال خود را مطرح فرمایید
جهت اطلاع از دروس جدید و طرح سوالات و پرسش و پاسخ درباره این دوره و دوره های دیگر، میتوانید در شبکه‌ها و صفحات اجتماعی ما عضو شوید
این درس از مجموعه دوره آشنایی با داده کاوی(Data Mining) و کاربردهای آن است
ترتیب پیشنهادی خواندن درس‌های این مجموعه به صورت زیر است:
azsoftir.com
09367292276
09367292276
azsoftir@gmail.com
azsoftir.com
09367292276
09367292276
azsoftir@gmail.com
azsoftir.com
    1 » داده کاوی(Data mining) چیست؟
    2 » یادگیری ماشین(Machine Learning) چیست؟
    3 » طبقه بندی(Classification) چیست؟
    4 » خوشه بندی(Clustering) چیست؟
    5 » سیستم توصیه گر(Recommendation System) چیست؟
    6 » کاربرد داده کاوی و یادگیری ماشین در پردازش متن(Text Processing)
    7 » معرفی چند نرم افزار کاربردی جهت داده کاوی
    8 » ویژگی(Feature) یا همان بُعد(Dimension) در داده کاوی چیست؟
azsoftir.com
09367292276
09367292276
azsoftir@gmail.com
azsoftir.com
09367292276
09367292276
azsoftir@gmail.com
azsoftir.com

آشنایی با محیط وکا و ورود داده

    آشنایی با محیط Explorer Weka
    آشنایی با محیط Experimenter
    آشنایی با محیط Knowledge Flow
    کار با عملگرها
    عملگرهای خواندن داده با انواع داده ای
    اجرای تمام روش های دوره مفاهیم در وکا و کار با پارامترها به ترتیب مراحل فرآیند کریسپ نحوه اجرا و ذخیره
azsoftir.com
09367292276
09367292276
azsoftir@gmail.com
azsoftir.com
09367292276
09367292276
azsoftir@gmail.com
azsoftir.com
    آماده سازی داده ها
        شناخت داده ها( تعریف، انواع داده، انواع مجموعه داده)
        پاکسازی داده( داده پرت و نویز، روش های تشخیص داده پرت، داده از دست رفته و .....)

    مرحله پیش پردازش
        جمع آوری داده(Integration)
        تجمیع(aggregation)
        نمونه برداری(sampling)
        کاهش ابعاد
        انتخاب ویژگی
        گسسته سازی
        تبدیل نوع داده ها

        مدلسازی (رده بندی و خوشه بندی)
azsoftir.com
09367292276
09367292276
azsoftir@gmail.com
azsoftir.com
09367292276
09367292276
azsoftir@gmail.com
azsoftir.com
        ارزیابی مدل ها( پارامترها، ماتریس درهم ریختگی، نمودار (ROC
        رده بندی و پیش بینی( درخت تصمیم، شبکه عصبی، بیز ساده، نزدیکترین همسایه، بردار پشتیبان، به خاطرسپاری، رگرسیون، روشهای جمعی بگینگ و بوستینگ و ...روش های معمول در وکا همراه با مفاهیم
        مدل های بدون راهنما: خوشه بندی سلسله مراتبی، الگوریتم K-Means
        روش های ارزیابی خوشه بندی
        مقایسه نمودار ROC
    قواعدانجمنی

    تعریف روش های موجود در وکا(apriori)،

    مفاهیم پیشرفته
azsoftir.com
09367292276
09367292276
azsoftir@gmail.com
azsoftir.com
09367292276
09367292276
azsoftir@gmail.com
azsoftir.com
    الگوریتم ژنتیک
    Smote
    الگوریتم ازدحام ذرات
    شاخص جینی و سود اطلاعاتی
    Relief
    PCA
    Wavelet
    رده نامتوازن( روش های برخورد با حل مشکل رده نامتوازن)
    مقایسه مدل ها با نمودار ROC
    حل چند مثال مهم و پروژه عملی