مقاله معماری توزیع شده برای داده کاوی و ادغام
بخشی از متن:
امروزه با گسترش سیستم های پایگاهی و حجم بالای داده ها ی ذخیره شده در این سیستم ها ، نیاز به ابزاری است تا بتوان داده های ذخیره شده پردازش کرد و اطلاعات حاصل از این پردازش را در اختیار کاربران قرار داد.
با استفاده ار پرسش های ساده در SQL و ابزارهای گوناگون گزارش گیری معمولی، می توان اطلاعاتی را در اختیار کاربران قرار داد تا بتوانند به نتیجه گیری در مورد داده ها و روابط منطقی میان آنها بپردازند اما وقتی که حجم داده ها بالا باشد، کاربران هر چند زبر دست و با تجربه باشند نمی توانند الگوهای مفید را در میان حجم انبوه داده ها تشخیص دهند و یا اگر قادر به این کار هم با شند، هزینه عملیات از نظر نیروی انسانی و مادی بسیار بالا است. ...
فهرست مطالب:
مقدمه ای بر داده کاوی
مفاهیم پایه در داده کاوی
داده کاوی توزیع شده
بررسی یک مقاله
یک معماری توزیع شده برای داده کاوی و ادغام
چکیده
1. مقدمه
2. معماری DMI
3. DMI Language
نمونه یک در خواست DMIL
بررسی امکان سنجی
نمونه از تست فرایند DMI
نگاشت به یک فرایند DMI جزئی شده
4. فلسفه جریان داده
5.کارهای مرتبط (Related Work)
6. نتایج و کار بیشتر
تعداد مشاهده: 1808 مشاهده
فرمت فایل دانلودی:.docx
فرمت فایل اصلی: docx
تعداد صفحات: 20
حجم فایل:1,916 کیلوبایت
-
راهنمای استفاده:
مناسب جهت استفاده دانشجویان کامپیوتر و فناوری اطلاعات
-
محتوای فایل دانلودی:
در قالب فایل word و قابل ویرایش
تحقیق نقد و بررسی Data Maining
چکیده:
امروزه با گسترش سیستم های پایگاهی و حجم بالای داده ها ی ذخیره شده در این سیستم ها ، نیاز به ابزاری است تا بتوان داده های ذخیره شده را پردازش کردواطلاعات حاصل از این پردازش را در اختیار کاربران قرار داد.
با استفاده از پرسش های ساده در SQL و ابزارهای گوناگون گزارش گیری معمولی، میتوان اطلاعاتی را در اختیار کاربران قرار داد تا بتوانند به نتیجه گیری در مورد داده ها و روابط منطقی میان آنها بپردازند اما وقتی که حجم داده ها بالا باشد، کاربران هر چند زبر دست و با تجربه باشند نمی توانند الگوهای مفید را در میان حجم انبوه داده ها تشخیص دهند و یا اگر قادر به این کار هم باشند ، هزینه عملیات از نظر نیروی انسانی و مادی بسیار بالا است.
از سوی دیگر کاربران معمولا فرضیه ای را مطرح می کنند و سپس بر اساس گزارشات مشاهده شده به اثبات یا رد فرضیه می پردازند ، در حالی که امروزه نیاز به روشهایی است که اصطلاحا به کشف دانش بپردازند یعنی با کمترین دخالت کاربر و به صورت خودکار الگوها و رابطه های منطقی را بیان نمایند.
داده کاوی یکی از مهمترین این روشها است که به وسیله آن الگوهای مفید در داده ها با حداقل دخالت کاربران شناخته می شوند و اطلاعاتی را در اختیار کاربران و تحلیل گران قرار می دهند تا براساس آنها تصمیمات مهم و حیاتی در سازمانها اتخاذ شوند.
در داده کاوی از بخشی از علم آمار به نام تحلیل اکتشافی داده ها استفاده می شود که در آن بر کشف اطلاعات نهفته و ناشناخته از درون حجم انبوه داده ها تاکید می شود. علاوه بر این داده کاوی با هوش مصنوعی و یادگیری ماشین نیز ارتباط تنگاتنگی دارد، بنابراین می توان گفت در داده کاوی تئوریهای پایگاه داده ها، هوش مصنوعی، یادگیری ماشین و علم آمار را در هم می آمیزند تا زمینه کاربردی فراهم شود.
باید توجه داشت که اصطلاح داده کاوی زمانی به کار برده می شود که با حجم بزرگی از داده ها، در حد مگا یا ترابایت، مواجه باشیم. در تمامی منابع داده کاوی بر این مطلب تاکید شده است.
هر چه حجم داده ها بیشتر و روابط میان آنها پیچیده تر باشد دسترسی به اطلاعات نهفته در میان داده ها مشکلتر می شود و نقش داده کاوی به عنوان یکی از روشهای کشف دانش، روشن تر می گردد.
فهرست مطالب:
چکیده
مقدمه
مفاهیم داده کاوی
مدیریت ذخیره سازی و دستیابی اطلاعات
ساختار بانک اطلاعاتی سازمان
داده کاوی (Data Mining)
مفاهیم پایه در داده کاوی
تعریف داده کاوی
مراحل فرایند کشف دانش از پایگاه داده ها
الگوریتم های داده کاوی
آماده سازی داده برای مدل سازی
درک قلمرو
ابزارهای تجاری داده کاوی Tools DM Commercial
منابع اطلاعاتی مورد استفاده
منابع اطلاعاتی گوناگونی را میتوان در زمینه داده کاوی بکار برد
محدودیت های داده کاوی
مراجع و ماخذ فارسی
مراجع و ماخذ لاتین و سایتهای اینترنت
تعداد مشاهده: 831 مشاهده
فرمت فایل دانلودی:.docx
فرمت فایل اصلی: docx
تعداد صفحات: 54
حجم فایل:206 کیلوبایت
-
راهنمای استفاده:
مناسب جهت استفاده دانشجویان رشته کامپیوتر و فناوری اطلاعات
-
محتوای فایل دانلودی:
در قالب فایل word و قابل ویرایش
کاوش در شبکه گسترده جهانی
مقدمه:
حوزه های تحقیقاتی وب معنایی و وب کاوی به سرعت در حال پیشرفت است. هر کدام از این حوزه ها مکمل یکدیگر هستند زیرا هر یک قسمتی از چالش های جدیدی که در وب کنونی وجود دارد را مورد بررسی قرار می دهند. همچنین تحقق کامل حوزه ی جدید وب معنایی مستلزم ارتقاء سطح داده های موجود بر روی وب کنونی به سمت دانش می باشد. برای این منظور روش های مختلف وب کاوی می توانند برای رسیدن به دانش نهفته در داده های موجود و همچنین پیدا کردن کاندیداهای مناسب برای شرکت در فرایند ایجاد آنتولوژی های مربوطه، مورد استفاده قرار گیرند. فقدان یک چارچوب مشخص جهت استفاده از روش های وب کاوی در حوزه ی وب معنایی ، بهره گیری مناسب از روش های مذکور را از محققین حوزه ی وب معنایی سلب نموده است.
توسط اطلاعات روی وب، امکان استخراج داده و دستیابی به اطلاعات برای کاربران بسیار آسان و مطلوب شده است وعمل جستجو روی اینترنت را برای کاربران خیلی آسانتر خواهد ساخت. بنابراین بهرههای زیادی در Webminnig وجود دارد، از جمله کاوش پایگاه دادهها روی وب یا کاوش الگوهای مورد استفاده را میتوان نام برد تا اطلاعات مفید برای کاربران تامین شوند.
فهرست مطالب:
۱- مقدمه
۲- تاریخچه وب
۳- اینترنت و وب
۳-۱ وب 1
۳-۱-۱ چهره های گوناگون وب:
۳- ۲ وب 2
۳-3 وب 3
۳-۵ مقایسه وب 1 , وب2 , وب3
۳-۵-۱ دیدگاه اول: تولید محتوا
۳-۵-۲ دیدگاه دوم: ماهیت محتوا
۳-۵-۳ دیدگاه سوم: از لحاظ ارتباطی
۳-۵-۴ دیدگاه چهارم: رابط کاربری
۳-۵-۵ دیدگاه پنجم: تکنولوژیهای غالب
۴- مشکلات وب
۵-داده کاوی چگونه تعریف می شود؟
۶- تعریف وب کاوی
۷- مراحل وب کاوی
۷-۱. پیدا کردن منبع
۷-۲. انتخاب اطلاعات و پیش پردازش
۷-۳. تعمیم
۷-۴. تحلیل
۸- تفاوت داده کاوی و وب کاوی
۹- رابطه وب کاوی و داده کاوی
۱۰- انواع موتورهای جستجو
۱۰-۱ مشکلات موتورهای جستجو
موتورهای جستجو دارای دو مشکل اصلی هستند
۱۱- وب کاوی و موتورهای جستجو
۱۲- بازیابی اطلاعات
۱۳- طبقه بندی وب کاوی:
۱۳-۱ کاوش محتوای وب
۱۳-۱-۱ انواع کاوش محتوا در وب
۱۳-۱-۲ طبقه بندی
۱۳-۱-۳ خوشه بندی
۱۳-۱-۴ سایر انواع کاوش محتوا در وب
۱۳-۲ کاوش ساختار وب ( WEB STRUCTURE MINING )
۱۳-۳ کاوش کاربردی وب ( WEB USAGE MINING)
۱۳-۳-۱ نمونه هایی از کاربردهای کاوش کاربری وب
۱۳-۳-۲ فرآیند کاوش کاربردی وب دو نگرش کلی دارد
روش تشخیص هویت کاربر برای مدل کردن رفتار کاربر
۱۴- مقایسه انواع عملیاتی که در وبکاوی انجام میشوند
۱۴- مقیاسهای اصلی برای مقایسه روشهای وب کاوی
۱۴-۱ کاوشگر وب
۱۴-2- دروازة وب
14-3- مقایسة موتور جستجوهای دروازة وب و کاوشگر وب
۱۵- انواع الگوریتم های وب کاوی
۱۵-۱. درخت تصمیم
۱۵-۲. شبکه عصبی
۱۵-۳. PAGE RANK
۱۶-عمده ترین کاربردهای وب کاوی عبارتند از
۱۷- تجارت الکترونیکی
۱۸- گوگل و وب کاوی
۱۹- چالش های وب کاوی
۱۹-۱. داده های ناصحیح و نادقیق
۱۹-۲. عدم وجود ابزارها
۱۹-۳ . ابزارهای سفارشی
20- داده کاوی در وب روی پایگاه داده ها وانبار داده:
۲۰-۱ داده کاوی در وب روی پایگاه داده ی رابطه ایWEB
20-۲ داده کاوی چند رسانه ای
20-۳ انبار داده و کاوش در اینترنت
21- کاربردهای کاوش استفاده از وب
21-۱خصوصی سازی محتوای وب
21-۲ پیش بازیابی
21-۳ بهبود طراحی سایت های وب
22- کاربردهای وب کاوی
22-۱ تجارت الکترونیکی
22-2- موتورهای جستجو
23-3- حراجی در وب
۲۴- وب کاوی در ایران
۲۰-۱ مشکلات ومحدودیت های وب کاوی در سایت های فارسی زبان
25- مرور و نتیجه گیری
۲۶- منابع
تعداد مشاهده: 1280 مشاهده
فرمت فایل دانلودی:.docx
فرمت فایل اصلی: docx
تعداد صفحات: 47
حجم فایل:456 کیلوبایت
-
راهنمای استفاده:
مناسب جهت استفاده دانشجویان رشته کامپیوتر و فناوری اطلاعات
-
محتوای فایل دانلودی:
در قالب فایل word و قابل ویرایش کامل
به همراه شکل، جدول، نمودار و فهرست منابع
کاربرد داده کاوی در سازمان های پلیسی و قضایی به منظور شناسایی الگوهای جرم و کشف جرایم
چکیده:
پیشگیری ازجرم یکی از موضوعات اساسی و مهم در زندگی بشر بوده که در طول تاریخ به شیوه های مختلف و گوناگون مورد بررسی قرار گرفته است.
با توجه به گسترش فناوری های اطلاعات و ارتباطات و راه اندازی سیستم های جامع اطلاعاتی در سازمان های پلیسی و قضایی و همچنین نیروی انتظامی و ثبت اطلاعات مجرمان در بانک های اطلاعاتی به منظور شناسایی جرم و کشف جرایم یکی از ضرورت های پلیس ایران و دستگاه های قضایی می باشد.
بی شک شرایط اجتماعی بشر رویارویی با پدیده جرم راغیر قابل اجتناب می کند. هدف اصلی این تحقیق مطالعه وبررسی روش مبتنی بر داده کاوی است، این روش با استفاده از ابزارها والگوریتم های داده کاوی و بکارگیری بانک اطلاعاتی موجود می تواند درحوزه های مختلفی همچون شناسایی، پیش بینی وپیشگیری ازجرایم مورد بررسی قرار گرفته و با کنترل دقیق تر نیروها و آرایش نظامی آن ها در مکان جرم از وقوع جرم پیشگیری کند.
فهرست مطالب:
چکیده
مقدمه
تعریف داده کاوی
شکل شماره یک
1. فرایندهای داده کاوی
1.1 تعریف مسئله
1.2 ساختن یک پایگاه داده برای داده کاوی
1.3 جستجوی داده
1.4 آماده سازی داده برای مدل سازی
1.5 تایید اعتبار ساده
1.6 ارزیابی وتفسیروتایید اعتبارمدل
2. کارکردها و وظایف داده کاوی
شکل شماره دو
2.1 پیش بینی
2.2 دسته بندی
2.3 رگریسون
2.4 سری های زمانی
2.5 قوانین باهم آیی
2.6 خوشه بندی
2.7 خلاصه سازی
2.8 کشف توالی
3. داده کاوی در برخی سازمان های پلیسی و قضایی
3.1 داده کاوی وتحلیل حوادث
3.2 داده کاوی وبررسی جرم صحنه
3.3 داده کاوی ودوباره قربانی شدن
3.4 داده کاوی وحوادث تیراندازی
3.5 داده کاوی وسرقت مسلحانه
3.6 داده کاوی وجرایم خشونت آمیز
3.7 داده کاوی وحملات تروریستی
3.8 داده کاوی وسرقت ازمنازل
3.9 داده کاوی وجرایم مجازی
4. روش های داده کاوی
4.1 روش خوشه بندی
Association rule mining 4.2
Sequential pattern mining 4.3
String comparator 4.4
5. قوانین نالازمی در داده کاوی
5.1 ضریب پشتیبان
5.2 ضریب اطمینان
5.3 الگوریتم کای میانگ
5.4 ارزیابی کیفیت خوشه بندی
6. روش های تحلیل داده ها
شکل شماره چهار
جدول شماره یک
6.1 تحلیل نتایج
جدول شماره دو
جدول شماره سوم
جدول شماره چهارم
جدول شماره پنجم
جدول شماره ششم
جدول شماره هفتم
جدول شماره هشتم
جمع بندی ونتیجه گیری
منابع
تعداد مشاهده: 1514 مشاهده
فرمت فایل دانلودی:.docx
فرمت فایل اصلی: docx
تعداد صفحات: 42
حجم فایل:212 کیلوبایت
-
راهنمای استفاده:
مناسب جهت استفاده دانشجویان رشته کامپیوتر و فناوری اطلاعات
-
محتوای فایل دانلودی:
در قالب فایل word و قابل ویرایش
همراه با شکل، نمودار، جدول، پاورقی، فهرست شکل ها، منابع
کاوش قوانین وابستگی در جریانات سریع داده
چکیده:
مسئله کاوش الگوهای تکراری در پایگاهای داده در سال 1993 توسط آگروال و دیگران ارائه شد[ 1]. این مسئله به علت کاربرد وسیع در تجارت، صنعت و علوم مختلف، موضوعی مهم و اساسی در زمینه کشف دانش و داده کاوی است. در سال های اخیر تحقیقات بسیار زیادی در مورد این مسئله انجام گرفته و پیشرفت های چشمگیری صورت گرفته است که حاصل آنها ارائه الگوریتم های کارا و مقیاس پذیر از یک طرف و مطرح شدن آن در کاربرد های مختلف بوده است. تحقیقات انجام شده عموماً در مورد کاوش الگوهای تکراری در پایگاه داده های ایستا بوده است به طوری که الگوریتم های مختلفی در این مورد ارائه شده اند.
کاوش الگوهای تکراری علاوه بر داده های ایستا، اخیراً در پایگاه داده های پویا و جریان های داده 2 نیز مطرح شده است [8]. در داده های جریانی فرض بر این است که داده ها به صورت پشت سرهم و بی وقفه به سیستم می رسند. در یک جریان داده، داده ها با سرعت و به شکلی بی پایان دریافت می شوند.
انجام محاسبات مختلف آماری و داده کاوی، از جمله مسائل مطرح در مدل جریانی می باشند. در جریان های داده، در هرلحظه، حجم داده هایی که تاکنون رسیده و در آینده نیز خواهد رسید، بسیار زیاد است، بنابراین ذخیره آن امکانپذیر نیست.
در این تحقیق مدل های مختلف بررسی و شناسایی الگو در جریان داده ها مورد بررسی قرار گرفته و الگوریتم های ارائه شده قبلی در هر مدل مورد بررسی قرار می گیرد.
کلید واژه: کاوش الگوهای پرتکرار، داده کاوی، جریان سریع داده، الگوهای توالی
فهرست مطالب:
چکیده
فصل اول: معرفی مساله
1-2- مقدمه
1-3- کاوش قوانین وابستگی
1-4- ضرورت انجام تحقیق
1-5- سرفصل مطالب
2- بیان مساله
2-2- مقدمه
2-3- مشکلات مساله یافتن الگوهای پرتکرار
فصل سوم: ادبیات موضوع
3-2- مقدمه
3-3- مدل‌های پردازش و کاوش جریان‌های داده
3-4- جریان کاوی مجموعه اقلام تکراری در مدل نشانه
3-4-1- الگوریتم شمارش پر اتلاف
3-4-2- الگوریتم جنگل مجموعه اقلام تکراری پسوندی
3-5- کاوش مجموعه اقلام تکراری در مدل زوال
3-5-1- محو زمانی به‌وسیله وزن دادن مستقیم
3-5-2- الگوریتم استماکس
3-6- کاوش مجموعه اقلام تکراری در مدل پنجره‌ای
3-7- الگوریتم‌های بر اساس درخواست
3-7-1- روش MFI-TRANSW
3-7-2- الگوریتم استماکس+
3-7-3- الگوریتم دی. اس. تری
3-7-4- الگوریتم سی. پی. اس. تری
3-8- سایر الگوریتم ها
3-8-1- الگوریتم Moment
فصل چهارم: جمع بندی
فهرست منابع و مآخذ
فهرست شکل ها
تعداد مشاهده: 1846 مشاهده
فرمت فایل دانلودی:.docx
فرمت فایل اصلی: docx
تعداد صفحات: 57
حجم فایل:10,782 کیلوبایت
-
راهنمای استفاده:
مناسب جهت استفاده دانشجویان رشته کامپیوتر و فناوری اطلاعات
-
محتوای فایل دانلودی:
در قالب فایل word و قابل ویرایش
همراه با شکل، نمودار، جدول، پاورقی، فهرست شکل ها، منابع