پایان نامه شخصی سازی وب با استفاده از خوشه ها

شخصی سازی وب

پایان نامه بهینه سازی خوشه ها با استفاده از الگوریتم های تکاملی برای شخصی سازی وب

فهرست مطالب

عنوان                                                                                                               صفحه

چکیده…………………………………………………………………………………………………………….. 1

فصل اول………………………………………………………………………………………….. 2

1-1-مقدمه……………………………………………………………………………………………………….. 3

1-2-تعریف مسئله………………………………………………………………………………………………. 4

1-3-اهمیت و ضرورت تحقیق…………………………………………………………………………………. 5

1-4-شیوه پژوهش……………………………………………………………………………………………… 8

1-5-چارچوب پایان‏نامه………………………………………………………………………………………… 8

مراجع…………………………………………………………………………………………………………….. 10

فصل دوم:……………………………………………………………………………………….. 11

2-1-مقدمه……………………………………………………………………………………………………… 12

2-2-مروی بر کارهای انجام شده…………………………………………………………………………….. 12

مراجع……………………………………………………………………………………………………………. 21

فصل سوم:……………………………………………………………………………………… 24

3-1-مقدمه…………………………………………………………………………………………………….. 25

3-2-مراحل وب کاوي………………………………………………………………………………………… 26

3-2-1-انواع وب‌کاوی……………………………………………………………………………………. 27

3-3- شخصی‌ سازی وب………………………………………………………………………………………. 28

3-3-1-دلایل نیاز به شخصی‌ سازی وب……………………………………………………………….. 28

3-3-2-مراحل شخصی سازی وب……………………………………………………………………… 29

3-3-2-1-جمع‌آوری داده…………………………………………………………………………… 30

3-3-2-2-پردازش داده…………………………………………………………………………….. 31

3-3-2-3-کشف الگو……………………………………………………………………………….. 31

3-3-2-4-تحلیل دانش……………………………………………………………………………… 31

3-3-3-تکنیک های مدل­سازی کاربر در شخصی سازی وب………………………………………… 31

3-3-3-1-تکنیک tf-idf……………………………………………………………………………. 32

3-3-3-2-تکنیک متا مدل و ابزار OLAP………………………………………………………. 32

3-3-3-3-تکنیک براساس محتوای وب…………………………………………………………. 33

3-3-3-4-تکنیک براساس فراهم کردن داده‌های موثر (ODP)………………………………. 34

3-3-3-5-شخصی­ سازی وب با استفاده از روش­های ترکیبی………………………………….. 34

3-3-3-6-شخصی­ سازی وب براساس الگوریتم استقرایی و تکنولوژی tf-idf……………….. 35

3-3-3-7-شخصی سازی وب با استفاده از کندوکاو الگوی ترتیبی و درخت الگو…………… 35

3-4-خوشه‌بندی برای شخصی سازی وب ………………………………………………………………….. 35

3-4-1-خوشه­بندی فازی………………………………………………………………………………… 36

3-4-1-1-الگوریتم پایه‌ای خوشه‌بندی فازی……………………………………………………… 36

3-4-1-2-الگوریتم فازی کا-مینز…………………………………………………………………. 36

3-4-1-3-خوشه­بندی صفحات وب با استفاده از خوشه­بندی فازی k-means………………. 37

3-4-2-الگوریتم ژنتیک………………………………………………………………………………… 39

3-4-2-1-بهینه‌سازی خوشه‌بندی فازی با استفاده از الگوریتم ژنتیک………………………… 40

3-4-3-روش پیشنهادی در این تحقیق………………………………………………………………. 42

3-4-4-شمای کلی سیستم پیشنهادی……………………………………………………………….. 42

3-4-5-مثالی از سیستم پیشنهادی…………………………………………………………………… 43

3-4-6-شبه کد روش پیشنهادی……………………………………………………………………….. 50

3-5-جمع­بندی………………………………………………………………………………………………… 51

مراجع…………………………………………………………………………………………………………… 53

فصل چهارم:……………………………………………………………………………………. 55

4-1-مقدمه…………………………………………………………………………………………………….. 56

4-2-مجموعه داده­ها…………………………………………………………………………………………. 56

4-2-1-دیتاست YANDEX……………………………………………………………………………. 57

4-2-1-1-پیش پردازش انجام شده با مجموعه داده­های خام قبل از انتشار………………….. 57

4-3-پارامترهای ارزیابی………………………………………………………………………………………. 60

4-4-آزمایشات انجام شده……………………………………………………………………………………. 61

4-4-1-سخت افزار مورد استفاده………………………………………………………………………. 62

4-4-2-نتایج آزمایشات…………………………………………………………………………………. 62

4-5-جمع­بندی……………………………………………………………………………………………….. 64

مراجع:………………………………………………………………………………………………………….. 65

فصل پنجم:……………………………………………………………………………………… 66

5-1-مقدمه…………………………………………………………………………………………………….. 67

5-2-نتایج و دستاوردهای پروژه…………………………………………………………………………….. 68

5-3-پیشنهادات……………………………………………………………………………………………… 68

مراجع……………………………………………………………………………………………………………. 70

چکیده

گرانبار شدن اطلاعات یک مشکل عمده در وب کنونی به شمار می­رود. برای مقابله با این مشکل، سیستم‌های شخصی سازی وب ارائه شده­اند که محتوا و سرویس­های یک وب­سایت را با افراد براساس علایق و رفتار گردشی آن­ها سازگار می­کنند. یک مؤلفه­ی اساسی در هر سیستم شخصی­ سازی وب، مدل کاربر آن است. هدف از شخصی سازی وب، مهیا ساختن محتوا و سرویس­های مورد نیاز کاربران به وسیله دانش به دست آمده از تعاملات قبلی کاربران در صفحات وب است.

در حال حاضر، برای شخصی سازی وب چندین متد خوشه­بندی در دسترس است. روش­هایی که تاکنون ارائه شده­اند، در مواردی دارای اشکالاتی بودند. البته تکنیک­های جدیدی در رفع این مشکلات و بهبود آنها ارائه شده است. اما در بیشتر این تکنیک­ها، مسائل افزونگی داده و مقیاس­بندی بالا وجود دارد. با توجه به اینکه افزایش کاربران وب منجر به افزایش اندازه‌ی خوشه می‌گرد، نیاز به بهینه‌سازی خوشه‌ها اجتناب‌ناپذیر خواهد بود.

در تحقیق، یک متدولوژی بهینه­سازی خوشه بر اساس سیستم فازی ارائه شده است. به منظور افزایش دقت نهایی خوشه­بندی، برای تنظیم پارامترهای توابع عضویت از الگوریتم ژنتیک استفاده شده است. نتایج حاصل از شبیه‌سازی نشان می‌دهد که روش پیشنهادی دقت خوشه­بندی صفحات وب را تا حد قابل توجهی افزایش می­دهد.

کلید واژه­ها: شخصی­ سازی صفحات وب- خوشه­ بندی- کاربرد وب­کاوی- الگوریتم فازی سی مینز- پایگاه داده یاندکس.

شخصی سازی وب

هر اقدامی که اطلاعات یا سرویس‌های فراهم شده توسط یک وب‌سایت را با نیازهای یک کاربر یا گروه خاصی از کاربران با به کارگیری دانش بدست آمده از رفتار گردشی کاربر و علایق خاص او به صورت ترکیب با محتوا و ساختار وب‌سایت سازگار می‌کند، شخصی سازی وب نامیده می‌شود (Eirinaki, 2003).

هدف یک سیستم شخصی سازی وب عبارت است از فراهم کردن اطلاعات دلخواه یا مورد نیاز کاربران بدون درخواست صریح آن‌ها.

با شخصی سازی وب، دسترسی به محتویات از صفحات وب و یا اصلاح محتویات وب، بهتر و با توجه به خواسته هر کاربر می‌تواند انجام شود. این امر ممکن است شامل ایجاد صفحات وب جدید باشد که هر کاربر با درخواست خود می‌تواند اسنادی از وب را بازیابی کند. شخصی‌سازی می‌تواند به‌عنوان نوعی از خوشه‌بندی، دسته‌بندی و یا حتی پیش‌بینی دیده شود. در دسته‌بندی، خواسته‌های کاربر براساس کلاس‌ها تعیین می‌شود. از طریق خوشه‌بندی، خواسته‌های تعیین شده براساس کاربرانی که خواسته‌های مشابه دارند، تعیین می‌شود. در نهایت، پیش‌بینی برای این مورد که کاربران چه چیزی واقعاً می‌خواهند ببینند، به کار می‌رود.

دلایل نیاز به شخصی سازی وب

دلایل نیاز به شخصی سازی وب را می‌توان بصورت زیر بیان کرد:

1. گرانبار شدن اطلاعات: وب جهانی منبعی عظيم از اطلاعات را فراهم آورده است. در بررسی‌های گوناگون انجام شده در زمينه‌ی گسترش وب تخمين زده شده است که روزانه بیش از يک ميليون صفحه به وب اضافه می‌شود و بيش از 600 گيگابايت از صفحات در هر ماه تغيير می‌کنند (Nasraoui, & et. Al., 2008) و (Achananuparp, & et. al., 2007). اين پديده که گرانبار شدن اطلاعات ناميده می‌شود مشکلاتی را برای کاربران وب بوجود آورده است.از مهم‌ترين اين مشکلات عدم دسترسی آسان به اطلاعات مورد نياز می‌باشد.
2. نیاز به جذب مشتری پابر‌جای برای وب‌سایت: ظهور سرویس‌های مبتنی بر وب مانند تجارت الکترونیکی، یادگیری تحت وب و بانکداری الکترونیکی موجب تغییرات اساسی در روش استفاده از اینترنت شده است و وب‌سایت ها را به محیطی برای تجارت تبدیل کرده است و موجب افزایش رقابت بین آن‌ها شده است. با وجود رقبایی که تنها یک کلیک از وب‌سایت مورد نظر فاصله دارند نیاز به افزودن خدمات اضافی به سرویس‌های وب به عنوان لازمه‌ی ایجاد مشتری پابرجای به وضوح احساس می‌شود. این خدمات اضافی تنها با تمرکز بر نیازها و علایق فردی مشتریان و فراهم کردن سرویس‌ها و محصولات متناسب با آن‌ها امکان‌پذیر است.

 مراحل شخصی سازی وب

در سیستم شخصی سازی وب، انواع مختلفی از کارها می‌تواند اجرا شود. این تابع‌ها یا کارها تعدادی از نیازها را در سیستم شخصی سازی وب برآورده می‌کند که هدفش توسعه سیستم قدرتمند و انعطاف‌پذیر است ( شکل 2-1). در ادامه لیستی از نیازهای کلی برای شخصی سازی وب ارائه می‌شود.

خوشه‌بندی برای شخصی سازی وب

شخصی‌سازی صفحه وب شامل خوشه‌بندی صفحات مختلف وبی است که الگوی مشابهی دارند. شخصی‌سازی وب از تکنیک کاربرد وب­کاوی برای سفارشی کردن صفحات وب برای یک کاربر خاص استفاده می­کند. این مسئله شامل استخراج جلسات کاربر از فایل­های ورود به سیستم می­شود. یک جلسه کاربر، دنباله صفحات وبی که توسط کاربر در یک دوره زمانی خاص مورد دسترسی قرار گرفته، می­باشد. در حال حاضر، برای شخصی سازی وب چندین متد خوشه­بندی در دسترس هستند.

الگوریتم­های خوشه­بندی متعددی براساس تکنیک­های مختلف وجود دارد. بیشتر این الگوریتم‌ها، اشکالات متعددی دارند. در ادامه به معرفی این الگوریتم‌ها پرداخته خواهد شد.

خوشه ­بندی فازی

خوشه­بندی فازی را می‌توان بخشی از تحلیل داده فازی دانست که دارای دو بخش است: یکی تحلیل داده­های فازی و دیگری تحلیل داده­های قطعی با استفاده از تکنیک­های فازی. ایده بنیادین در خوشه­بندی فازی به این ترتیب است که فرض شود هر خوشه مجموعه­ای از عناصر است. سپس با تغییر در تعریف عضویت عناصر در این مجموعه از حالتی که یک عنصر فقط بتواند عضو یک خوشه باشد، به حالتی که هر عنصر می­تواند با درجه عضویت­های مختلف داخل چندین خوشه قرار بگیرد، دسته­بندی­هایی را انجام می­دهد (Suryavanshi, et. al., 2006).

الگوریتم پایه‌ای خوشه‌بندی فازی

الگوریتم‌های پایه‌ای در زمینه خوشه‌بندی فازی محدود به Fuzzy C-Means و Possibilistic  C-Means است که از Hard C-Means که در ادبیات موضوع با عنوان الگوریتم K-Menas معرفی شده است، استخراج شده‌اند. هر دو این الگوریتم‌های ارائه شده در این بخش مبتنی بر تابع هدف هستند که خوب بودن خوشه‌بندی را می‌سنجند (Castellano, & et. al., 2007).

 الگوریتم فازی کا-مینز

این الگوریتم ابرهای کروی از نقاط را در یک فضای p بعدی شناسایی می­کند. این خوشه­ها به طور مفروض تقریباً هم اندازه هستند. هر خوشه با مرکزش نمایش داده می­شود. این نحوه نمایش خوشه­ها، مدل یا نمونه نیز نامیده می­شود. زیرا اغلب به عنوان نماینده همه داده­های تخصیص داده شده به خوشه، انگاشته می­شود. برای فاصله، فاصله اقلیدسی بین یک نقطه و یک نمونه مورد استفاده قرار می­گیرد. در انتخاب مرکز خوشه، مقدار میانگین مورد استفاده قرار می­گیرد.

برای محاسبه مرکز خوشه مجموع درجات عضویت هر عنصر به توان M در خودش به حاصلضرب توان M درجه عضویت‌ها تقسیم می­شود. M  یک عدد حقیقی بزرگتر است که در اکثر موارد مقدار دو برای این پارامتر در نظر می­گیرند. در این پایان‌نامه برای M مقدار دو در نظر گرفته شده است. از مزایای آن، کاهش زمان محاسباتی است و با تکرار کم می­توان به حلی تقریباً نهایی رسید (Singh, et. al., 2011).

جهت مشاهده نمونه های دیگر از ادبیات ، پیشینه تحقیق و مبانی نظری پایان نامه های مهندسی کامپیوتر و فناوری اطلاعات کلیک کنید.

نمونه ای از مراجع

• [1].     Abraham, A., & Ramos, V. (2003, December). Web usage mining using artificial ant colony clustering and linear genetic programming. In Evolutionary Computation, 2003. CEC’03. The 2003 Congress on (Vol. 2, pp. 1384-1391). EEE.
• [2].     Bergmann, R., & Stahl, A. (1998). Similarity measures for object-oriented case representations (pp. 25-36). Springer Berlin Heidelberg.
• [3].     Castellano, G., Fanelli, A. M., Mencar, C., & Torsello, M. A. (2007, November). Similarity-based fuzzy clustering for user profiling. In Proceedings of the 2007 IEEE/WIC/ACM International Conferences on Web Intelligence and Intelligent Agent Technology-Workshops (pp. 75-78). IEEE Computer Society.
• [4].     Castellano, G., Fanelli, A. M., Mencar, C., & Torsello, M. A. (2007, November). Similarity-based fuzzy clustering for user profiling. In Proceedings of the 2007 IEEE/WIC/ACM International Conferences on Web Intelligence and Intelligent Agent Technology-Workshops (pp. 75-78). IEEE Computer Sociey.
• [5].     Dai, H. K., & Mobasher, B. (2002). Using ontologies to discover domain-level web usage profiles. Semantic Web Mining, 35.
• [6].     Dumais, S. T., Furnas, G. W., Landauer, T. K., Deerwester, S., & Harshman, R. (1988, May). Using latent semantic analysis to improve access to textual information. In Proceedings of the SIGCHI conference on Human factors in computing systems (pp. 281-285). ACM.
• [7].   Eirinaki, M., Mavroeidis, D., Tsatsaronis, G., & Vazirgiannis, M. (2006). Introducing semantics in web personalization: The role of ontologies. InSemantics, Web and Mining (pp. 147-162). Springer Berlin Heidelberg.
• [8].     Gabrilovich, E., & Markovitch, S. (2007, January). Computing Semantic Relatedness Using Wikipedia-based Explicit Semantic Analysis. In IJCAI (Vol. 7, pp. 1606-1611).
• [9].     Gonzales, E., Mabu, S., Taboada, K., & Hirasawa, K. (2010, August). Web Mining using Genetic Relation Algorithm. In SICE Annual Conference 2010, Proceedings of (pp. 1622-1627). IEEE.
• [10].   Kosala, R., & Blockeel, H. (2000). Web mining research: A survey. ACM Sigkdd Explorations Newsletter, 2(1), 1-15.
• [11].  M. Eirinaki, M. Vazirgiannis, I. Varlamis, “SEWeP: using site semantics and a taxonomy to enhance the Web personalization process”, Proceedings of the ninth ACM SIGKDD international conference on Knowledge discovery and data mining, 2003.
• [12].   Minio, M., & Tasso, C. (1996, January). User modeling for information filtering on internet services: Exploiting an extended version of the umt shell. In UM96 Workshop on User Modeling for Information Filtering on the WWW (pp. 2-5).
• [13].   Nasraoui, O., Soliman, M., Saka, E., Badia, A., & Germain, R. (2008). A web usage mining framework for mining evolving user profiles in dynamic web sites.Knowledge and Data Engineering, IEEE Transactions on, 20(2), 202-215.
• 14-…
• 15-…