خزش وب و شبکه‏ های اجتماعی

چکیده

بالا رفتن قدرت محاسباتی سیستم‏ها، افزایش حافظه‏ها و همچنین دسترسی آسان به داده‏های موجود در وب، باعث شده است تا پژوهشگران حوزه علوم داده به استفاده از داده‏های حجیم، علاقه مند شوند. با توجه به این که سایت‏ها، شرکت‏ها و بنگاه‏های تجاری اینترنتی، داده‏های خود را به سادگی در اختیار دیگران نمی‏گذارند، پژوهشگران و برنامه نویسان، روش‏ها و ابزارهای قدرتمندی را برای جمع آوری و ذخیره سازی داده‏ها توسعه داده اند که به آن خزش یا کرال می‏گویند. با استفاده از این ابزار‏ها، داده‏ها و اطلاعات داخل وب سایت‏ها و شبکه‏های اجتماعی را بدست آورده و در قالب‏های معمول و قابل استفاده برای تحلیل‏های خود ذخیره می‏کنند.
در این کارگاه قصد داریم به آموزش وب اسکریپینگ (Web Scraping) برای صفحات وب و خزش شبکه‏های اجتماعی بپردازیم. اسکریپر در واقع یک برنامه کامپیوتری (در این آموزش به زبان پایتون) است که خیلی ساده یک درخواست را به یک سرور ارسال می‌کند و پاسخ سرور را تجزیه و بخش مورد نظر ما را چاپ می‌کند. در بخش خزش شبکه‏های اجتماعی نیز روی دو مورد اینستاگرام و تلگرام، به نحوه ساخت یک خزشگر به زبان پایتون خواهیم پرداخت.

سر فصل ها

خزش وب :

• معرفی web scraping و کاربرد آن
• معرفی کتابخانه requests در پایتون
• نحوه ارسال درخواست HTTP و دریافت پاسخ آن
• معرفی ابزار selenium در پایتون و کاربرد آن در خزش صفحات وب
• معرفی کتابخانه BeautifulSoup
• استفاده از کتابخانه BeautifulSoup برای خواندن تگ HTML از صفحه وب و نمایش آن
• نمونه عملی خزشگر وب

• معرفی اصطلاحات مهم و پایه در اینستاگرام
• اطلاعات قابل جمع آوری در اینستاگرام
• روش‏های جمع آوری اطلاعات از اینستاگرام
• نمونه عملی از خزش اینستاگرام

• مقدمات خزش شبکه ‏های اجتماعی
• آشنایی با خزش تلگرام
• معرفی کتابخانه Telethon
• نحوه ساخت ربات ‏های تلگرام

زمینه پژوهشی

ارائه دهندگان

• سجاد رضایی
• رامین رضوانی خراشادی زاده
• سمیه سلطانی

نحوه ارائه کارگاه

مجازی

زمان برگزاری

11 آبان 1399

مدت زمان برگزاری

14 - 18

فایل ها

دانلود فایل توضیحات