爬蟲教學 (Python)

安裝爬蟲常用到的套件

1
2
3
pip install requests
pip install beautifulsoup4
pip install lxml

文章列表

爬蟲教學 CrawlerTutorial
[第 16 天] 網頁解析
Downloading Files from URLs in Python
如何抓取591租屋網的資訊?
Python進度條-progressbar2模塊

Day8:Python requests + bs4 實作模擬登入網站並爬取資料|Kearch 1.0 爬蟲關鍵字報表工具
Day6:安裝 Python Jupyter Notebook 及了解python scrapy|KeywordSearch 1.0 爬蟲關鍵字報表工具

投影片

Python爬蟲實戰 slide
正規表示式 p49 - p65

Thread 類

Multithreaded Crawler in Python
A multi-threaded Web crawler implemented in Python
A simple example of a Python multithreaded crawler

有趣的應用

學爬蟲可以幹麻咧?可以參考下列例子.
硅谷碼農用Python寫了個機器人,租到了讓女友滿意的房子