爬蟲在實際生活中還是十分常見的,比如說國內更大的爬蟲——百度。所以說爬蟲做的好就可以賺錢了。今天講的這個也很簡單,爬取網頁超鏈接,但是有前提那就是這是一張靜態的網頁,動態的網頁有點難搞,小編還不是很會,等學會了在分享給大家。
首先我們需要引入我們要用的包,這里我們使用了python里面自帶的包urllib.request是python操作url的包,re是python正則表達式的包首先我們寫一個獲取網頁源代碼的函數
然后我們就要寫一個提取出網頁源代碼的超鏈接的函數
接下來我們就可以測試一下了
我們就可以去看看url.txt里面的東西了
我們發現里面有很多不是url,那個是因為在編寫網頁的時候使用的是相對路徑,所以會出現這種情況。但是這并不影響我們分析頭條首頁的超鏈接,基本上都不是本站的連接,說明頭條的廣告業務有點繁忙,當然這只是小編的猜測,萬一頭條有很多的域名呢?