爬蟲在實(shí)際生活中還是十分常見的,比如說國內(nèi)更大的爬蟲——百度。所以說爬蟲做的好就可以賺錢了。今天講的這個(gè)也很簡單,爬取網(wǎng)頁超鏈接,但是有前提那就是這是一張靜態(tài)的網(wǎng)頁,動(dòng)態(tài)的網(wǎng)頁有點(diǎn)難搞,小編還不是很會(huì),等學(xué)會(huì)了在分享給大家。
首先我們需要引入我們要用的包,這里我們使用了python里面自帶的包urllib.request是python操作url的包,re是python正則表達(dá)式的包首先我們寫一個(gè)獲取網(wǎng)頁源代碼的函數(shù)
然后我們就要寫一個(gè)提取出網(wǎng)頁源代碼的超鏈接的函數(shù)
接下來我們就可以測試一下了
我們就可以去看看url.txt里面的東西了
我們發(fā)現(xiàn)里面有很多不是url,那個(gè)是因?yàn)樵诰帉懢W(wǎng)頁的時(shí)候使用的是相對(duì)路徑,所以會(huì)出現(xiàn)這種情況。但是這并不影響我們分析頭條首頁的超鏈接,基本上都不是本站的連接,說明頭條的廣告業(yè)務(wù)有點(diǎn)繁忙,當(dāng)然這只是小編的猜測,萬一頭條有很多的域名呢?