python如何爬取網(wǎng)頁(yè)中的文字
用Python進(jìn)行爬取網(wǎng)頁(yè)文字的代碼:
#!/usr/bin/python# -*- coding: UTF-8 -*-import requestsimport re# 下載一個(gè)網(wǎng)頁(yè)url = ’https://www.biquge.tw/75_75273/3900155.html’# 模擬瀏覽器發(fā)送http請(qǐng)求response = requests.get(url)# 編碼方式response.encoding=’utf-8’# 目標(biāo)小說(shuō)主頁(yè)的網(wǎng)頁(yè)源碼html = response.textprint(html)
1、編寫(xiě)爬蟲(chóng)思路:
確定下載目標(biāo),找到網(wǎng)頁(yè),找到網(wǎng)頁(yè)中需要的內(nèi)容。對(duì)數(shù)據(jù)進(jìn)行處理。保存數(shù)據(jù)。
2、知識(shí)點(diǎn)說(shuō)明:
1)確定網(wǎng)絡(luò)中需要的信息,打開(kāi)網(wǎng)頁(yè)后使用F12打開(kāi)開(kāi)發(fā)者模式。
在Network中可以看到很多信息,我們?cè)陧?yè)面上看到的文字信息都保存在一個(gè)html文件中。點(diǎn)擊文件后可以看到response,文字信息都包含在response中。
對(duì)于需要輸入的信息,可以使用ctrl+f,進(jìn)行搜索。查看信息前后包含哪些特定字段。
對(duì)于超鏈接的提取,可以使用最左邊的箭頭點(diǎn)擊超鏈接,這時(shí)Elements會(huì)打開(kāi)有該條超鏈接的信息,從中判斷需要提取的信息。從下載小說(shuō)來(lái)看,在目錄頁(yè)提取出小說(shuō)的鏈接和章節(jié)名。
2)注意編碼格式
輸入字符集一定要設(shè)置成utf-8。頁(yè)面大多為GBK字符集。不設(shè)置會(huì)亂碼。
內(nèi)容擴(kuò)展:
接下來(lái)我們了解一下爬取網(wǎng)頁(yè)信息的步驟。
想要獲得我們所需的數(shù)據(jù)分三步
第一步:使用BeautifulSoup解析網(wǎng)頁(yè)
Soup = BeautifulSoup(html,’lxml’)
第二步:描述想要爬去信息的東西在哪里。
信息 = Soup.select(’???’)
要知道它叫什么名字,如何去定位。
第三步:從標(biāo)簽中獲得你想要的信息
<p>Something</p>
從標(biāo)簽中獲取我們需要的信息,去掉一些沒(méi)有用的結(jié)構(gòu),并且把我們獲取的信息按照一定格式裝在數(shù)據(jù)容器中,方便我們?nèi)ゲ樵儭?/p>
以上就是python如何爬取網(wǎng)頁(yè)中的文字的詳細(xì)內(nèi)容,更多關(guān)于python爬取網(wǎng)頁(yè)文字的資料請(qǐng)關(guān)注好吧啦網(wǎng)其它相關(guān)文章!
相關(guān)文章:
1. Docker容器如何更新打包并上傳到阿里云2. 怎樣才能用js生成xmldom對(duì)象,并且在firefox中也實(shí)現(xiàn)xml數(shù)據(jù)島?3. IDEA利用自帶Axis工具和wsdl文件反向生成服務(wù)端客戶端代碼圖文詳解4. 解決JAVA服務(wù)器性能問(wèn)題5. [算法]Java中的位運(yùn)算優(yōu)化:位域、位圖棋盤(pán)..6. Centos7下crontab+shell腳本定期自動(dòng)刪除文件7. JAVA教程:解析Java的多線程機(jī)制(2)8. Android實(shí)現(xiàn)短視頻畫(huà)心效果9. 使用APC最優(yōu)化PHP10. Android實(shí)現(xiàn)下載進(jìn)度條效果
