另外，爬取網(wǎng)易云推薦使用selenium，因?yàn)槲覀冊(cè)谧雠廊【W(wǎng)易云熱評(píng)的操作時(shí)，此時(shí)請(qǐng)求得到的代碼是父網(wǎng)頁(yè)的源代碼，這時(shí)是請(qǐng)求不到子網(wǎng)頁(yè)的源代碼的，也得不到我們需要提取的信息，這是因?yàn)閟elenium打開頁(yè)面后，默認(rèn)是在父級(jí)frame。

不用說(shuō)，當(dāng)然是把腳本轉(zhuǎn)為java代碼了，在E clipse中重新開始搞選擇一個(gè)測(cè)試框架有Junit和TestNg兩個(gè)選擇，公司用的是junit，所以，不用多說(shuō)，我就用junit驗(yàn)證selenium腳本的運(yùn)行結(jié)果并且，Junit和Test。

沒有不能查看源代碼的網(wǎng)頁(yè)，點(diǎn)一下F12或者1抓包，找到真正的url，模擬post或get2用selenium+phantomjs 或firefox 或chrome。

這個(gè)可以通過(guò)瀏覽器自帶的f12 ，或者通過(guò)鼠標(biāo)右鍵，審計(jì)元素獲得當(dāng)前html源代碼 答題不易，互相理解，您的采納是我前進(jìn)的動(dòng)力 如果我的回答沒能幫助您，請(qǐng)繼續(xù)追問 您也可以向我們團(tuán)隊(duì)發(fā)出請(qǐng)求，會(huì)有更專業(yè)的人來(lái)為您解答。

給re的數(shù)據(jù)類型有錯(cuò)，希望值是字符串，提供的確實(shí)其他類型。

selenium的一大優(yōu)點(diǎn)就是能獲取網(wǎng)頁(yè)渲染后的源代碼，即執(zhí)行操作后的源代碼普通的通過(guò) url解析網(wǎng)頁(yè)的方式只能獲取給定的數(shù)據(jù)，不能實(shí)現(xiàn)與用戶之間的交互selenium通過(guò)獲取渲染后的網(wǎng)頁(yè)源碼，并通過(guò)豐富的查找工具，個(gè)人認(rèn)為最好。

選擇用selenium，但是沒找到selenium的webdriver下取得所有資源加載鏈接的方法selenium包下有一個(gè)selenium模塊查看源碼時(shí)看到有個(gè)get_all_links方法但是一直沒找到這個(gè)模塊的用法最后，求解答謝謝大家方法不成的話，就。

這里主要根據(jù)是當(dāng)我們鼠標(biāo)放在以某tag為根節(jié)點(diǎn)的源碼的上時(shí)，上面的頁(yè)面對(duì)應(yīng)的界面元素會(huì)有相應(yīng)標(biāo)記方法缺點(diǎn)寫出的locator可能并不是頁(yè)面的唯一，這樣selenium運(yùn)行就難以識(shí)別。

如何用python的selenium提取頁(yè)面所有資源加載的鏈接 答用瀏覽器打開你那個(gè)連接完整加載，通過(guò) 查看源 找到你要的數(shù)據(jù)記住標(biāo)記，比如某個(gè)元素，selenium+python獲取到頁(yè)面代碼再去判斷查找你的標(biāo)記就知道是否加載完了。

page_source 得到的是靜態(tài)源代碼，不含js內(nèi)容 需要使用find_element_by 等方法定位元素獲取。

當(dāng)使用爬蟲抓取網(wǎng)頁(yè)時(shí)，一般只能獲取到網(wǎng)頁(yè)源代碼，而無(wú)法獲取到經(jīng)過(guò)瀏覽器渲染后的頁(yè)面內(nèi)容如果要獲取經(jīng)過(guò)瀏覽器渲染后的內(nèi)容，需要使用一個(gè)瀏覽器渲染引擎如Selenium來(lái)模擬瀏覽器行為，從而獲取到完整的頁(yè)面內(nèi)容另外。

安裝完成后，還需要安裝一些相關(guān)的Python庫(kù)，如requestsbeautifulsoupselenium等可以使用pip命令來(lái)安裝這些庫(kù)，例如在命令行中輸入以下命令來(lái)安裝requests庫(kù)```pipinstallrequests ```二使用requests庫(kù)獲取網(wǎng)頁(yè)內(nèi)容 requests。