目錄使用Appium在移動端抓取微博數(shù)據(jù)查找Android App的Package和入口記錄微博刷新動作爬取微博第一條信息使用Appium在移動端抓取微博數(shù)據(jù)

Appium是移動端的自動化測試工具，讀者可以類比為PC端的selenium。通過它，我們可以驅(qū)動App完成自動化的一系列操作，同樣也可以爬取需要的內(nèi)容。

這里，我們需要首先在PC端安裝Appium軟件，安裝下載的地址如下：https://github.com/appium/appium-desktop/releases

安裝軟件的步驟非常簡單，就與大多數(shù)軟件安裝步驟一樣，這里不在贅述。

但是只安裝Appium軟件并不能操作手機(jī)App，還需要下載專業(yè)的Android工具Android SDK，這里讀者可以直接下載安裝Android Studio即可，安裝完成之后，Android SDK也就安裝完成了。

基礎(chǔ)的配置到這里就結(jié)束了。下面，我們來通過Appium軟件操作手機(jī)App。

查找Android App的Package和入口

這里，博主主要介紹如何操作Android手機(jī)，感興趣的可以自己查閱資料配置IOS端。我們先來打開Appium軟件，看看其登錄界面。

如上圖所示，我們不需要更改任何參數(shù)，只需要點(diǎn)擊'Start Server v1.18.0'按鈕，進(jìn)行登錄操作，登錄之后，會出現(xiàn)如下界面。

這里，我們點(diǎn)擊放大鏡即可。點(diǎn)擊之后，會出現(xiàn)步驟4的界面，我們需要在這里界面之中配置你需要操作或者說爬取的App。

比如，這里博主需要爬取微博App的數(shù)據(jù)，那么你需要下載微博App的.apk安裝文件，然后通過反編譯查找其包名與啟動界面。具體反編譯步驟如下：

如上圖所示，我們需要通過壓縮文件打開weibo.apk安裝包，將AndroidManifest.xml拷貝出來。然后通過AXMLPrinter2.jar工具反編譯AndroidManifest.xml，默認(rèn)AndroidManifest.xml是亂碼，反編譯命令如下：

java -jar AXMLPrinter2.jar AndroidManifest.xml > AndroidManifest.txt

然后，我們在打開其AndroidManifest.txt就可以看到微博的包名以及啟動界面的Activity名稱，具體如下所示：

這里，我們得到微博的包名為：com.sina.weibo，而微博的啟動界面為：com.sina.weibo.MainTabActivity。接著，可以配置Appium軟件，效果如下：

這里，讀者可以直接點(diǎn)擊Start Session，也可以點(diǎn)擊保存Save As方便下一次直接使用。這里，博主先保存再點(diǎn)擊Start Session（注意，deviceName是關(guān)于手機(jī)里面的設(shè)備名稱，并不一定是你的手機(jī)名稱）：

可以看到，現(xiàn)在我們的微博手機(jī)界面已經(jīng)在Appium軟件上顯示了。下面，我們可以使用上面的眼睛按鈕，監(jiān)聽我們要操作的步驟，然后保存為一個動作鏈。

記錄微博刷新動作

在實(shí)際的微博中，我們通過下拉刷新微博界面。不過，其實(shí)還可以通過點(diǎn)擊底部的首頁按鈕進(jìn)行刷新，記錄操作并生成Python代碼的步驟如下所示：

這里，我們需要先點(diǎn)擊上面的眼睛記錄我們后續(xù)的操作。然后你可以選中首頁按鈕，再點(diǎn)擊最右邊的Tap，即完成了首頁的刷新動作，同時也會生成對應(yīng)的操作代碼：

默認(rèn)生成的操作語言是Java，你可以通過上圖下拉選擇自己需要的語言。這里，博主選擇Python，畢竟講解的是Python爬蟲。

雖然上面的代碼確實(shí)是操作手機(jī)App的代碼，但是你直接copy到python編輯器，肯定是無法運(yùn)行的，我們需要安裝Appium-Python-Client包：

pip install Appium-Python-Client

安裝完成之后，我們通過”from appium import webdriver“引入開發(fā)包，然后就可以通過上面的代碼進(jìn)行App爬蟲或者說一系列動作鏈的操作了。

這里，我們先來實(shí)現(xiàn)將剛才通過Appium的操作，全部轉(zhuǎn)換為代碼形式，具體代碼如下所示：

from appium import webdriverimport timeserver='http://localhost:4723/wd/hub'desired_caps = { 'platformName': 'Android', 'deviceName': 'liyuanjing', 'appPackage': 'com.sina.weibo', 'appActivity': 'com.sina.weibo.MainTabActivity',}driver=webdriver.Remote(server,desired_caps)time.sleep(10)el2 = driver.find_element_by_accessibility_id('首頁')el2.click()

如上面代碼所示，這樣我們就實(shí)現(xiàn)了通過軟件操作App的全部步驟。不過，這里有一個小問題，因?yàn)榇蜷_App首次都是要賦予權(quán)限的，博主剛才手動關(guān)了，并沒有錄制這個動作。

所以，讀者可以自己把賦予權(quán)限的步驟也錄制進(jìn)去，那么就是全自動了，這里作者偷個懶，就不錄制了。

爬取微博第一條信息

剛剛我們通過刷新的步驟，重新獲取了一遍微博首頁的內(nèi)容。現(xiàn)在，我們通過代碼來獲取首頁第一條微博的內(nèi)容。我們先來看看代碼：

from appium import webdriverimport timeserver = 'http://localhost:4723/wd/hub'desired_caps = { 'platformName': 'Android', 'deviceName': 'liyuanjing', 'appPackage': 'com.sina.weibo', 'appActivity': 'com.sina.weibo.MainTabActivity',}driver = webdriver.Remote(server, desired_caps)time.sleep(10)descs = driver.find_element_by_id('com.sina.weibo:id/contentTextView')print(descs.get_attribute('content-desc'))

這里，我們通過ID找到了第一條微博的控件，同時通過其屬性'content-desc'獲取到了微博的內(nèi)容。圖解效果如下：

運(yùn)行之后，效果如下：

當(dāng)然，這里之所以不同是因?yàn)槲覀兪謾C(jī)運(yùn)行代碼將微博界面又重新啟動了一遍。不過這是我們手機(jī)運(yùn)行后的第一條微博的信息。

到此這篇關(guān)于Python使用Appium在移動端抓取微博數(shù)據(jù)的實(shí)現(xiàn)的文章就介紹到這了,更多相關(guān)Python Appium抓取微博數(shù)據(jù)內(nèi)容請搜索好吧啦網(wǎng)以前的文章或繼續(xù)瀏覽下面的相關(guān)文章希望大家以后多多支持好吧啦網(wǎng)！