文章詳情頁
python - 基于scrapy-redis的分布式爬蟲運(yùn)行的時(shí)候不能正常運(yùn)行 遇到的問題如下截圖所示
瀏覽：149日期：2022-08-03 11:20:00
問題描述
爬蟲運(yùn)行時(shí)一直是這樣的每一分鐘出現(xiàn)一條這樣的信息，無限循環(huán)。不能爬取下來數(shù)據(jù)
這是redis服務(wù)端的顯示
這樣是什么問題，望有高手可以為我解惑，謝謝。
問題解答
回答1：使用scrapy_redis，你要去投放url讓spider去爬取，你投放了嗎？比如
redis-cli lpush myspider:start_urls http://google.com
上一條：python3.x - python中的虛擬環(huán)境怎樣設(shè)置一直處于激活狀態(tài)下一條：python - scrapy-redis爬蟲運(yùn)行是連接redis數(shù)據(jù)庫連接錯(cuò)誤
相關(guān)文章：
1. 微信小程序的選項(xiàng)卡中的數(shù)據(jù)分頁加載卡頓問題？？？2. android 手勢解鎖 布局問題3. javascript - transition height auto 過渡動(dòng)畫4. javascript - 請(qǐng)問一下組件的生命周期beforeDestory是在什么情況下面觸發(fā)的呢？5. jquery - Ajax請(qǐng)求，返回200狀態(tài)碼，但收到數(shù)據(jù)包為空值6. css3 - 如何出現(xiàn)橫向捲軸？7. intellij-idea - 嘗試Scala on Android過程中SBT生成的MainActivity.scala出現(xiàn)錯(cuò)誤，如何解決？8. html5 - 急求？被公司問住了9. 這段代碼是獲取百度收錄量的！需要怎么設(shè)置才能獲取百度快照旁邊的網(wǎng)址呢？10. vue.js - vue 打包后 nginx 服務(wù)端API請(qǐng)求跨域問題無法解決。
排行榜
熱門標(biāo)簽
網(wǎng)公網(wǎng)安備