問題描述

要處理的文件不多，就是幾萬條，都是些簡單的處理，Excel暫時也夠用。大概思路兩條：

1、python抓到的數據通過Python DB API 儲存到mysql中再做處理。2、直接把爬取到的資料用Phthon XlsxWriter模塊生成Execl文件（.xlsx）。

不知道哪條路線對自動生成文件和后期的處理比較方便。自己不太會用mysql,所以比較傾向用XlsxWriter模塊生成Execl文件，只是看了XlsxWriter模塊的一些文檔，也只是編寫數據內容和格式，然后生成Execl文件，不知道有沒有爬取的數據自動生成Execl文件比較簡單的實現（有一些爬蟲的框架可以實現，但是暫時沒有學習框架，因為只是想實現一些簡單的功能而已）。

問題解答

我遇到過類似的問題, 最后選的是用 excel.這個完全看你的需求.哪個方便選哪個. 先說下我的情況.

我當時的需求每次只爬幾百條數據, 而且每次都是用完就扔.所以用 excel 更方便些. 操作 excel 我用的 openpyxl. 只用來保存爬取的數據, 不操作樣式, 用起來還是蠻簡單的.

看你的數據有幾萬條, 如果考慮以后還會持續增加的話, 還是直接存數據庫以后操作比較方便.話又說回來, 如果覺得現在存 excel 也能滿足自己需求的, 而且更方便的話, 存 excel 也行.以后隨著數據增長, 覺得 excel 不能滿足需求了, 寫個腳本直接把 excel 里的數據導入數據庫里.

看題主還擔心不熟悉 MySQL, 這個完全不是問題, 學過其他數據庫的話, 學 MySQL 也不是難事.

數據庫

遲早要接觸的

數據少 直接文本文件存儲都比 Excel 好...

我覺得這個和用什么數據庫存儲沒關系，可以爬蟲爬取的數據存進execl里面，后期再自己寫程序將execl數據導入數據庫，這樣也能提高爬蟲處理的速度，如果在爬取過程中入庫就不太好了

不懂mysql 就直接用 openpyxl

存成csv文本文件, 照樣可以用Excel打開,也方便導入數據庫.

SQLite

數據少并發不高用Sqlite唄~不熟sql用ORM唄~例如peewee~

后期處理肯定使用數據庫。