如果一次采集的數據量過多,超過1W條左右,集采完畢入庫后最后出現這種情況。
建議:可不可以邊采集邊入庫,不要一次都采完了再一起入庫。
我親身體驗好幾回,手動采集時,如果意外把頁面關掉了,之前采集的都白采了,再采還要從頭再來
如果變成邊采集邊入庫,就不會出現這種情況,比如說我采集到第650條時,頁面被意外關閉了。
那我再打開頁面再采的時候,之前那650條已經入庫了。會從第651條繼續開始采,這樣就不會出現重新開始的情況。
----------------------------------------------------
還有,再提個建議,
正在采集的實時狀態,
把“采集內容頁:http://"前面加上排序
比如說:
當前采集總頁數為:16500頁
正在集采第:
1、采集內容頁:http://www.xxx.com
2、采集內容頁:http://www.xxx.com
3、采集內容頁:http://www.xxx.com
4、采集內容頁:http://www.xxx.com
...........
16500、采集內容頁:http://www.xxx.com
采集完畢。
謝謝反饋,這個問題在下個版本修復,暫時可以設置下php的memory_limit參數
下個版本什么時候出來呀,現在有好多問題呀,影響使用啊,甚至使用不了啊。
嗯,正在開發中,最晚7月底
- 1藍天采集器發布到本地數據庫失敗
- 2藍天采集器請在官方推薦的站點下載,勿下載任何第三方提供的軟件
- 3藍天采集器需要采集的字段,他們的class都同名 怎么辦?
- 4藍天采集器什么時候能自己用的一些小問題
- 5藍天采集器親問下 采集器 可以采集淘寶內容嗎 , 求教使用方法,一...
- 6藍天采集器采集微信公眾號操作教程
- 7藍天采集器還沒開始安裝呢就404了……
- 8藍天采集器建議
- 9藍天采集器請問像問答這種模塊怎么采集?
- 10163k地方門戶系統安裝操作教程
- 11藍天采集器如何倒序采集
- 12藍天采集器圖片本地化問題,請問一下站長
- 13藍天采集器資訊列表頁鏈接采集規則教程分享
- 14藍天采集器站長采集規則不能直接寫正則表達式嗎
- 15Bty分銷系統v5忘記密碼找回的2個操作方法
- 16藍天采集器如何關聯多頁采集規則教程
- 17阿里云windows服務器買了單獨的云盤如何掛載數據盤在服務器上面教程
- 18影視站建設教程-零基礎搭建影視站
- 19ZKEYS公有云業務管理系統藍天采集器自動采集入庫操作教程
- 20FastAdmin系統-Bty分銷系統v5藍天采集器自動采集入庫使用教程
-
多語言建站看這里:PbootCMS多···
一、如何搭建多語言站?多語言/區域建站用于使用同一個后臺建立多語言網站。1、使用步驟1)在后臺"系統管理>數據區域"添加相應的區域,具體參考默認區域;2)將多語言的模板放入模板目錄,不同語言的模板均放在templa···
-
ZKEYS公有云業務管理系統藍天采集···
ZKEYS業務管理系統通過提供完善的平臺來管理包括計算、網絡、存儲在內的各項資源,其功能模塊涵蓋了云服務器、虛擬主機、托管等業務的在線彈性購買及秒級開通交付; 平臺具有安裝簡單、維護輕松、成本低廉、業務功能齊全等特點,支持一鍵安裝Linux···
-
教育學校/培訓機構網站建設方案
教育培訓行業是互聯網的流量大頭,面向的人群非常廣泛,每一個人都可以在互聯網上的到各種教育培訓機構,學校等所教授的知識。建立起一個高質量的教育培訓官網是我們最直接的宣傳方式。在互聯網上面,實時的更新我們教育培訓動態,知識點等,教育培訓企業很好···
-
PbootCMS模板安裝與授權方法
1、系統自帶完整后臺以及模板,默認采用Sqlite數據庫,不需要做導入和配置操作,放入PHP(5.3+)空間即可直接使用,2、進入后臺?http://www.xxxx.com/admin.php? ?后臺用戶名為:admin? ?密碼為:1···
-
163K網站系統自動升級常見報錯檢查···
在使用自動升級過程 ,可能會遇到一些報錯,這里列舉一些常見問題的檢查解決辦法 一 、 進度為1%時 提示 升級升級exe失敗....。升級終止 0>升級服務沒有啟動 在服務器 開始 運行中 輸入 services.msc 回車 后 ···