藍天采集器采集中斷、自動采集無效、圖片下載不了，解決方法！

因為web服務器有運行時間限制，所以只要采集執行時間太長都會導致程序中斷，需要修改web服務器的超時時間
IIS服務器：
桌面>計算機>右鍵>管理>服務和應用程序>IIS>根目錄>FastCGI 設置>雙擊"php-cgi.exe">活動超時



apache服務器：
apache目錄confextrahttpd-default.conf，修改Timeout

nginx服務器：
nginx目錄conf ginx.conf，修改 fastcgi_connect_timeout

修改以上的參數值可讓采集不再中斷，修改完后記得重啟服務器！
其他服務器請自行百度
如果你是虛擬主機無法修改配置，唯一方法就是設置采集數量，每次不要采集太多，一般web服務器運行時間為30秒，盡量不要超時！

zmh886 發表于 2019-5-27 21:46
我用的是直接弄個網頁自刷新執行采集，可以做到無人值守一直抓取。
代碼大概如下：設置的2分鐘采集間隔， ...

你這個還是要開個頁面一直開機抓取，應該做到服務器后臺計劃任務自動抓取，這樣就是真的無人值守。 貌似采集數量設置少一些可以采集，可以2000-4000-6000一個一個試試 還有人有解決的方法沒？都不行 后臺采集為啥不做成 php守護進程的方式。我看代碼里面有應該加入命令行啟動守護進程。前臺點擊后臺采集就把任務提交到隊列里面有隊列去執行 今天試了一下，中斷的幾率太高了，無法做到無人值守的抓取。還是應該使用隊列加守護的方式 本帖最后由 zmh886 于 2019-5-27 21:48 編輯

老碼農 發表于 2019-5-27 18:17
今天試了一下，中斷的幾率太高了，無法做到無人值守的抓取。還是應該使用隊列加守護的方式 ...

我用的是直接弄個網頁自刷新執行采集，可以做到無人值守一直抓取。
代碼大概如下：設置的2分鐘采集間隔，下面代碼設置的125秒刷新一次。

1. <meta http-equiv="Content-Type" content="text/html; charset=utf-8" />
   
2. <meta http-equiv="refresh" content="125">
   
3. 
   
4. 
   
5. <div id='numDiv'>...</div>
   
6. <script src="http://www.lz2.cc/caiji/index.php?s=/admin/Task/collect&id=3"></script>
   
7. <script type="text/javascript">
   
8. var num=125;
   
9. var interval=setInterval(function(){
   
10. if(num==0){
    
11. clearInterval(interval);
    
12. }
    
13. numDiv.innerHTML=num--;
    
14. numDiv.innerHTML=numDiv.innerHTML+"秒后刷新本頁面";
    
15. },1000);
    
16. </script>
    
17. </body>

復制代碼

老碼農 發表于 2019-5-28 09:42
你這個還是要開個頁面一直開機抓取，應該做到服務器后臺計劃任務自動抓取，這樣就是真的無人值守。 ...

采用自動采集方式，然后把觸發采集地址添加到定時訪問url任務里面！就可以實現自動采集。就是停止運行也可以采集！ 之前用tp5的queue做過隊列自動采集的。有卡死的情況不穩定。后來加了supervisor好多了。這塊藍天應該借鑒一下

老碼農 發表于 2019-5-28 09:42
你這個還是要開個頁面一直開機抓取，應該做到服務器后臺計劃任務自動抓取，這樣就是真的無人值守。 ...

今天發現我的方法還有個小問題，必須是先登錄管理員，才能使用這樣指定任務的方式采集。

相關知識點： 服務器 隊列 任務