在使用了這個采集器后發現這個軟件功能異常強大。列表頁和采集頁的切換以及全面的內容匹配規則能保證采集到想要的數據。不過在使用過程中我發現了下面幾個問題,也有可能是跟我對這個軟件還不熟悉,操作不熟練導致的,如果這樣的話,麻煩指正。謝謝!
1、采集成功過的內容頁面再重新采集的話就不能再采集了,必須要在數據庫中清空采集過的內容網址或者在操作界面中清空采集數據才能再次采集。如果對于采集對象是靜態網頁的話倒無所謂,但是對于動態網頁來說的話,顯然是很不合理的操作了。
2、基于問題1的考慮,可能是只考慮到支持靜態網頁的采集,所以一天內采集的所有的結果都導入到一個文件中,但是對于動態網頁的采集來說,比如我,更希望是每次采集都把數據保存在單獨的文件中。目前輸出文件的名字是以操作日期命名的,如果能在操作日期的基礎上加上操作的時間,比如“時-分”,就能很好的解決這個問題了??上壳斑@個保存文件的接口我還未找到,不能修改驗證,如果有人懂的話,麻煩告知,謝謝!
3、還有一個小小的問題,就是采集到的Json數據中存在中文的Unicode代碼,無法轉換,目前本人對這個軟件代碼還不是很熟悉,有知情者能否告知相應的接口,我這邊修改下看看。謝謝!
更新:目前已經搞定問題2、3。分享下方法:
修改文件:RfileEvent.class.php
文件名的修改接口:
$filename=date('Y-m-d',NOW_TIME)
將Unicode轉成中文的方法:
foreach ($collFields as $k=>$v)
{
$key=preg_replace_callback('/\\u([0-9a-f]{4})/i',create_function('$matches','return mb_convert_encoding(pack("H*", $matches[1]), "UTF-8", "UCS-2BE");'),$v);
$phpExcel->getActiveSheet()->setCellValue(chr(65+$k).$curRow,$this->get_field_val($key));
}
好的,感謝分享,會改善
- 1小碗熊cms5.0火車頭采集器免登陸發布模塊api
- 2藍天采集器怎么才能循環采集某個頁面的相同值
- 3藍天采集器1條已采集起始網址被過濾
- 4藍天采集器論壇招版主,截止12月底
- 5藍天采集器提示信息
- 6藍天采集器起始網址無法通過POST方式批量獲取列表頁
- 7藍天采集器各位大佬,怎樣把采集的內容發布到discuz門戶文章
- 8藍天采集器請教數據采集覆蓋或修改之前入庫信息的設置
- 9json采集功能點說明
- 10藍天采集器Zblog怎么自動發布?
- 11迅睿CMS文章火車頭采集器使用教程說明
- 12藍天采集器請問怎么采集新浪的這段網址
- 13藍天采集器采集到的磁力鏈接前面有固定網址怎么去除?!
- 14藍天采集器發布到數據庫失敗
- 15藍天采集器數據庫發布,數據庫連接測試成功,點數據表是空的?
- 16藍天采集器WordPress子比主題Zibll 版本:5.7.1入庫插件使用說明
- 17藍天采集器替換功能不正常 BUG反饋
- 18藍天采集器如何設置略縮圖教程
- 19藍天采集器關于DZ帖子發布的修改參考,技術有限僅供參考。
- 20藍天采集器Z-BlogPHP 1.5.1 Zero發布插件有誰成功的
-
狂雨小說cms偽靜態設置
Apache httpd.conf配置文件中加載了mod_rewrite.so模塊AllowOverride None將None改為All把下面的內容保存為.htaccess文件放到應用入口文件的同級目錄下<IfModule&nbs···
-
藍天采集器您好,我的采集到這卡住了,···
測試的時候還是可以得到數據的 設置》采集設置 ,設置下每次采集數量,頁面抓取間隔設0,這個bug下個版本修復
-
藍天采集器發布時綁定cms插件的時候···
當我們的采集規則寫好了以后,最重要的一步就是綁定發布插件入庫到我們數據庫里面;藍天采集器默認插件并不是很多,不是每一個發布插件都能識別出來,這時候呢就需要我們手動去選擇數據綁定如下圖所示。這里的路徑是我們藍天采集器發布插件的路徑;記得后綴一···
-
163K網站系統微信支付申請設置說明···
注意 需要同時開通網站的微信登陸功能 可參考說明: http://fuwu.163k.com/thread-41844-1-1.html 注意 網站手機版 必須正常開啟 (管理員后臺 手機版配置 是否開啟手機版是 開啟狀態 ) 支付···
-
教育學校/培訓機構網站建設方案
教育培訓行業是互聯網的流量大頭,面向的人群非常廣泛,每一個人都可以在互聯網上的到各種教育培訓機構,學校等所教授的知識。建立起一個高質量的教育培訓官網是我們最直接的宣傳方式。在互聯網上面,實時的更新我們教育培訓動態,知識點等,教育培訓企業很好···