搜索引擎url采集

  

  

一米智能搜索引擎url采集主要優(yōu)勢(shì)包含以下幾點(diǎn)：


搜索引擎url采集


1、支持國(guó)外與國(guó)內(nèi)多個(gè)主流搜索引擎，每個(gè)引擎的參數(shù)可單獨(dú)控制;


2、可自動(dòng)檢測(cè)當(dāng)前網(wǎng)絡(luò)屬于國(guó)內(nèi)還是國(guó)外，用于部分國(guó)外引擎的初始網(wǎng)絡(luò)代理設(shè)定判斷。


3、無(wú)需特定環(huán)境與依賴，可直接運(yùn)行;


4、自動(dòng)去重過(guò)濾。同時(shí)支持按url模式或者域名模式進(jìn)行重復(fù)判斷;


5、支持webhook，采集的結(jié)果，可實(shí)時(shí)推送到自定義遠(yuǎn)程API接口;


6、CPU占用、內(nèi)存資源占用低;


7、跨平臺(tái)，同時(shí)支持windows各主流版本操作系統(tǒng)、以及Centos、Ubuntu、Mac等各版本操作系統(tǒng);


8、支持自定義保存數(shù)據(jù)字段(域名、網(wǎng)址、所屬引擎、標(biāo)題、描述、IP、訪問(wèn)狀態(tài)碼等)


9、支持自定義代理功能，同時(shí)支持本地txt載入代理，以及支持代理平臺(tái)API接口，可自定義自動(dòng)更新時(shí)間頻率;

  

上一條：采集搜索引擎

下一條：搜索引擎采集器

相關(guān)資訊

推薦軟件