pbootcms网站模板|日韩1区2区|织梦模板||网站源码|日韩1区2区|jquery建站特效-html5模板网

用好anyproxy提高公眾號文章采集效率

給大家分享一下anyproxy進階使用方法,并且通過這個分享如何提高公眾號文章采集效率的分析,需要的朋友參考學習下吧。

影響因素主要會有以下幾點:

1、網絡環境不佳;

2、手機或模擬器中微信客戶端崩潰;

3、其它一些網絡傳輸錯誤;

因為我比較看重采集系統的運行成本,這個成本包括硬件投入,運算力投入和占用的人工精力。所以必須提高運行的穩定性。因此如果采集中斷,必然增加人工精力的成本。所以針對這一點我對anyproxy做了一些進階的改造,并且借助了其它一些工具提高了運行效率。以下就是具體的解決方法:

一、代碼升級

1)微信瀏覽器白屏

解決方法:修改文件requestHandler.js,還是在rule_default.js同級目錄下,(mac系統/usr/local/lib/node_modules/anyproxy/lib/;win系統評論區網友cnbattle提供C:\Users\Administrator\AppData\Roaming\npm\node_modules\anyproxy\lib)

在代碼中找到proxyReq.on("error",function(e){這個函數,并修改內容

//userRes.end();//把這一行注釋掉
userRes.end('<script>setTimeout(function(){window.location.reload();},2000);</script>');//插入這一行

這樣當發生錯誤時,會返回一個刷新當前頁面的js;這樣程序就能繼續下去了

2)替換所有圖片,減輕瀏覽器負擔

首先需要制作一張非常小的圖片,我做的是1x1像素,png透明圖;放到任意文件夾里。然后修改文件rule_default.js的代碼:

在文件開頭有許多var的位置加入以下代碼

var fs = require("fs"),
 img = fs.readFileSync("/Library/WebServer/Documents/space.png");//代碼絕對路徑替換成自己的

在下面的代碼中找到shouldUseLocalResponse : function(req,reqBody){函數,在函數內插入代碼:

if(/mmbiz\.qpic\.cn/i.test(req.url)){
 req.replaceLocalFile = true;
 return true;
}else{
 return false;
}

繼續在下面的代碼中找到dealLocalResponse : function(req,reqBody,callback){函數,在函數內插入代碼:

if(req.replaceLocalFile){
 callback(200, {"content-type":"image/png"},img );
}

這三段代碼就會將公眾號里面的所有圖片替換成本地圖片,減輕網絡傳輸壓力和瀏覽器占用的內存,有效的提高運行效率;

3)禁止手機或模擬器訪問一些無用的和會導致錯誤的網址

同樣在rule_default.js里找到代碼replaceRequestOption : function(req,option){函數,在函數內部插入代碼:

var newOption = option;
if(/google|btrace/i.test(newOption.headers.host)){//這里面的正則可以替換成自己不希望訪問的網址特征字符串,這里面的btrace是一個騰訊視頻的域名,經過實踐發現特別容易導致瀏覽器崩潰,所以加在里面了,繼續添加可以使用|分割。
 newOption.hostname = "127.0.0.1";//這個ip也可以替換成其他的
 newOption.port  = "80";
}
return newOption;

這個修改之前的文章也提到過了,在這里重新再詳細介紹一下。他的用途很多,不同的手機和模擬器都有可能訪問一些無用的地址導致設備變慢,通過這個代碼就可以阻止訪問。

二、使用pm2管理anyproxy進程

pm2 是一個帶有負載均衡功能的Node應用的進程管理器.

當你要把你的獨立代碼利用全部的服務器上的所有CPU,并保證進程永遠都活著,0秒的重載, PM2是完美的。它非常適合IaaS結構,但不要把它用于PaaS方案(隨后將開發Paas的解決方案).

主要特性:

內建負載均衡(使用Node cluster 集群模塊)

后臺運行

0秒停機重載,我理解大概意思是維護升級的時候不需要停機.

具有Ubuntu和CentOS 的啟動腳本

停止不穩定的進程(避免無限循環)

控制臺檢測

提供 HTTP API

遠程控制和實時的接口API ( Nodejs 模塊,允許和PM2進程管理器交互 )

測試過Nodejs v0.11 v0.10 v0.8版本,兼容CoffeeScript,基于Linux 和MacOS.

首先安裝pm2

sudo npm install -g pm2

在pm2環境下運行anyproxy

sudo pm2 start anyproxy -x -- -i

現在anyproxy就在pm2的環境中運行了

用好anyproxy提高公眾號文章采集效率

之后還有幾個pm2的命令可以幫助管理和監控anyproxy

//查看運行日志
sudo pm2 logs anyproxy [--lines 10]
//關閉anyproxy
sudo pm2 delete anyproxy
//重啟anyproxy
sudo pm2 restart anyproxy
//監控內存占用
sudo pm2 monit
//監控運行狀態
sudo pm2 list

特別提示:pm2運行后,終端窗口是可以關閉的。

使用pm2管理anyproxy進程,最重要的目的是:anyproxy因為錯誤而退出程序之后,pm2可以另anyproxy自動重啟。

三、取消sudo密碼,并使pm2開機自啟

以下內容是在mac環境下的方法,windows也應該有類似的方法,如果了解的網友可以私信發給我。

1)首先取消sudo的密碼

運行命令:

sudo visudo

找到代碼:

%admin   ALL = (ALL) ALL

修改為:

%admin   ALL = (ALL) NOPASSWD: ALL

這樣sudo的密碼就取消掉了,然后就可以將pm2加入到開機自啟動中了

2)設置開機自啟

在終端中輸入命令:

cd
touch autoexec.sh
vim autoexec.sh
【網站聲明】本站除付費源碼經過測試外,其他素材未做測試,不保證完整性,網站上部分源碼僅限學習交流,請勿用于商業用途。如損害你的權益請聯系客服QQ:2655101040 給予處理,謝謝支持。

相關文檔推薦

給大家分析一下如何用PHP寫出采集微信公眾號文章的方法以及代碼詳細講解,需要的朋友學習一下。
給大家講解了微信公眾號文章采集的入口歷史消息頁信息獲取方法,有需要的朋友參考一下本內容。
主站蜘蛛池模板: 真空冷冻干燥机_国产冻干机_冷冻干燥机_北京四环冻干 | 并网柜,汇流箱,电控设备,中高低压开关柜,电气电力成套设备,PLC控制设备订制厂家,江苏昌伟业新能源科技有限公司 | 台湾阳明固态继电器-奥托尼克斯光电传感器-接近开关-温控器-光纤传感器-编码器一级代理商江苏用之宜电气 | 隆众资讯-首页_大宗商品资讯_价格走势_市场行情 | 珠海白蚁防治_珠海灭鼠_珠海杀虫灭鼠_珠海灭蟑螂_珠海酒店消杀_珠海工厂杀虫灭鼠_立净虫控防治服务有限公司 | 涡街流量计_LUGB智能管道式高温防爆蒸汽温压补偿计量表-江苏凯铭仪表有限公司 | 上海租车公司_上海包车_奔驰租赁_上海商务租车_上海谐焕租车 | Maneurop/美优乐压缩机,活塞压缩机,型号规格,技术参数,尺寸图片,价格经销商 | 网站建设-临朐爱采购-抖音运营-山东兆通网络科技 | 冲锋衣滑雪服厂家-冲锋衣定制工厂-滑雪服加工厂-广东睿牛户外(S-GERT) | 瓶盖扭矩测试仪-瓶盖扭力仪-全自动扭矩仪-济南三泉中石单品站 | 威客电竞(vk·game)·电子竞技赛事官网 | 福州甲醛检测-福建室内空气检测_环境检测_水质检测-福建中凯检测技术有限公司 | UV-1800紫外光度计-紫外可见光度计厂家-翱艺仪器(上海)有限公司 | 萃取箱-萃取槽-PVC萃取箱厂家-混合澄清槽- 杭州南方化工设备 | 中细软知识产权_专业知识产权解决方案提供商 | 冷水机,风冷冷水机,水冷冷水机,螺杆冷水机专业制造商-上海祝松机械有限公司 | 鼓风干燥箱_真空烘箱_高温干燥箱_恒温培养箱-上海笃特科学仪器 | 医用酒精_84消毒液_碘伏消毒液等医用消毒液-漓峰消毒官网 | 矿用履带式平板车|探水钻机|气动架柱式钻机|架柱式液压回转钻机|履带式钻机-启睿探水钻机厂家 | 铝合金线槽_铝型材加工_空调挡水板厂家-江阴炜福金属制品有限公司 | 英国公司注册-新加坡公司注册-香港公司开户-离岸公司账户-杭州商标注册-杭州优创企业 | 承插管件_不锈钢承插管件_锻钢高压管件-温州科正阀门管件有限公司 | 美国查特CHART MVE液氮罐_查特杜瓦瓶_制造全球品质液氮罐 | 能耗监测系统-节能监测系统-能源管理系统-三水智能化 | 武汉高低温试验机-现货恒温恒湿试验箱-高低温湿热交变箱价格-湖北高天试验设备 | POM塑料_PBT材料「进口」聚甲醛POM杜邦原料、加纤PBT塑料报价格找利隆塑料 | 浙江皓格药业有限公司| 煤棒机_增碳剂颗粒机_活性炭颗粒机_木炭粉成型机-巩义市老城振华机械厂 | 企业微信scrm管理系统_客户关系管理平台_私域流量运营工具_CRM、ERP、OA软件-腾辉网络 | 宝元数控系统|对刀仪厂家|东莞机器人控制系统|东莞安川伺服-【鑫天驰智能科技】 | 反渗透水处理设备|工业零排放|水厂设备|软化水设备|海南净水设备--海南水处理设备厂家 | 早报网| 山东led显示屏,山东led全彩显示屏,山东LED小间距屏,临沂全彩电子屏-山东亚泰视讯传媒有限公司 | 新车测评网_网罗汽车评测资讯_汽车评测门户报道 | 利浦顿蒸汽发生器厂家-电蒸汽发生器/燃气蒸汽发生器_湖北利浦顿热能科技有限公司官网 | 连续密炼机_双转子连续密炼机_连续式密炼机-南京永睿机械制造有限公司 | 澳门精准正版免费大全,2025新澳门全年免费,新澳天天开奖免费资料大全最新,新澳2025今晚开奖资料,新澳马今天最快最新图库-首页-东莞市傲马网络科技有限公司 | 自清洗过滤器_全自动过滤器_全自动反冲洗过滤器_量子过滤器-滑漮滴 | CE认证_FCC认证_CCC认证_MFI认证_UN38.3认证-微测检测 CNAS实验室 | 专业的新乡振动筛厂家-振动筛品质保障-环保振动筛价格—新乡市德科筛分机械有限公司 |