百度基于 Prometheus 的大规模线上业务监视实践

如说等十余个自由度。这样单个模板产造出的加权单项就将达到总共十万单项。

下降加权单项，当前必必需比对经营范围对于这些加权是如何顺利完成用到的。在短路适配场面之中，一般短路更容易消失在两个本质：

单个进程模板随之而来的缺陷，不管是由于灰度的部署还是单个模板的资源不足等消失异经常，都不会反映今单模板的消失异经常上，这时候更多的不会在模板级别上升单个模板有误总共、有误率、响应时间的的造出事。 经营范围随之而来的缺陷，有些消失异经常不会消失在某种融资或某个API上。这种消失异经常一般是该模组在实践中产生的缺陷，较少消失的单个模板上某种融资的消失异经常。

加权降维

根据以上比对，我们重新考虑对原先加权顺利完成“降维打击”，即下降加权系数得注意的 Label，对相同 Label 的资料顺利完成合并，下降终究读取空间级。

根据经营范围的短路造出事与适配的供给，对原先加权顺利完成测而今，受命生造出如下加权：

将原先的模板与经营范围加权的全短柄乘人组，叠加为两种资料，即模板级加权和经营范围级汇聚加权。当前针对这两种加权顺利完成依然读取和造出事。 而对于模板短柄乘经营范围的早期加权，根据实质的供给，在以外细节缺陷适配时仅仅不会有用，新设计其顺利完成短期读取。

通过以上削减思路，可以将必必需依然读取和实时造出事的读取空间下压几个单项。

框架借助于上，使用 Prometheus 作为通过观察端，对早期加权顺利完成全用到量通过观察，同时沿用少用到量读取，来读取早期加权资料。同时对加权顺利完成精制，降维削减单项后，传输到终端读取维修服务之中。

测度的选择

经营范围存用到量的加权一般来说，为 Histogram 一般来说，用于统计比对每一个模组不作为融资乞以求的总共用到量、响应时间，以及获得分位系数资料。

Histogram 一般来说系数得注意如下加权：

_count：表示上升的次总共，如存用到量的次总共，Counter 一般来说。 _sum：表示上升的总耗费，如融资的总耗费，Counter 一般来说。 _bucket：表示在有所不同耗费分桶线路内，上升的次总共，如在 0-500ms 内的存用到量次总共。同样为 Counter 一般来说。

在做降维测而今时，我们一开始看看了用到 sum 函总共。则根据之后所说的思路，分别到模板级和经营范围级，可以写造出如下的原则上：

以上原则上恰当吗？

解法是否定的，对 Counter 资料的单独以求 sum 不会随之而来终究资料有误。

原因在于 Counter 加权的特殊性：

Counter 加权是一个递增系数，不会记录从维修服务启动到现今的总用到量 当消失维修服务重启时，Counter 加权不会从 0 开始再计总共

这种特别的新设计，也造成了特别的用到方法：

由于 Counter 停滞递增的特点，单独用到 Counter 加权没有本质，必必需用到测度获得前后两个系数的差系数。如 Prometheus 之中缺少了 increase、rate、irate、delta 等测度，专用于不作为 Counter 一般来说的资料。 由于 Counter 系数在维修服务重启时不会再从 0 计总共，不会随之而来资料不再递增，此事如果做差系数测而今，不会消失负系数的不太可能会。Prometheus 的上述测度对这种不太可能会顺利完成了特殊不作为，当辨认出前后点差系数为负总共，不会认为该资料消失了移走，则不会用到后一个点的系数之比 0，作为切线的实质增用到量。

基于以上特点，当我们单独用到 sum 测度将多个模板的曲线加和后，其之中一个模板的重启，就不会随之而来整体的资料消失后系数小于前系数的不太可能会，基于 Prometheus 测度借助于大体上概念，断崖以外不会用到后者系数单独之比 0，并不比实质系数要极较差很多，消失突增。

那么如何应对这个缺陷？

我们选择跨过 Counter 加权。在测而今时，首先将 Counter 加权顺利完成差系数测而今，叠加为 Gauge 资料，获得短周期内的增用到量，然后对这个 Gauge 资料顺利完成 sum 。就可以避免 increase、rate 等测度的特殊不道德。

具体更换后测度如下（以通过观察短周期为 5s 举例来说）：

其之中内层用于将 Counter 加权叠加为按照短周期的 Gauge 增用到量加权： rate 表示以求短周期内的增加运动速度，由于 rate 等测度，必需要系数得注意两个点来顺利完成测而今，在 5s 通过观察短周期下，填入 10s 的车站内来保证这个前提条件。

*5 表示将运动速度叠加为 5s 短周期内的变所谓用到量。

外壳的 sum，表示对内层产生的 Gauge 加权顺利完成。

则恰当的测而今勤务修改为如下原则上：

备用拓展的柯氏通过观察

用到一个 Prometheus 战略性来考虑到对经营范围所有维修服务 Exporter 的，这就涉及如何做柯氏管理工作。

应对方法是建设脱离的 Prometheus 通过观察柯氏管理工作维修服务，Prom-Scheduler 与 Prom-Agent 维修服务：

Prom-Scheduler 都由基于通过观察勤务，顺利完成勤务扣除。同时通过定期的对通过观察交短柄点顺利完成精确测量，获得 Exporter 产造出的加权单项，根据 Exporter 的加权单项顺利完成勤务阻抗整体。 Prom-Agent 则与 Prometheus 通过观察维修服务一同部署，都由管理工作该柯氏 Prometheus 的通过观察的设计。

整个 Prometheus 通过观察维修服务用到 Kubernetes 顺利完成部署，在资源不太可能会允许的不太可能会下，通过对通过观察加权单项的，借助于备用的通过观察维修服务扩缩容。

根据上文所述的预供给，针对有所不同场面分出了两个 Prometheus 通过观察战略性，应用于有所不同的备用扣除而今法来考虑到有所不同场面的备用伸缩供给。

融资维修服务 Prometheus 通过观察战略性：

针对系数得注意经营范围加权的维修服务，使用按 App 备用柯氏通过观察，同一个 App 所属的模板 Exporter 扣除在同一组 Prometheus 通过观察维修服务上 同一个 App 的加权都能基于预测而今原则上尽用到量下降单项。

对于非融资维修服务 Prometheus 通过观察战略性：

通过测而今每个 Exporter 产生的加权总共用到量，阻抗整体到 Prometheus 战略性之中，借助于柯氏通过观察。 其之中 Exporter 的加权单项，通过定期对最大限度交短柄点顺利完成精确测量，来获取加权单项的变所谓。

较差密度测而今的应运而生

通过加权降维的应对方案借助于了加权的减用到量，但险些的是，减用到量后的加权单项，仅仅少于了终端读取维修服务都能承载的上限。相比之下是读取维修服务上的测而今原则上 (Record Rule) 和造出事原则上 (Alert Rule) 由于涉及读取空间大，经常处于了事情况下。

因此我们应运而生了 Flink 框架较差密度测而今维修服务，承接原先由读取维修服务赞同的预测而今和造出事临界系数扫描控制能力，减小对于读取的发信时测而今冲击。

基于较差密度测而今的特点，经营范围所提造出的测而今、造出事较差提早的供给也同样得到了考虑到。

整体框架应对方案如下图所示：

通过观察维修服务：

用到 Prometheus 作为通过观察维修服务，额外上升备用柯氏管理工作控制能力，借助于对经营范围模组、之中间件等 Exporter 顺利完成备用辨认出与资料通过观察。 同时如上文所述，该以外同时不会顺利完成经营范围加权顺利完成降维测而今，使得发送到资料通路的资料顺利完成。

发信维修服务：

发信维修服务同时框架了极较差比如说资料去重的应对方案，该以外不会在全面性的文章之中具体顺利完成说解。

较差密度测而今维修服务：

基于 Flink 框架的较差密度测而今维修服务，都由执行用户的设计的 Record Rule 和 Alert Rule，将测而今结果写回 Kafka。 在 Flink 测度的借助于之中，通过对原先的 Prometheus 测度针对较差密度测而今顺利完成依此所谓写出，借助于了较差密度测而今而今力的提升。

读取维修服务：

发信层，借助于了与 Prometheus 适配的 PromQL 发信引擎与API借助于。都能无缝对接 Grafana 等发信维修服务。 同时基于 Prometheus 的资料模型，上升了资料多层级降采样等特点，来考虑到长时间读取供给。

造出事维修服务：

造出事维修服务使用了网易自研的造出事重大事件及通告管理工作维修服务，相比原生 Prometheus 之中 AlertManager 偏薄弱的框架通讯设备通报控制能力，自研的 Alert Service 对通讯设备通报、通讯设备不作为、通讯设备渠道管理工作，及 AIOps 短路比对适配控制能力进一步增强。考虑到用户通讯设备不作为供给。

结 语

在本文之中，我们初步说解了针对大规模的经营范围场面，网易云原生团队基于 Prometheus 技术应对方案顺利完成的一些揭示。包括基于 Prometheus 顺利完成加权降维、Prometheus 的备用柯氏通过观察、以及基于 Flink 较差密度测而今框架的预测而今与造出事原则上替代应对方案。

在全面性的系列文章之中，我们将对该场面进一步顺利完成比对，从资料通过观察、测而今、读取和造出事等各环节技术细节造出发，继续探讨如何基于 Prometheus 框架极较差安全性、较差提早、极较差比如说的系统，敬请期待。

解读资料库的2021：国际金融市场进来添了一把火，Apache已占据半壁江山

下载用到量和Vue一样大的Apache软件被所写欺骗破坏，总共千款应用于受到牵连

西安通半个年底崩溃两次，被工信部点名；快手再传裁员：最极较差比率达 30%；易卜拉欣调整大淘宝组织框架 | Q 信息

Apache Flink 便是于测而今，总共仓框架或兴起在此之后变革

点个在看少个 bug👇

。

福州白癜风医院地址
藿香正气口服液
长春男科医院哪家比较专业
西安看白癜风医院哪个好
天津看妇科去哪家医院最好
来氟米特片能长期吃吗
脑出血前兆
甲氨蝶呤片效果怎么样？类风湿患者一定要知道！
民得维和先诺欣哪个好
眼睛视疲劳用哪个眼药水