籍鑫璞 发布于 04月11, 2018

MySQL智能调度系统

普通的数据库调度系统是按照一些重要的软件和硬件指标,将实例调度到机器上,这样的调度方式容易造成资源的浪费。本文将尝试根据数据库实例画像和线上机器的画像,制定合理的资源分配策略,最终实现资源节约,并为每季度的机器申请提供决策支持。

阅读全文 »

籍鑫璞 发布于 03月21, 2018

基于容量预估的资源回收系统

背景

成本永远是互联网公司不可能绕开话题,如何在保证不影响业务的前提下提高服务器的使用率一直是业界比较关注的问题。

IDC中的机器使用率参差不齐,有使用率比较高的,有使用率比较低的,如果我们能够发现使用率比较低的机器,并且加以回收,就能够在提高机器的使用率的同时,为企业节约出成本。

那如何找出空闲的机器呢?本文通过定量分析该机器监控项的历史数据以及回归预测监控项的未来趋势,并且经过合理的分类算法分析出该机器属于空闲的机器,需要进行回收。下面将详细地进行介绍。

阅读全文 »

籍鑫璞 发布于 11月17, 2017

时间序列异常检测机制的研究

问题的引出

双十一刚过,阿里还有京东就在疯狂地show(秀)他们的技术有多牛逼多牛逼。无可厚非,两家公司在应对神棍节的时候都有自己的一套针对不同场景的策略。试想一下,假如双十一那天天猫的主页访问不了,那马爸爸得损失好多个亿。为了防止这样的情况出现,除了疯狂扩容以外,一套理想的异常检测机制也是非常非常重要的。

阅读全文 »

籍鑫璞 发布于 10月13, 2017

kubernetes资源概览接口的研究

背景

借鉴以前openstack调度的经验,单纯根据基础资源(如cpu、memory等使用量)来计算机房资源的剩余情况会有偏差,有时候剩余资源满足flavor并不一定能在node成功创建虚拟机,因为openstack的调度算法并不是单纯根据资源来筛选那么简单。对于kubernetes来说,pod好比虚拟机,因为scheduler有很多算法来筛选出最合适的node,所以我们并不能单纯通过计算cpu、memory来判断某个pod是否能创建成功。

现有的k8s并没有一个类似的模块,因此,我们需要基于现有k8s的机制实现一个满足我们需求的、更灵活的子系统–-资源统计接口,能够在增加应用副本的时候,提前告诉用户该扩容的过程是否能够完成,如果可以完成再最终创建。

阅读全文 »

籍鑫璞 发布于 08月26, 2017

Tensorflow on Kubernetes

Tensorflow现状

Tensorflow作为深度学习领域逐渐成熟的项目,以其支持多种开发语言,支持多种异构平台,提供强大的算法模型,被越来越多的开发者使用。但在使用的过程中,尤其是GPU集群的时候,我们或多或少将面临以下问题:

阅读全文 »

籍鑫璞 发布于 06月29, 2017

异常检测机制

前言

传统的异常检测系统通过设置一个固定的阈值来保证监控项处于正常水平,一旦超过设定的阈值,就会触发报警来提醒人们的注意。

静态阈值法适用于在一定范围内波动的监控项,比如磁盘使用率,CPU使用率等,但是如果遇到网络流量这种不具有明显上限,波动比较剧烈的情况,单纯利用静态阈值法如果设置的阈值比较小,会出现很多误报的情况,增加人工成本;而如果将阈值设置的比较大,又会出现漏报的情况。

所以我们提出了一个应对复杂场景的异常检测算法,它不仅考虑同期数据的情况,也会将周期性纳入考虑范围,通过设置动态阈值的方法来对异常数据进行检测。

阅读全文 »

籍鑫璞 发布于 06月20, 2017

从手写数字识别的模型入手Tensorflow

通过上一篇《一篇文章,带你了解tensorflow的奥秘》,相信你对tensorflow的核心概念以及编程模式有了有了一定的了解,今天我们将结合一个手写数字识别(MNIST)模型来进一步了解tensorflow的使用。

阅读全文 »

籍鑫璞 发布于 05月27, 2017

一篇文章,带你了解Tensorflow的奥秘

最近在乌镇举办的人工智能峰会上,AlphaGo 2.0作为1.0的升级版,和现世界排名第一的柯洁进行了三局厮杀,且不说结果如何,人工智能,尤其是深度学习领域已经在悄然间走进了我们的视野之中。AlphaGo一路连克世界冠军井山裕太、朴廷桓、李世石以及柯洁等众多高手,一时间成为大家茶余饭后的话题。作为支撑AlphaGo复杂训练任务的深度学习框架tensorflow,和其他深度学习框架如caffe、CNTK等相比有什么优势?怎么样才能对它有大体的认识和了解呢?希望通过这篇文章,能够让你对上面的问题有了比较全面的了解。

阅读全文 »

籍鑫璞 发布于 03月02, 2017

利用回归模型预测数值型数据

回归

机器学习算法按照目标变量的类型,分为标称型数据和连续型数据。标称型数据类似于标签型的数据,而对于它的预测方法称为分类,连续型数据类似于预测的结果为一定范围内的连续值,对于它的预测方法称为回归。

阅读全文 »