自定义博客皮肤VIP专享

*博客头图:

格式为PNG、JPG,宽度*高度大于1920*100像素,不超过2MB,主视觉建议放在右侧,请参照线上博客头图

请上传大于1920*100像素的图片!

博客底图:

图片格式为PNG、JPG,不超过1MB,可上下左右平铺至整个背景

栏目图:

图片格式为PNG、JPG,图片宽度*高度为300*38像素,不超过0.5MB

主标题颜色:

RGB颜色,例如:#AFAFAF

Hover:

RGB颜色,例如:#AFAFAF

副标题颜色:

RGB颜色,例如:#AFAFAF

自定义博客皮肤

-+

原创 Elastic安全分析新利器 —— Event Query Language (EQL) 介绍

文章目录简化复杂的查询设计一种语言应用EQLIOC 检索时间窗口搜索管道处理事件序列进程祖系 (PROCESS ANCESTRY)函数调用阀值排序 随着网络安全攻防双方的技术不断升级,敌方活动不再单纯地用静态的 “入侵指标”(IOCs)来描述。仅仅关注IOCs会导致检测变得脆弱,而且在发现未知攻击...

2020-11-18 14:32:42 1972 0

原创 Elasticsearch引入可搜索快照(searchable snapshot)

文章目录不断发展的旅程引入可搜索快照Cold层Frozen层优化最佳用户体验可搜索快照和我们的解决方案旅程还在继续今天就开始尝试 在7.10中,我们很高兴地发布了可搜索快照的beta版,这个功能改变了你使用你所选择的对象存储(如AWS S3、Microsoft Azure Storage、Goog...

2020-11-18 10:14:37 2035 1

原创 Siren Federate - Elasticsearch (join)增强插件初探

文章目录用户对于es join的热切需求Siren Federate 插件带来的扩展能力Siren Federate的安装外部数据源的虚拟映射支持的外部数据源MySQL测试创建远程数据源步骤创建远程数据源对象Siren Federate join 与 Elasticsearch joinSiren...

2020-11-12 17:58:16 3104 1

原创 读《长安十二时辰》有感——SIEM/SOC建设要点

文章目录安全分析&网络攻防的本质安全是一个数据问题安全数据 —— 不能有盲点安全数据 —— 要有规范,且能关联数据系统要有快速分析和处理数据的能力安全建设需要对内外部环境梳理内部环境的梳理外部情报的汇入完善的监控体系和有效的信息传导SIEM/SOC三要素 —— 人、技术、流程企业安全需要仰...

2020-11-05 14:45:07 3001 0

原创 ES VS CK,成本太高,效率太低?不存在的

这篇文章并非打算引战ES和CK社区。主要还是集中在ES本身,希望客户使用过程中避免一些误区,了解有用的细节 ES的产品一直在快速的迭代和更新,希望大家能够多了解新版本上的特性,这非常有助于成本的优化,性能的提升和运维的简化 当数据量过多,集群过多的时候,对ES的运维管理力不从心,可以联系一下售后和...

2020-11-03 17:53:47 3092 0

原创 聊聊自主可控和开源

最近和客户交流的时候,听到一些的关于开源可控与开源软件使用的声音。正直华为被制裁,多个中国企业上榜美国商务部进出口管制实体名单,又有一些自媒体在带节奏,描绘开源软件同样受到实体名单限制的影响,似乎一时间,加强自主可控的声音、避免被卡脖子的声音似乎等同于拒绝采购,拒绝开源厂商的服务。 我认为自主可控...

2020-11-02 12:05:32 3638 0

原创 Elastic的Workplace Search如何使用Gmail或Google Drive等数据源

Workplace Search 提供了大量的数据源的集成,我们只需要适当的配置就可以让Workplace Search自动同步数据源上的内容,让我们可以快速查询数据源上我们感兴趣的数据。 但目前官方提供的一些数据源,比如像GitHub、Gmail、Google Drive等,都需要翻墙才能够获取...

2020-10-14 20:44:04 2935 0

原创 如何解读Elasticsearch benchmark上的各种指标

Elasticsearch 压测工具和基准数据 Elastic针对Elasticsearch的性能测试/压力测试提供了一套工具——EsRally,可以方便我们快速的对Elasticsearch按照特定数据、脚本和配置进行相关性能和压力测试,并且返回整个运行过程的详细的运行指标。同时,官方也维护了一...

2020-08-11 09:53:10 3444 0

原创 厉害了!使用Elastic的有监督机器学习进行二元分类
原力计划

7.6版本的Elastic Stack提供了端到端机器学习管道所需的最后一块拼图。此前,机器学习专注于无监督技术与异常检测。然而,在7.x版本中,已经发布了几个功能。在7.2中,Elasticsearch发布了用于将原始索引转化为特征索引的Transforms。然后7.3、7.4和7.5分别发布了...

2020-08-01 12:45:19 1120 0

原创 如何选择Elastic产品的版本? —— Elastic 产品版本发布和维护策略

文章目录产品选择策略Elastic 产品版本策略Elastic 产品维护策略 产品选择策略 即便是Elasticsearch社区里面非常活跃,经常关注Elasticsearch相关话题和更新的小伙伴,也很难跟上Elastic Stack更新的节奏。因为整个Elastic Stack几乎以每月一个维...

2020-07-13 14:46:24 1092 0

原创 使用Elasticsearch搭建一个文件搜索系统 [HTTPS]

在文章原创 使用Elasticsearch搭建一个文件搜索系统(带界面)里面,我提到过搭建这样的一个本地文件搜索系统。现在我们越来越强调安全意识,通常需要使用https去保护Client和Elasticsearch之间的通信,这时,如何使用fscrawler,通过https访问elasticsea...

2020-07-08 11:35:08 313 0

原创 解锁 Elastic 最新的数据采集模块 - Ingest manager 和 Elastic Agent
原力计划

文章目录以后再也不用安装安装 tons of beats 了!解锁Ingest management页面先决条件Ingest management组件简介集成(Integrations)新的索引策略配置(Configurations)Fleet数据流(Data Streams)Elastic Ag...

2020-07-05 09:36:12 1848 1

原创 Elastic Stack超实用技巧 5分钟教你玩转各种场景

以下是Elastic原厂解决方案架构师为大家制作的5分钟小视频。通过简单易懂的快速上手教程,让大家快速了解Elastic Stack各个功能: Title Summary link Introduction to Elasticsearch Service Elasticsearc...

2020-06-24 12:07:41 274 0

原创 Elastic Stack 7.7 最新功能体验
原力计划

文章目录集群搭建准备演示数据体验service map体验全新的alert框架 Elastic在美国时间5月13号发布了最新的7.7版本。该版本在三个解决方案上均有大幅的更新,比如: 在全观察性解决方案上,推出了大家期盼已久的APM上的service maps功能,借助该功能,我们可以通过服务之间...

2020-05-14 22:21:14 842 0

原创 使用Elasticsearch做向量空间内的相似性搜索

文章目录索引`Word Embeddings`评分的余弦相似度局限性通过抽象属性搜索 Elasticsearch做文本检索是基于文本之间的相似性的。在Elasticsearch 5.0中,Elasticsearch将默认算法由TF / IDF切换为Okapi BM25,该算法用于对与查询相关的结果...

2020-01-30 11:43:54 2763 0

原创 使用Elastic Stack做应用的360度全观察性监控

文章目录示例架构事件分析和探索APM 探索Infra探索Discovery探索Service探索总结 Elastic坚信,如果我们要监控企业的IT基础设施或者说完成整个软件的端到端的全链路监控,那么就不应该漏过任何一个侧面的数据。这需要通过360度的全观察性来完成。Elastic Stack,作为...

2019-12-03 17:16:27 476 0

原创 Elasticsearch开发进阶指南——如何选择合适的ES版本

Elasticsearch不只是全文检索引擎的领头羊,现在也是各个大厂标配的大数据平台之一,被广泛用于搜索加速,用户标签、画像系统、向量搜索等领域,它不是传统的关系型数据库,但这个信息爆炸,数据堆积的时代,我们获取知识的方式已经极大的改变,搜索、提问成了获取知识的第一手段。对Elasticsear...

2019-11-30 10:04:53 4943 0

转载 滴滴基于 ElasticSearch 的一站式搜索中台实践(转)

ElasticSearch 在滴滴的应用场景 滴滴自 2016 年 4 月开始组建团队,解决 ElasticSearch 在使用过程中遇到的性能问题。搜索平台的建设是随着业务体量的发展逐步演进的,如今已经发展到有超过 3500+ ElasticSearch 实例, 5PB 的数据存储,峰值写入 ...

2019-09-27 18:04:17 562 0

转载 滴滴 Elasticsearch 多集群架构实践(转)

Elasticsearch 是基于 Lucene 实现的分布式搜索引擎,提供了海量数据实时检索和分析能力。Elastic 公司开源的一系列产品组成的 Elastic Stack,可以为日志服务、搜索引擎、系统监控等提供简单、易用的解决方案。 滴滴 Elasticsearch 简介 滴滴 201...

2019-09-27 18:01:53 132 0

原创 如何在Elastic cloud上选择合适的Elasticsearch service

文章目录Elastic cloud简介Elasticsearch service配置选择服务提供商数据中心集群配置选择服务的例子(Hot-Warm Architecture)总结 Elastic cloud简介 Elastic Cloud是Elastic不断增长的SaaS产品系列,它使我们能够轻松...

2019-09-25 11:18:53 490 0

原创 logstash的elasticsearch output plugin:不同action的区别(index/create/update)

文章目录elasticsearch plugin的actioncreateindexupdatedoc_as_upsertupsert异常总结 elasticsearch plugin的action logstash提供了多达40多种的output plugin用于将处理后的数据输出到下游系统。其...

2019-09-25 09:35:27 1401 1

原创 使用shodan/censys API搜索免费的elasticsearch/kibana资源

文章目录注册shodan并获取API安装shodan注册censys并获取API安装censys用censys查询可用elasticsearch资源 记得以前我在elastic社区分享过一个主题《ITDS如何玩转elastic》(这里的ITDS是IT屌丝的意思),里面提到过如何用elasticse...

2019-07-12 11:54:23 1526 0

原创 如何用logstash处理列式存储的文件

背景 最近遇到一个问题,朋友需要使用es去处理一些基因数据,其特点和其他的数据不一样,对象的个数很少,但每个对象下面有很多field。并且field的值是动态添加的,用列式存储数据是最为方便的。 方便起见,画了个示意图,file1是行式存储,即我们常见的csv,第一行是标题,后面每一行就是一条记录...

2019-07-12 09:45:43 658 0

原创 python中调用ansible 2.8

之前已经写过一篇文章了手把手教你在python中运行ansible-playbook 今天整理一下,把调用ansible的方法一并发出来。 这里特别要注意的是:ansible的代码一直在重构,每个版本的调用方式都不一样,以下代码仅限于ansible 2.8,关于其他版本,请自行百度 另外,本人正在...

2019-07-04 11:24:23 7972 15

原创 使用ansible+vue搭建elastic的自动化部署和配置平台

文章目录背景原型需求核心的需求管理需求技术需求可扩展需求招募 背景 因为经常和elastic打交道,所以平常写了很多关于elastic的博文。因为elastic的更新速度,所以常常骂空气。基本上每个月都会有一个版本更新,为了跟上速度,集群,插件的版本和配置更新工作就成了家常便饭。虽然自己写了一套a...

2019-07-03 16:37:04 2055 6

转载 (转)用webpack4从零开始构建react脚手架

使用脚手架 git clone git@github.com:xiehaitao0229/react-wepack4-xht.gitcd react-webpack4-xht `npm run dev` // 启动本地 `npm run build` // 打包线上环境 `npm r...

2019-06-27 10:17:10 667 2

原创 以python自定义模块的方式共享API(数据,短信通知、邮件通知,代理等)

文章目录自定义模块的好处哪些函数需要放到自定义模块当中生成自定模块通过ansible,将模块发布到云服务器上 经常写脚本的同学应该会经常碰到一些函数得反复的重写,比如日志,告警等。我在云上写了不少机器人脚本,每个都会涉及到一些公共的操作,比如,连接数据库(mysql,elasticsearch),...

2019-06-25 11:51:25 921 0

原创 用chrome插件实现cookie同步

文章目录场景描述面对的问题解决思路chrome cookie share插件开发项目结构manifest.json前端:content.js后端:background.js结语 场景描述 做过爬虫或者机器人的朋友一定会遇到登陆的问题:大多数的网站需要登陆之后才能读取内容或者执行操作。要实现网站的自...

2019-06-21 16:00:42 4473 2

原创 手把手教你在python中运行ansible-playbook

关于什么ansible,我这里就不做科普了,总之一句话,要做分布式系统的运维,实现批量系统配置、批量程序部署、批量运行命令等功能,ansible就是一大杀器,能令你事半功倍。 但作为一个cli工具,其使用场景还是受cli的限制,无法实现运行过程中更深入的交互和逻辑控制。ansible本身是用py...

2019-06-19 16:51:56 6060 4

原创 使用elasticsearch文件搜索系统助力亚马逊解决方案架构师认证考试

当真没想到随手写的一个文章 使用elasticsearch搭建文件搜索系统(带界面),居然会有这么多的点赞。哈哈,应该是贫穷限制了我的想象力,感谢30多位同学的赞。总之趁热打铁,围绕这个话题,趁我还有兴趣,再写一篇,

2019-06-14 11:02:05 499 1

原创 使用Elasticsearch搭建一个文件搜索系统(带界面)

接触ELK这么久,一直都在日志分析和系统运维方面兜圈圈。今天来玩转一下搜索技能,填补一下这方面的空白。主要也是好多天没更新博客了,来写一篇 文章目录基本需求任务分解web 前端web 后端索引替换文件监控与索引文件下载结语 何为文件搜索系统?其实简单一点,就可以想象为一个带用户界面的grep,可...

2019-06-10 17:59:32 8132 14

原创 阿里云垃圾坑人指南

阿里云极其垃圾的用户体验,让我觉得心累,而且无处发泄,连反馈的地方都没有,没办法,写个博客,发泄下 文章目录无法修改的手机号OSS永远无法修改的HTTP header无法求助 无法修改的手机号 本人的阿里云账号购买了一个2年期的ECS,但换了手机号,想修改手机号,结果一直告诉我要修改密码,结果我修...

2019-04-26 21:11:03 1306 2

原创 最强PostMan使用教程(7)postman做数字签名认证

文章目录postman支持的认证方式对 `folder` 和 `collection` 进行统一的认证配置数字签名认证数字货币交易所的API安全认证通过pre-request script生成动态签名Postman Sandbox API内建库pm对象组装message生成signature完整的...

2019-04-25 15:51:41 6252 0

原创 最强PostMan使用教程(6)- 使用Postman导入swagger OPEN API

好久没有更新这个系列的文章了,最近使用postman去测试数字货币交易所的API接口,让我们继续吧,

2019-04-25 12:45:04 8789 2

原创 使用nodejs/python实现bitmex API的签名signature

其实不光是bitmex,现在主流的数字货币交易网站都是采用类似的API认证方式,因此,本篇文章其实是适用于火币,OKEX等其他交易所的签名生成的 文章目录数字货币交易所的API安全认证python 实现nodejs 实现cryptocrypto-js 数字货币交易所的API安全认证 securi...

2019-04-25 10:19:32 938 0

原创 快速的将pandas的数据输入到elasticsearch

废话不多说,直接上代码: pandas2es.py import pandas as pd from elasticsearch import Elasticsearch #假设你有一堆数据,通过df加载,并且进行可必要的处理 df = pd.read_csv("/Users/lex/...

2019-04-09 09:57:10 2880 0

原创 在使用ipython的时候matplotlib无法自动显示图片(plot->show)

水一篇。。。 平时ipython和pandas用的少,每每画图的时候,看文档,别人df.plot()就能够出图,而我的这边总是得额外加一句plt.show() 这是我的ipython目录: . ├── extensions ├── nbextensions ├── profile_autorelo...

2019-04-09 09:08:15 2159 2

原创 使用logstash进行ip映射(主机名或系统名)

文章目录需求场景解决方案测试示例性能测试与调优 需求场景 当使用elasticsearch进行日志数据可视化的时候,往往会遇到需要IP地址无法human-reading的情况。这时,我们需要将IP地址进行一定的格式转换,将其转换为主机名(hostname)或者系统名(application/ser...

2019-04-04 09:45:22 3631 0

原创 如何制作dash的docset [以Elastic stack各文档为例]

dash,是macOS上一个极其有用的软件,通过dash,我们可以将各种技术文档离线下载到本地,然后进行快速的检索。并且,dash以IDE插件的形式,提供IDE等工具上的快速检索,你可以在IDE上通过快捷键,将你不熟悉的函数,方法,注解等快速定位到dash当中 Elastic stack提供了大...

2019-03-28 16:53:47 3069 1

原创 elastic中巧用script field和plainless进行可视化的格式修改

问题描述 在使用kibana做可视化的时候,总是避免不了因为数据的格式或者长度的问题导致显示异常,比如,我这里做了一个词云,用于显示最常出问题的模块: 模块的值是从标准日志里面提取出来的。一些超长的模块名,导致UI无法完全显示: 类似的,在做数据展示的时候,你总会碰到某些场景,要求你对数据做一...

2019-03-22 17:25:09 4095 1

提示
确定要删除当前文章?
取消 删除