ES删除delete_by_query超时问题

最近在开发过程遇到个十分棘手的事情,在项目中,需要将某天的ES中的数据删除,但是当天产生的数据量非常大,大约是50W+的一个状态。用postman测了一下,删除响应时间大约在一分半左右。这个时间显然会在程序中超时报错。

这个问题在网上没有找到合适的方法,所以只能啃ES的官方API寻求解决的方法。

官方API:

这里贴出官方API的地址:

ES6.5官方API

解决问题:

先找到 delete_by_query ,在他的params中找到了一个非常有意思的字段:waitForCompletion

我们看到,设置这个字段为true的话请求直到query完成才返回,这不正是打出大数据超时的原因吗,如果我们设置成false呢?是不是就是立即返回,不等待删除的结果,这样不就不会出现超时的现象了吗?

动手搞一下!

waitForCompletion在params中位置是这样的:

{

index:

······

waitForCompletion:false

body:{

······

}

}

好了,params搞定,用deleteByQuery()调用一下就完事了。观察到程序立即返回了,用postman观察数据量在不断的减少,说明ES后台在执行删除的任务。

完美解决!

但是,随之而来的一个问题,我怎么才能知道我的删除是否完成了呢?

这就要依靠ES的任务管理机制。前面的delete_by_query会返回一个任务ID(taskId),我们可以根据任务ID查询任务是否完成。

返回ID:

怎么做呢?

再看API

API中有查询task的方法—task.get()

看到params中的taskId,只需要将taskId传入,就会返回task的状态信息。可以根据状态信息的内容判断任务是否完成。

返回的状态信息大致是这样的:

如图,返回信息中有完成状态信息,“completed”为true,任务已完成,false表示任务未完成,查询不到任务为报一个error。

params的格式:

{

taskId : yourTaskID

}

传入client.tasks.get(),根据返回的状态信息判断删除任务是否完成。

————————————————

版权声明:本文为CSDN博主「马衍硕」的原创文章,遵循CC 4.0 BY-SA版权协议,转载请附上原文出处链接及本声明。

原文链接:https://blog.csdn.net/mmayanshuo/article/details/84784784

READ MORE

es删除索引空间未释放

1.通过Delete命令删除索引数据

POST 
http://{{es_ip}}:9200/user/_doc/_delete_by_query
{
    "query":{
        "bool":{
            "must":[
                {"term":{"dataType": ""}},
                {"term":{"createdBy": "SYSTEAM"}}
            ]
        }
    }
}

2.删除后磁盘空间实际上并没有得到释放,需要再次执行命令操作

POST
http://{{es_ip}}:9200/user/_forcemerge?only_expunge_deletes=true

3.此时通过命令再次查看,可以发现空间已经释放

作者:攻城狮Jozz
链接:https://www.jianshu.com/p/5074477e392a
来源:简书
著作权归作者所有。商业转载请联系作者获得授权,非商业转载请注明出处。

READ MORE

es查询数组字段中包含

{
    "query": {
        "bool": {
            "must": [
                {
                    "term": {
                        "companysid": "8"
                    }
                },
                {
                    "match": {
                        "tag_gw": "E500022"
                    }
                }
            ]
        }
    },
    "_source":["brokerid"],
    "from": 0,
    "size": 1000
}

READ MORE

ffmpeg

CentOS中yum安装ffmpeg

1.升级系统

sudo yum install epel-release -y sudo yum update -y sudo shutdown -r now

2.安装Nux Dextop Yum 源

由于CentOS没有官方FFmpeg rpm软件包。但是,我们可以使用第三方YUM源(Nux Dextop)完成此工作。

  1. CentOS 7

sudo rpm –import http://li.nux.ro/download/nux/RPM-GPG-KEY-nux.ro sudo rpm -Uvh http://li.nux.ro/download/nux/dextop/el7/x86_64/nux-dextop-release-0-5.el7.nux.noarch.rpm

  1. CentOS 6

sudo rpm –import http://li.nux.ro/download/nux/RPM-GPG-KEY-nux.ro sudo rpm -Uvh http://li.nux.ro/download/nux/dextop/el6/x86_64/nux-dextop-release-0-2.el6.nux.noarch.rpm

3.安装FFmpeg 和 FFmpeg开发包

sudo yum install ffmpeg ffmpeg-devel -y

4.测试是否安装成功

ffmpeg

5.如果你想了解更多关于FFmpeg使用方面的资料,可以输入:

ffmpeg -h

例子:
使用FFmpeg将mp3转为ogg

ffmpeg -i MLKDream_64kb.mp3 -c:a libvorbis -q:a 4 MLKDream_64kb.ogg

使用FFmpeg将flv转为mp4

ffmpeg -i beeen.flv -y -vcodec copy -acodec copy beeen.mp4

READ MORE

firewalld

firewalld is masked报错

删除 /etc/systemd/system/firewalld.service.

systemctl unmask firwalld

systemctl start firewalld

READ MORE