MySQL到ElasticSearch同步工具
py-mysql-elasticsearch-sync的Python项目详细描述
#py mysql elasticsearch sync
简单快捷的mysql到elasticsearch同步工具,用python编写。
[mysql-to-elasticsearch sync]https://github.com/zhongbiaodev/py mysql elasticsearch sync/blob/master/readme-cn.md)
通过处理mysql binlog,将mysql表同步到elasticsearch。
此外,在binlog同步过程中,此工具将保存binlog同步位置,以便在由于任何原因关闭此工具后很容易恢复。
ibxml2和libxslt
此工具依赖于python lxml包,因此您应该正确安装lxml的依赖项,需要libxml2和libxslt。
在CentOS:
````
sudo-yum-sudo-yum-yum-libxml2-libxml2-libxml2-libxslt-libxslt-libxslt-libxslt-libxslt-devlt
`````
```````
````````
sudo-apto-sudo-apt-get-install libxml2-devlibxslt-libxslt-dev-libxml2-libxml2-libxml2-libxml2-libxml2-libxml2-libxml2-libxml2-libxml2-libxml2-libxslt-libxs35_2.mysqldump
然后,在运行此工具的机器中需要mysqldump(并且mysql服务器必须启用binlog)
这个工具
然后安装这个工具
```
pip安装py mysql elasticsearch sync
```
你可以从编辑开始。
它将开始同步binlog。
您可以通过删除来重新启动转储步骤,也可以通过编辑来更改同步位置。
您应该首先将表转储为XML格式(在mysqldump命令中添加``-x``选项)
,然后
````
es sync path/to/your/config.yaml--fromfile
```
,以便在XML同步结束后启动同步,它还将启动binlog同步。
通过在配置文件中设置表来支持,第一个表默认为主表,其他表为从表。
master表和slave表必须使用相同的主键,主键是通过_id定义的。
>表的优先级高于表。
-[]多索引支持
简单快捷的mysql到elasticsearch同步工具,用python编写。
[mysql-to-elasticsearch sync]https://github.com/zhongbiaodev/py mysql elasticsearch sync/blob/master/readme-cn.md)
通过处理mysql binlog,将mysql表同步到elasticsearch。
此外,在binlog同步过程中,此工具将保存binlog同步位置,以便在由于任何原因关闭此工具后很容易恢复。
ibxml2和libxslt
此工具依赖于python lxml包,因此您应该正确安装lxml的依赖项,需要libxml2和libxslt。
在CentOS:
````
sudo-yum-sudo-yum-yum-libxml2-libxml2-libxml2-libxslt-libxslt-libxslt-libxslt-libxslt-devlt
`````
```````
````````
sudo-apto-sudo-apt-get-install libxml2-devlibxslt-libxslt-dev-libxml2-libxml2-libxml2-libxml2-libxml2-libxml2-libxml2-libxml2-libxml2-libxml2-libxslt-libxs35_2.mysqldump
然后,在运行此工具的机器中需要mysqldump(并且mysql服务器必须启用binlog)
这个工具
然后安装这个工具
```
pip安装py mysql elasticsearch sync
```
你可以从编辑开始。
它将开始同步binlog。
您可以通过删除来重新启动转储步骤,也可以通过编辑来更改同步位置。
您应该首先将表转储为XML格式(在mysqldump命令中添加``-x``选项)
,然后
````
es sync path/to/your/config.yaml--fromfile
```
,以便在XML同步结束后启动同步,它还将启动binlog同步。
通过在配置文件中设置表来支持,第一个表默认为主表,其他表为从表。
master表和slave表必须使用相同的主键,主键是通过_id定义的。
>表的优先级高于表。