ClickHouse是一个开源的面向列的分布式数据库管理系统,用于在线分析处理 (OLAP)。ClickHouse支持主键表且支持多核多节点并行化大型查询。。ClickHouse允许使用SQL实时查询生成数据分析报告。
Kubernetes脱胎于谷歌的Borg系统。作为容器集群管理工具,它对容器进行细致的组合,将最终的应用服务交给用户。Kubernetes考虑了容器跨机连接的要求,支持多种网络解决方案。在自动化部署、自动重启、自动化扩缩容方面都有很好的表现。
Docker容器既能实现资源和进程的隔离,又避免了为每个任务起虚拟机对CPU、内存等资源的浪费。每台机器上(物理机/虚拟机)都运行着相互不关联的容器,所有容器共享宿主机的cpu、磁盘、网络、内存等,即实现了进程隔离(每个服务独立运行)、文件系统隔离(容器目录修改不影响主机目录)、资源隔离(CPU内存磁盘网络资源独立)。
行存储系统以行的方式来组织数据(大部分关系型数据库的存储方式),而列式存储中一列中的数据会被连续存储。列式存储的优势在于利于数据压缩、方便索引。在很多企业的数据分析任务中,常见几百上千列的宽表数据。对于宽表上的分析型负载,列存储可以有效减少不必要的I/O、提高数据压缩效果。