分布式缓存集群下数据分配策略

Data Location Awareness: Optimize Performance and Lower Cost with Tiered Locality

Alluxio 可以将位于不同存储介质的数据汇总到统一的存储池。具体地说，Alluxio 使用了一种称为 Tiered Locality 的技术，该技术可以感知到数据的存储位置，从而优化数据访问性能和降低成本。本文将介绍 Alluxio 的 Tiered Locality 技术，以及如何使用它来优化数据访问性能和降低成本。

1. Alluxio Tiered Locality

Alluxio 作为分布式缓存可以被搭建在不同的数据中心，不同的机架，不同的节点上。而单一存储节点因为容量以及IO性能的限制，往往无法满足大数据处理的需求。因此，Alluxio 作为分布式缓存，可以将位于不同存储介质的数据汇总到统一的存储池。而使用统一的存储池可能会造成数据访问性能的下降，因为数据的访问性能取决于数据的存储位置。数据越接近或越本地化，应用程序访问数据的速度就越快。Tiered locality 允许用户配置数据放置位置策略考虑集群网络拓扑结构实现访问性能。

Tags :

编译Alluxio源代码

0. 编译环境构建（ssh dcache@xxxxxx）这个服务器已经构建了编译环境，如果如果只需要重编译alluxio直接从1小节开始。编译Alluxio源代码 - Alluxio v2.9.3 (stable) 安装alluxio build https://hub.

最优化算法

之前做的2篇文章都把问题抽象为一个优化问题，发现自己缺乏对解决优化问题方法（优化算法）进行系统性的学习，这导致每次解决问题时总是用模拟退火或者更简单的启发式方法改改就用。说好听点是发现问题比解决问题更为重要，但其实有种水文章的感觉。虽然这些启发式大多数情况算法也能make sense，但是继续深入学习还是有必要的。在此记录学习过程，希望大家指正，但是还没找到给主页添加评论的方法。最优化问题范指定量决策问题 , 也就是如何对有限的资源进行合理的分配以达到最优目标。数学抽象： $$ min\ f(x), \\ s.

服务器运行环境隔离方法（容器化）

一些环境隔离方法虚拟化：使用虚拟化技术，如 VMware、VirtualBox 或 KVM，可以在物理服务器上创建多个虚拟服务器，每个虚拟服务器都有自己独立的操作系统和资源。这提供了强大的隔离，防止一个虚拟机的问题影响其他虚拟机。容器化：使用容器技术，如 Docker，可以将应用程序及其依赖项打包成一个独立的容器。每个容器运行在独立的环境中，与主机和其他容器隔离。这提供了更轻量级的隔离，同时提高了灵活性和可移植性。操作系统级别的隔离：使用操作系统级别的隔离技术，如 Linux 的容器（LXC）或 FreeBSD 的 jails。这些技术允许将进程和文件系统隔离开来，每个隔离的环境都有自己的文件系统和进程空间。这里，综合考虑实验室设备情况以及管理实现难度，我们选择的容器化技术，通过Docker实现环境隔离，Docker是一种轻量级容器技术，通过将应用程序及其依赖项打包成独立的容器，提供了一致性和可移植性。Portainer是一个用于简化Docker容器管理的开源工具，提供直观的Web界面，使用户能够轻松查看、创建、启动和停止Docker容器。