AWS will selbst gehostete LLMs mit verteiltem KV-Cache schneller und günstiger machen
TL;DR
Wer LLMs selbst auf GPUs betreibt, berechnet bei jeder Anfrage oft denselben Kontext erneut. Ein neues Skill im AWS Agent Toolkit soll dafür einen verteilten KV-Cache mit Amazon ElastiCache einrichten und verwalten. AWS nennt bis zu 40 Prozent geringere Inferenzkosten und bis zu 80 Prozent weniger Zeit bis zum ersten Token. Die Werte stammen aus dem AWS-Blog und müssen für die eigene Modell-, Prompt- und Infrastrukturkombination geprüft werden.
Nauti's Take
Der praktische Test beginnt bei der Cache-Hit-Rate. Ein kleines Team sollte mit wiederkehrenden Kontexten messen, wie sich Hit-Rate, Invalidation, ElastiCache-Kosten und der Umgang mit sensiblen Daten über mehrere GPU-Instanzen entwickeln, bevor es sein Serving-Setup umbaut.