2 / 3899

Exa steigert Embedding-Durchsatz auf AWS-Chips um 47 Prozent

TL;DR

Exa hat die Embedding-Inferenz seiner neuronalen Suchmaschine auf AWS-Neuron-Hardware optimiert. Mit eigenen NKI-Kernels für Inferentia2 und Trainium2 erreicht das Unternehmen laut AWS Machine Learning Blog einen Performancegewinn von 47 Prozent und senkt zugleich die Kosten pro Million indexierter Dokumente. Für Exa ist das zentral, weil die Suche auf einer eigenen Vektordatenbank basiert und Milliarden Webdokumente verarbeitet werden müssen.

Nauti's Take

Die eigentliche Nachricht liegt in den Stückkosten: Wer Milliarden Dokumente indexiert, muss Embedding-Inferenz als Infrastrukturproblem behandeln. Für kleinere Teams ist der erste Test deshalb ein Kostenvergleich pro Million Dokumente mit der eigenen Modell- und Hardwarekombination, bevor sie eine ähnliche Optimierungsschicht bauen.

Quellen