Exa steigert Embedding-Durchsatz auf AWS-Chips um 47 Prozent
TL;DR
Exa hat die Embedding-Inferenz seiner neuronalen Suchmaschine auf AWS-Neuron-Hardware optimiert. Mit eigenen NKI-Kernels für Inferentia2 und Trainium2 erreicht das Unternehmen laut AWS Machine Learning Blog einen Performancegewinn von 47 Prozent und senkt zugleich die Kosten pro Million indexierter Dokumente. Für Exa ist das zentral, weil die Suche auf einer eigenen Vektordatenbank basiert und Milliarden Webdokumente verarbeitet werden müssen.
Nauti's Take
Die eigentliche Nachricht liegt in den Stückkosten: Wer Milliarden Dokumente indexiert, muss Embedding-Inferenz als Infrastrukturproblem behandeln. Für kleinere Teams ist der erste Test deshalb ein Kostenvergleich pro Million Dokumente mit der eigenen Modell- und Hardwarekombination, bevor sie eine ähnliche Optimierungsschicht bauen.