Les bases de données vectorielles sont devenues une base technologique incontournable au début de l’ère moderne de l’IA.
Cependant, ce qui a changé au cours de la dernière année, c’est que les vecteurs, la représentation numérique des données utilisée par LLM, sont de plus en plus devenus un autre type de données dans toutes sortes de bases de données différentes. Aujourd’hui, Amazon Web Services (AWS) franchit une nouvelle étape dans l’omniprésence des vecteurs avec la disponibilité générale d’Amazon S3 Vector.
Amazon S3 est un service de stockage d’objets cloud AWS largement utilisé par les organisations de toutes tailles pour stocker tous les types de données. Souvent, S3 est également utilisé comme composant fondamental pour les déploiements de lacs de données et de Lakehouse. Amazon S3 Vector ajoute désormais des fonctionnalités de stockage vectoriel natif et de recherche de correspondance directement au stockage d’objets S3. Au lieu d’avoir besoin d’une base de données vectorielles distincte, les organisations peuvent stocker les intégrations vectorielles dans S3 et les interroger pour la recherche sémantique, les applications de génération augmentée par récupération (RAG) et les flux de travail des agents IA sans déplacer les données vers une infrastructure spécialisée.
Le service a été présenté pour la première fois en juillet avec une capacité initiale de 50 millions de vecteurs sur un seul index. Avec la sortie de GA, AWS a considérablement augmenté ce chiffre jusqu’à 2 milliards de vecteurs dans un seul index et 20 000 milliards de vecteurs par compartiment de stockage S3.
Selon AWS, les clients ont créé plus de 250 000 index vectoriels et consommé plus de 40 milliards de vecteurs au cours des quatre mois écoulés depuis le lancement de la version préliminaire. La mise à l’échelle avec le lancement de GA permet désormais aux organisations de consolider des ensembles de données vectorielles entières dans un seul index au lieu de les fragmenter à travers l’infrastructure. GA bouleverse également le paysage des données d’entreprise en proposant une nouvelle approche prête pour la production pour lancer des vecteurs qui pourraient potentiellement perturber le marché des bases de données vectorielles spécialement conçues.
AWS ajoute de l’huile sur le feu de la concurrence réclamer Les services vectoriels S3 peuvent aider les organisations à « réduire le coût total du stockage et de la récupération des vecteurs jusqu’à 90 % par rapport aux solutions de bases de données vectorielles spécialisées ».
AWS S3 positionne Vector comme complémentaire, et non compétitif, avec Vector Database
Bien qu’Amazon S3 Vectors fournisse un ensemble puissant de fonctionnalités vectorielles, la réponse à la question de savoir si cela remplace le besoin d’une base de données vectorielles dédiée est quelque peu courte et dépend de la personne à qui vous demandez.
Malgré des revendications de coûts agressives et des améliorations d’échelle spectaculaires, AWS positionne S3 Vector comme une couche de stockage complémentaire plutôt que comme un remplacement direct des bases de données Vector spécialisées.
“Les clients choisissent s’ils utilisent S3 Vector ou Vector Database en fonction des besoins de latence de l’application”, a déclaré My-Lan Tomsen Bukovec, vice-président de la technologie chez AWS, à VentureBeat.
Bukovec note qu’une façon d’envisager cela est de « hiérarchiser les performances » en fonction des besoins applicatifs d’une organisation. Il note que si l’application nécessite des temps de réponse ultra-rapides et à faible latence, une base de données vectorielles comme Amazon OpenSearch est une bonne option.
“Mais pour de nombreux types d’opérations, comme la création d’une couche sémantique de compréhension dans vos données existantes ou l’extension de la mémoire de l’agent avec plus de contexte, S3 Vector est une solution idéale.”
La question de savoir si S3 et son stockage d’objets cloud à faible coût remplaceront un type de base de données n’est pas non plus nouvelle pour les professionnels des données. Bukovec fait une analogie avec la façon dont les entreprises utilisent aujourd’hui les lacs de données.
« Je pense que nous verrons un stockage vectoriel similaire aux données tabulaires dans les lacs de données, où les clients continuent d’utiliser des bases de données transactionnelles comme Amazon Aurora pour certains types de charges de travail et utilisent S3 pour le stockage et l’analyse d’applications parallèles, car les profils de performances fonctionnent et ils ont besoin des fonctionnalités S3 pour la durabilité, l’évolutivité, la disponibilité et le coût économique de la croissance des données.
Comment les besoins et les exigences des clients ont façonné Amazon S3 Vector Services
Au cours des premiers mois de la version préliminaire, AWS a appris ce que les véritables entreprises clientes veulent et ont réellement besoin d’un magasin de données Vector.
“Nous avons eu beaucoup de retours positifs sur la version préliminaire, et les clients nous ont dit qu’ils souhaitaient disposer de ces fonctionnalités, mais à une échelle beaucoup plus grande et avec une latence plus faible, afin de pouvoir utiliser S3 comme magasin de vecteurs principal pour leur stockage de vecteurs en expansion rapide”, a déclaré Bukovec.
En plus d’une meilleure évolutivité, la latence des requêtes s’est améliorée à environ 100 millisecondes ou moins pour les requêtes fréquentes, les requêtes rares se terminant en moins d’une seconde. AWS a augmenté le nombre maximum de résultats de recherche par requête de 30 à 100, et les performances d’écriture prennent désormais en charge 1 000 transactions PUT par seconde pour les mises à jour à vecteur unique.
Les utilisations pour gagner du terrain incluent la recherche hybride, l’extension de la mémoire des agents et la superposition sémantique sur les données existantes.
Bukovec a noté qu’un client préliminaire, March Networks, utilise S3 Vector pour l’intelligence vidéo et photo à grande échelle.
“Les aspects économiques du stockage vectoriel et les profils de latence signifient que les réseaux March peuvent stocker de manière économique des milliards d’intégrations vectorielles”, a-t-il déclaré. « Notre intégration intégrée avec Amazon Bedrock signifie qu’elle facilite l’intégration du stockage vectoriel dans les flux de travail génératifs d’IA et vidéo.
Les fournisseurs de bases de données vectorielles mettent en évidence les écarts de performances
Les fournisseurs de bases de données vectorielles spéciales mettent en évidence des écarts de performances importants entre leurs offres et l’approche centrée sur le stockage d’AWS.
Fournisseurs de bases de données vectorielles spécialement conçus, y compris pomme de pinWeaviate, Qdrant et Chroma, entre autres, ont déployé des déploiements de production avec des algorithmes d’indexation avancés, des mises à jour en temps réel et une optimisation des requêtes spécialement conçue pour les charges de travail sensibles à la latence.
Pinecone, par exemple, ne considère pas Amazon S3 Vectors comme un défi concurrentiel pour sa base de données vectorielles.
“Avant le lancement initial d’Amazon S3 Vectors, nous étions réellement au courant du projet et ne trouvions pas que le rapport coût-performance était directement compétitif à grande échelle”, a déclaré Jeff Zhu, vice-président des produits de Pinecone, à VentureBeat. « Cela est désormais particulièrement vrai pour nos nœuds de lecture dédiés, où, par exemple, l’un de nos principaux clients de marché de commerce électronique a récemment comparé un cas d’utilisation de recommandation avec 1,4 milliard de vecteurs et a obtenu 5,7 000 QPS à 26 ms p50 et 60 ms p99. »
Les analystes sont divisés en futurs bases de données vectorielles
Ce lancement relance le débat sur la question de savoir si la recherche vectorielle reste une catégorie de produits autonome ou si elle devient une fonctionnalité que les principales plates-formes cloud banalisent grâce à l’intégration du stockage.
“Il est clair depuis un certain temps que Vector est une fonctionnalité, pas un produit”, a écrit Corey Quinn, économiste en chef du cloud chez The Duckbill Group, dans un message. le message X (anciennement Twitter) en réponse à une question de VentureBeat. “Tout est dit maintenant ; le reste le sera bientôt.”
Holger Müller, analyste chez Constellation Research, considère également Amazon S3 Vector comme une menace concurrentielle pour les fournisseurs indépendants de bases de données vectorielles.
“Il revient maintenant aux fournisseurs de vecteurs de s’assurer qu’ils sont en avance et meilleurs”, a déclaré Muller à VentureBeat. “Les suites gagnent toujours en matière de logiciels d’entreprise.”
Muller a également souligné les avantages de l’approche d’AWS pour éliminer le mouvement des données. Il a noté que les vecteurs sont le moyen permettant aux LLM de comprendre les données de l’entreprise. Le véritable défi est de savoir comment construire le vecteur, comment les données y sont transférées et à quelle fréquence. En ajoutant la prise en charge vectorielle à S3, où de grandes quantités de données d’entreprise sont déjà stockées, les problèmes de transfert de données peuvent être résolus.
“Les CXO aiment cette méthode, car aucun mouvement de données n’est requis pour créer le vecteur”, a déclaré Muller.
Ed Anderson, analyste distingué chez Gartner, voit AWS se développer avec de nouveaux services, mais ne s’attend pas à ce que cela signifie la fin de Vector Database. Il a noté que les organisations utilisant S3 pour le stockage objet pourraient accroître leur utilisation de S3 et éventuellement éliminer le besoin de bases de données de fournisseurs dédiées. Cela augmentera les prix pour les clients S3 et augmentera leur dépendance au stockage S3.
Même avec ce potentiel de croissance pour AWS, les bases de données vectorielles restent nécessaires, du moins pour le moment.
“Amazon S3 sera précieux pour les clients de Vector, mais n’éliminera pas le besoin d’une base de données Vector, en particulier lorsque les cas d’utilisation nécessitent des services de données à faible latence et hautes performances”, a déclaré Anderson à VentureBeat.
AWS lui-même semble adopter cette approche complémentaire tout en signalant des améliorations continues des performances.
“Nous commençons à voir à la fois l’échelle et les performances de S3 Vector”, a déclaré Bukovec. “Tout comme nous avons amélioré les performances de lecture et d’écriture de données sur S3 pour tout, de la vidéo aux fichiers Parquet, nous ferons de même pour les vecteurs.”
Ce que cela signifie pour les entreprises
Au-delà du débat sur la survie des bases de données vectorielles en tant que produits autonomes, les architectes d’entreprise sont confrontés à des décisions immédiates sur la manière de déployer le stockage vectoriel pour les charges de travail d’IA de production.
Le cadre de hiérarchisation des performances fournit aux architectes d’entreprise un chemin de décision clair pour évaluer les options de stockage vectoriel.
S3 Vector fonctionne avec une latence de 100 ms pour les charges de travail : grandes collections de documents, systèmes de mémoire d’agent, analyse par lots d’intégrations vectorielles et recherche sémantique sur la récupération de contexte RAG en arrière-plan. Les économies d’échelle deviennent intéressantes pour les organisations qui investissent déjà dans l’infrastructure AWS.
Des bases de données vectorielles spéciales sont nécessaires pour les cas d’utilisation sensibles à la latence : moteurs de recommandation en temps réel, requêtes à haut débit traitant des milliers de requêtes simultanées, applications interactives dans lesquelles les utilisateurs attendent les résultats de manière synchrone et charges de travail pour lesquelles la cohérence des performances a un coût.
Pour les organisations exécutant les deux types de charges de travail, une approche hybride reflète la manière dont les entreprises utilisent déjà les lacs de données, déployant des bases de données vectorielles spécialisées pour les requêtes critiques en termes de performances tout en utilisant des vecteurs S3 pour le stockage à grande échelle et les opérations moins sensibles au facteur temps.
La question clé n’est pas de savoir s’il faut remplacer l’infrastructure existante, mais plutôt comment concevoir le stockage vectoriel sur plusieurs niveaux de performances en fonction des exigences de la charge de travail.
