Gepubliceerd: 14 mei 2024
Client-side AI-inferentie vindt plaats op het apparaat zelf, wat ongelooflijk krachtig kan zijn naast elke bestaande server-side configuratie. Ingebouwde AI is een vorm van client-side AI die modellen naar de browser brengt, gevoelige gegevens beschermt en de latentie verbetert.
- Privacy en beveiliging : Met client-side AI kunt u lokaal met data werken, wat een grote impact heeft op uw vermogen om met gevoelige data te werken en deze veilig en privé te houden. U kunt gebruikers AI-functies bieden met end-to-end encryptie.
- Hogere beschikbaarheid : Client-side AI kan bijdragen aan een hogere beschikbaarheid voor uw gebruikers. De apparaten van uw gebruikers kunnen een deel van de verwerkingslast op zich nemen in ruil voor meer toegang tot AI-functies. Als uw product een premium service biedt, kunt u een gratis abonnement met client-side AI-functies overwegen om uw klanten een idee te geven van wat de premium service te bieden heeft.
Het uitvoeren van client-side AI kan het werk dat u in de cloud doet niet volledig vervangen en repliceren. Servers zijn immers ongelooflijk krachtig en kunnen grote, complexe modellen bevatten die snel resultaten opleveren.
Client-side is niet altijd de juiste keuze. Daarom willen we u, voordat we verdergaan, nog even herinneren aan een aantal best practices:
- Ontwerp je functies met elegante fallbacks en voer benchmarks uit op je doelapparaten. Niet elk apparaat kan functioneren als een AI-krachtpatser.
- Ontwikkel voor specifieke use cases . Client-side AI werkt het beste voor specifieke use cases. De modellen zijn inherent kleiner dan wat doorgaans wordt aangetroffen in server-side AI. Verdeel uw proces in gerichte stappen en maak gebruik van pre- en post-processing, zodat kleinere modellen toch de best mogelijke respons kunnen leveren.
- Wees strategisch met downloadvereisten . AI-modellen kunnen groot zijn, wat kan leiden tot een groot gebruik van mobiele data en apparaatopslag. Zorg ervoor dat je een nuttige functie voor je gebruikers bouwt en dat je een verantwoorde server- en cachingstrategie hanteert.
Deel uw feedback
We willen graag weten welke use cases u het meest interesseren en wat uw feedback is op onze aanpak. U kunt feedback delen en deelnemen aan het Early Preview Program om te testen met lokale prototypes.
Met uw bijdrage kunnen we van AI een krachtig en praktisch hulpmiddel maken voor iedereen.
Ga aan de slag met ingebouwde AI API's in Chrome.