Gemini Live API, Gemini ile düşük gecikmeli iki yönlü metin ve ses etkileşimlerini sağlar. Live API'ü kullanarak son kullanıcılara metin veya sesli komutlar kullanarak modelin yanıtlarını kesintiye uğratma olanağı sunan, doğal ve insan benzeri sesli sohbet deneyimi sağlayabilirsiniz. Model, metin ve ses girişini işleyebilir (video yakında kullanıma sunulacaktır) ve metin ile ses çıkışı sağlayabilir.
Vertex AI Studio'de istemler ve Live API ile prototip oluşturabilirsiniz.
Live API, istemci ile Gemini sunucusu arasında oturum oluşturmak için WebSocket bağlantısı oluşturan durum bilgisine sahip bir API'dir. Ayrıntılar için Live API referans belgelerine bakın.
Başlamadan önce
Henüz yapmadıysanız Firebase projenizi oluşturma, uygulamanızı Firebase'e bağlama, SDK'yı ekleme, Vertex AI hizmetini başlatma ve LiveModel
örneği oluşturma hakkında bilgi veren başlangıç kılavuzunu tamamlayın.
En azından aşağıdaki Firebase kitaplığı sürümlerini kullandığınızdan emin olun:
iOS+: henüz desteklenmemektedir |
Android: v16.3.0+ (BoM: v33.12.0+) |
Web: henüz desteklenmemektedir |
Flutter: v1.5.0+ (BoM: v3.9.0+)
Bu özelliği destekleyen modeller
Live API yalnızca gemini-2.0-flash-live-preview-04-09
tarafından desteklenir (gemini-2.0-flash
tarafından desteklenmez).
Live API'ın standart özelliklerini kullanın
Bu bölümde, Live API'ün standart özelliklerinin özellikle çeşitli giriş ve çıkış türlerini yayınlamak için nasıl kullanılacağı açıklanmaktadır:
- Kısa mesaj gönderme ve alma
- Ses gönderme ve alma
- Ses gönderme ve metin alma
- Metin gönderme ve ses alma
Kısa mesaj gönderme ve alma
Akışlı metin girişi gönderebilir ve akışlı metin çıkışı alabilirsiniz. Bir liveModel
örneği oluşturduğunuzdan ve yanıt modunu Text
olarak ayarladığınızdan emin olun.
Swift
Live API henüz Apple platform uygulamaları için desteklenmemektedir. Kısa süre sonra tekrar kontrol edin.
Kotlin
// Initialize the Vertex AI service and create a `LiveModel` instance
val model = Firebase.vertexAI.liveModel(
// The Live API requires this specific model.
modelName = "gemini-2.0-flash-live-preview-04-09",
// Configure the model to respond with text
generationConfig = liveGenerationConfig {
responseModality = ResponseModality.TEXT
}
)
val session = model.connect()
// Provide a text prompt
val text = "tell a short story"
session.send(text)
var outputText = ""
session.receive().collect {
if(it.status == Status.TURN_COMPLETE) {
// Optional: if you don't require to send more requests.
session.stopReceiving();
}
outputText = outputText + it.text
}
// Output received from the server.
println(outputText)
Java
ExecutorService executor = Executors.newFixedThreadPool(1);
// Initialize the Vertex AI service and create a `LiveModel` instance
LiveGenerativeModel lm = FirebaseVertexAI.getInstance().liveModel(
// The Live API requires this specific model.
"gemini-2.0-flash-live-preview-04-09",
// Configure the model to respond with text
new LiveGenerationConfig.Builder()
.setResponseModalities(ResponseModality.TEXT)
.build()
);
LiveModelFutures model = LiveModelFutures.from(lm);
ListenableFuture<LiveSession> sessionFuture = model.connect();
class LiveContentResponseSubscriber implements Subscriber<LiveContentResponse> {
@Override
public void onSubscribe(Subscription s) {
s.request(Long.MAX_VALUE); // Request an unlimited number of items
}
@Override
public void onNext(LiveContentResponse liveContentResponse) {
// Handle the response from the server.
System.out.println(liveContentResponse.getText());
}
@Override
public void onError(Throwable t) {
System.err.println("Error: " + t.getMessage());
}
@Override
public void onComplete() {
System.out.println("Done receiving messages!");
}
}
Futures.addCallback(sessionFuture, new FutureCallback<LiveSession>() {
@Override
public void onSuccess(LiveSession ses) {
LiveSessionFutures session = LiveSessionFutures.from(ses);
// Provide a text prompt
String text = "tell me a short story?";
session.send(text);
Publisher<LiveContentResponse> publisher = session.receive();
publisher.subscribe(new LiveContentResponseSubscriber());
}
@Override
public void onFailure(Throwable t) {
// Handle exceptions
}
}, executor);
Web
Live API henüz web uygulamaları için desteklenmemektedir. Lütfen daha sonra tekrar kontrol edin.
Dart
import 'package:firebase_vertexai/firebase_vertexai.dart';
import 'package:firebase_core/firebase_core.dart';
import 'firebase_options.dart';
late LiveModelSession _session;
await Firebase.initializeApp(
options: DefaultFirebaseOptions.currentPlatform,
);
// Initialize the Vertex AI service and create a `LiveModel` instance
final model = FirebaseVertexAI.instance.liveModel(
// The Live API requires this specific model.
model: 'gemini-2.0-flash-live-preview-04-09',
// Configure the model to respond with text
config: LiveGenerationConfig(responseModalities: [ResponseModality.text]),
);
_session = await model.connect();
// Provide a text prompt
final prompt = Content.text('tell a short story');
await _session.send(input: prompt, turnComplete: true);
// In a separate thread, receive the response
await for (final message in _session.receive()) {
// Process the received message
}
Kullanım alanınıza ve uygulamanıza uygun bir modeli ve isteğe bağlı olarak bir konum nasıl seçeceğinizi öğrenin.
Ses gönderme ve alma
Aktarılan ses girişi gönderebilir ve aktarılan ses çıkışı alabilirsiniz. LiveModel
örneği oluşturduğunuzdan ve yanıt modunu Audio
olarak ayarladığınızdan emin olun.
Yanıt sesini nasıl yapılandıracağınızı ve özelleştireceğinizi öğrenin (bu sayfanın sonraki bölümlerinde).
Swift
Live API henüz Apple platform uygulamaları için desteklenmemektedir. Kısa süre sonra tekrar kontrol edin.
Kotlin
// Initialize the Vertex AI service and create a `LiveModel` instance
val model = Firebase.vertexAI.liveModel(
// The Live API requires this specific model.
modelName = "gemini-2.0-flash-live-preview-04-09",
// Configure the model to respond with text
generationConfig = liveGenerationConfig {
responseModality = ResponseModality.AUDIO
}
)
val session = model.connect()
// This is the recommended way.
// However, you can create your own recorder and handle the stream.
session.startAudioConversation()
Java
ExecutorService executor = Executors.newFixedThreadPool(1);
// Initialize the Vertex AI service and create a `LiveModel` instance
LiveGenerativeModel lm = FirebaseVertexAI.getInstance().liveModel(
// The Live API requires this specific model.
"gemini-2.0-flash-live-preview-04-09",
// Configure the model to respond with text
new LiveGenerationConfig.Builder()
.setResponseModalities(ResponseModality.TEXT)
.build()
);
LiveModelFutures model = LiveModelFutures.from(lm);
ListenableFuture<LiveSession> sessionFuture = model.connect();
Futures.addCallback(sessionFuture, new FutureCallback<LiveSession>() {
@Override
public void onSuccess(LiveSession ses) {
LiveSessionFutures session = LiveSessionFutures.from(ses);
session.startAudioConversation();
}
@Override
public void onFailure(Throwable t) {
// Handle exceptions
}
}, executor);
Web
Live API henüz web uygulamaları için desteklenmemektedir. Lütfen daha sonra tekrar kontrol edin.
Dart
import 'package:firebase_vertexai/firebase_vertexai.dart';
import 'package:firebase_core/firebase_core.dart';
import 'firebase_options.dart';
import 'package:your_audio_recorder_package/your_audio_recorder_package.dart';
late LiveModelSession _session;
final _audioRecorder = YourAudioRecorder();
await Firebase.initializeApp(
options: DefaultFirebaseOptions.currentPlatform,
);
// Initialize the Vertex AI service and create a `LiveModel` instance
final model = FirebaseVertexAI.instance.liveModel(
// The Live API requires this specific model.
model: 'gemini-2.0-flash-live-preview-04-09',
// Configure the model to respond with audio
config: LiveGenerationConfig(responseModalities: [ResponseModality.audio]),
);
_session = await model.connect();
final audioRecordStream = _audioRecorder.startRecordingStream();
// Map the Uint8List stream to InlineDataPart stream
final mediaChunkStream = audioRecordStream.map((data) {
return InlineDataPart('audio/pcm', data);
});
await _session.startMediaStream(mediaChunkStream);
// In a separate thread, receive the audio response from the model
await for (final message in _session.receive()) {
// Process the received message
}
Kullanım alanınıza ve uygulamanıza uygun bir modeli ve isteğe bağlı olarak bir konum nasıl seçeceğinizi öğrenin.
Daha ilgi çekici ve etkileşimli deneyimler oluşturun
Bu bölümde, Live API'te daha ilgi çekici veya etkileşimli özellikler oluşturma ve yönetme hakkında bilgi verilmektedir.
Yanıt sesini değiştirme
Live API, sentezlenmiş konuşma yanıtlarını desteklemek için Chirp 3'ü kullanır. Vertex AI in Firebase'ü kullanırken 5 HD ses ve 31 dilde ses gönderebilirsiniz.
Ses belirtmezseniz varsayılan olarak Puck
kullanılır. Alternatif olarak, modeli aşağıdaki seslerden birinde yanıt verecek şekilde yapılandırabilirsiniz:
Aoede (kadın)Charon (erkek) |
Fenrir (erkek)Kore (kadın) |
Puck (erkek) |
Bu seslerin nasıl ses çıkardığını gösteren demoları ve kullanılabilen dillerin tam listesini Chirp 3: HD sesler başlıklı makalede bulabilirsiniz.
Ses belirlemek için speechConfig
nesnesinde ses adını model yapılandırmasının bir parçası olarak ayarlayın:
Swift
Live API henüz Apple platform uygulamaları için desteklenmemektedir. Kısa süre sonra tekrar kontrol edin.
Kotlin
// ...
val model = Firebase.vertexAI.liveModel(
modelName = "gemini-2.0-flash-live-preview-04-09",
// Configure the model to use a specific voice for its audio response
generationConfig = liveGenerationConfig {
responseModality = ResponseModality.AUDIO
speechConfig = SpeechConfig(voice = Voices.FENRIR)
}
)
// ...
Java
// ...
LiveModel model = Firebase.getVertexAI().liveModel(
"gemini-2.0-flash-live-preview-04-09",
// Configure the model to use a specific voice for its audio response
new LiveGenerationConfig.Builder()
.setResponseModalities(ResponseModality.AUDIO)
.setSpeechConfig(new SpeechConfig(Voices.FENRIR))
.build()
);
// ...
Web
Live API henüz web uygulamaları için desteklenmemektedir. Lütfen daha sonra tekrar kontrol edin.
Dart
// ...
final model = FirebaseVertexAI.instance.liveModel(
model: 'gemini-2.0-flash-live-preview-04-09',
// Configure the model to use a specific voice for its audio response
config: LiveGenerationConfig(
responseModality: ResponseModality.audio,
speechConfig: SpeechConfig(voice: Voice.fenrir),
),
);
// ...
Modelden İngilizce dışında bir dilde yanıt vermesini istediğinizde en iyi sonuçları elde etmek için sistem talimatlarınıza aşağıdakileri ekleyin:
RESPOND IN LANGUAGE. YOU MUST RESPOND UNMISTAKABLY IN LANGUAGE.
Oturumlar ve istekler arasında bağlamı koruma
Oturumlar ve istekler arasında bağlamı korumak için sohbet yapısı kullanabilirsiniz. Bunun yalnızca metin girişi ve metin çıkışı için çalıştığını unutmayın.
Bu yaklaşım, kısa bağlamlar için en iyisidir. Etkinliklerin tam sırasını temsil etmek için adım adım etkileşimler gönderebilirsiniz. Daha uzun bağlamlar için bağlam penceresini sonraki etkileşimler için boşaltmak üzere tek bir mesaj özeti sağlamanızı öneririz.
Kesintileri ele alma
Vertex AI in Firebase henüz kesintilerin ele alınmasını desteklemez. Bir süre sonra tekrar kontrol edin.
İşlev çağrısını kullanma (araçlar)
Standart içerik oluşturma yöntemlerinde olduğu gibi, Live API ile kullanılacak araçları (ör. mevcut işlevler) tanımlayabilirsiniz. Bu bölümde, Live API'nin işlev çağrımıyla birlikte kullanılmasıyla ilgili bazı ayrıntılar açıklanmaktadır. İşlev çağırmayla ilgili tam açıklama ve örnekler için işlev çağırma kılavuzuna bakın.
Model, tek bir istemden birden fazla işlev çağrısı ve çıktılarını zincirlemek için gereken kodu oluşturabilir. Bu kod, korumalı bir ortamda yürütülerek sonraki BidiGenerateContentToolCall
mesajlarını oluşturur. Yürütme, her işlev çağrısının sonuçları hazır olana kadar duraklatılır. Bu, sıralı işleme sağlar.
Ayrıca, Live API'yi işlev çağrısıyla kullanmak özellikle güçlüdür çünkü model kullanıcıdan takip veya açıklayıcı bilgi isteyebilir. Örneğin, model çağırılmak istediği bir işleve parametre değeri sağlamak için yeterli bilgiye sahip değilse kullanıcıdan daha fazla veya açıklayıcı bilgi vermesini isteyebilir.
Müşteri BidiGenerateContentToolResponse
ile yanıt vermelidir.
Sınırlamalar ve koşullar
Live API ile ilgili aşağıdaki sınırlamaları ve koşulları göz önünde bulundurun.
Çeviri yazı
Vertex AI in Firebase henüz transkriptleri desteklemiyor. Bir süre sonra tekrar kontrol edin.
Diller
- Giriş dilleri: Gemini modelleri için desteklenen giriş dillerinin tam listesini inceleyin.
- Çıkış dilleri: Chirp 3: HD sesler'de kullanılabilen çıkış dillerinin tam listesini inceleyin.
Ses biçimleri
Live API aşağıdaki ses biçimlerini destekler:
- Giriş ses biçimi: 16 kHz little-endian'da ham 16 bit PCM ses
- Çıkış ses biçimi: 24 kHz little-endian'da ham 16 bit PCM ses
Hız sınırları
Aşağıdaki hız sınırları geçerlidir:
- Firebase projesi başına 10 eşzamanlı oturum
- Dakikada 4 milyon jeton
Oturum süresi
Oturumların varsayılan süresi 30 dakikadır. Oturum süresi sınırı aşıldığında bağlantı sonlandırılır.
Model, bağlam boyutuyla da sınırlıdır. Büyük giriş parçaları göndermek, oturumun daha erken sonlandırılmasına neden olabilir.
Ses etkinliği algılama (VAD)
Model, sürekli bir ses girişi akışında otomatik olarak ses etkinliği algılama (VAD) işlemi gerçekleştirir. VAD varsayılan olarak etkindir.
Jeton sayımı
CountTokens
API'yi Live API ile kullanamazsınız.