LLM aufrufen
Mit dem Plugin 
LLM aufrufen können Sie Text an ein Large Language Model (LLM) schicken und die generierte Antwort im Workflow zur weiteren Verarbeitung nutzen oder direkt als Ausgabe an den Chatbot weiterleiten (streamen).
Links
Im generierten Text des LLMs können auch Links vorkommen. Hauptsächlich passiert das wenn Kontext aus der Wissensdatenbank an das LLM übergeben wird (RAG-Prozess). Um sicherzustellen, dass keine unerwünschten Links beim Benutzer ankommen, werden nur Links erlaubt, die auch im übergebenen Kontext zu finden sind.
Zusätzlich kann mit einem Parameter eine weitere Einschränkung auf gewisse Domains vorgenommen werden.
Konversationshistorie
Wenn dieses Plugin in einem vom Chatbot aufgerufenen Workflow verwendet wird, kann die Antwort des LLM direkt zurück an den Chatbot gestreamt und dem Benutzer angezeigt werden.
Da LLMs keine Erinnerung haben (stateless), muss bei jeder neuen Anfrage die gesamte bisherige Konversation mitgeschickt werden, um den Eindruck eines zusammenhängenden Dialogs zu erzeugen.
Wird die Option AN CHATBOT STREAMEN aktiviert, übernimmt das Plugin automatisch die Verwaltung der Konversationshistorie. Bei jeder Anfrage wird die bisherige Unterhaltung an das LLM übermittelt.
Um eine neue Konversation zu beginnen, muss das Plugin Konversationshistorie löschen in den Workflow eingebaut werden.
Eingabeparameter
Parameter AI KONFIGURATION
Dieses Auswahlfeld beinhaltet die zuvor erstellten Konfigurationen, um mit einem LLM zu sprechen. AI Konfigurationen können im Menüpunkt Konfigurationen erstellt werden. Durch die Auswahl der AI Konfiguration für die Ausführung des Plugins entsteht eine grosse Flexibilität. Unterschiedliche Use-Cases können mit speziell angepassten AI Konfigurationen effizient bearbeitet werden.
Parameter PROMPT
Mit diesem Parameter legen Sie das generelle Verhalten des LLMs fest. Über diesen Parameter können Sie das System gezielt an Ihre Anforderungen anpassen.
Mit dem diesem Parameter konfigurieren Sie:
Verhaltensregeln: Definieren Sie, wie das LLM auf Anfragen reagieren soll.
Spracheinstellungen: Legen Sie die bevorzugte Kommunikationssprache fest.
Grundlegende Anweisungen: Geben Sie allgemeine Richtlinien für die Antwortgenerierung vor.
Statische Informationen: Hinterlegen Sie konstante Daten, die das System berücksichtigen soll.
Wenn eine Konversation mit dem LLM über den Chatbot geführt wird, werden nachträgliche Änderungen am ursprünglichen Prompt nicht mehr berücksichtigt. Um dynamische Informationen während des Gesprächs zu übermitteln, müssen diese über den Parameter BENUTZEREINGABE an das LLM weitergegeben werden.
Parameter BENUTZEREINGABE
Mit diesem Parameter wird die Eingabe des Benutzers an das LLM übermittelt. Dies kann eine Frage aus dem Chatbot sein oder der Inhalt einer E-Mail die analysiert werden soll.
Zusätzliche Informationen, wie zum Beispiel das Ergebnis einer Wissensdatenbankabfrage, wird ebenfalls mit diesem Parameter an das LLM übergeben.
Parameter AI TOOLS
Tools stellen für das LLM eine Möglichkeit dar, sich selbstständig Informationen zu besorgen, wenn die Anfrage des Benutzers nicht aus dem Allgemeinwissen oder dem übergebenen Kontext beantwortet werden kann. Tools sind externe Funktionen, die ein LLM nutzen kann, um über das reine Textgenerieren hinaus zu agieren. Während ein LLM normalerweise nur Text produziert, ermöglichen Tools dem Modell, konkrete Aktionen durchzuführen.
Mit diesem Parameter wählen Sie die Tools aus, die bei der Beantwortung der Anfrage zur Verfügung stehen. Das Model entscheidet selbstständig, ob und welches der Tools benötigt wird.
Als Tools stehen alle Workflows zur Verfügung, die über den AI-Funktion-Connector getriggert werden.
Parameter AN CHATBOT STREAMEN
Wird der Workflow vom Chatbot aufgerufen, kann die Antwort des LLMs direkt zurück an den Chatbot gestreamt werden. Das Plugin übernimmt die Verwaltung der Konversationshistorie. Siehe Konversationshistorie.
Ist dieser Parameter aktiviert und der Workflow wird nicht vom Chatbot aufgerufen, erhält man eine entsprechende Fehlermeldung im Workflow Protokoll.
Parameter GÜLTIGE DOMAINS FÜR LINK-ÜBERPRÜFUNG
Die Antwort des LLMs kann auch Links beinhalten. Mit diesem Parameter können Sie diese Links auf Domains beschränken. Grundsätzlich werden nur Links an den Benutzer weitergeleitet, die auch im übergebenen Kontext vorkommen.
Mit diesem Parameter kann die Domain von Links noch zusätzlich eingeschränkt werden. Es kann eine Variable vom Typ collection oder text ausgewählt werden. Bei der Verwendung einer text Variable muss jede gültige Domain in einer eigenen Zeile stehen.
Domains werden ohne https:// angegeben, also zum Beispiel aiaibot.com .
Wird vom LLM ein Link generiert, der nicht im Kontext vorkommt oder keine gültige Domain hat, wird nur der Beschreibungstext des Links an den Benutzer weitergeleitet.
Beispiele
aiaibot.com www.aiaibot.com
https://aiaibot.com/ https://aiaibot.com/info.html
https://www.aiaibot.com/home.html
https://blog.aiaibot.com/story1 https://api.aiaibot.com/info https://example.com
Ausgabeparameter
Parameter ANTWORT
Dieser Parameter enthält die generierte Antwort des LLMs. Auch wenn die Antwort an den Chatbot gestreamt wird, enthält dieser Parameter die gesamte Antwort zur weiteren Verwendung im Workflow.
Parameter BEENDIGUNGSGRUND
Wenn die Generierung der Antwort abgeschlossen ist, kann über den Beendigungsgrund herausgefunden werden, warum das Modell keinen weiteren Text mehr generiert hat. Die wichtigsten Gründe sind:
stop: Dieser Grund gibt an, dass die Antwort vollständig und ohne Fehler generiert wurde.
length: Das Modell hat die Generierung der Antwort abgebrochen, weil die max. Anzahl an Tokens überschritten wurde. Die max. Anzahl an Tokens ist in der AI Konfiguration hinterlegt, die beim Parameter AI KONFIGURATION ausgewählt wurde.
content_filter: Die Generierung des Textes wurde abgebrochen, weil ein Inhaltsfilter aktiv wurde. Genauere Informationen darüber wird im nächsten Parameter gespeichert.
error: Allgemeiner Fehler während der Textgenerierung.
timeout: Die Anfrage konnte nicht innerhalb einer gewissen Zeit beantwortet werden.
cancelled: Die Textgenerierung wurde vom Modell oder vom Benutzer abgebrochen.
Parameter INHALTSFILTER
Wenn der Beendigungsgrund content_filter war, kann mit diesem Parameter mehr darüber herausgefunden werden.
Die wichtigsten Inhaltsfilter sind:
hatehate/threateningjailbreakprofanityself-harmsexualsexual/minorsviolenceviolence/graphicharassmentharassment/threatening
Diese Liste ist nicht vollständig und hängt sehr vom verwendeten Modell ab.