使用Streamlit、LangChain和Bedrock構建一個交互式聊天機器人原創

發布于 2024-11-1 14:48

瀏覽

0收藏

本文將幫助你使用低代碼前端、用于會話管理的LangChain以及用于生成響應的Bedrock LLM來創建聊天機器人。

在不斷發展的AI領域，聊天機器人已成為一種不可或缺的工具，用于增強用戶參與度和簡化信息傳遞。本文將逐步介紹構建交互式聊天機器人的具體過程，使用Streamlit作為前端、使用LangChain用于協調交互，以及使用基于Amazon Bedrock的Anthropic Claude模型作為大語言模型（LLM）后端。我們將深入研究前端和后端的代碼片段，并解釋使這個聊天機器人切實可行的關鍵組件。

核心組件

Streamlit前端：Streamlit的直觀界面便于我們不用花多大的力氣就能創建一個對用戶友好的低代碼聊天界面。我們將探討代碼如何創建聊天窗口、處理用戶輸入和顯示聊天機器人的響應。
LangChain編排：LangChain使我們能夠管理會話流程和內存，確保聊天機器人維護上下文并提供相關的響應。我們將討論如何整合LangChain的ConversationSummaryBufferMemory和ConversationChain。
Bedrock/Claude LLM后端：真正的魔力在于LLM后端。我們將看看如何利用Amazon Bedrock的claude基礎模型來生成上下文感知的智能響應。

使用Streamlit、LangChain和Bedrock構建一個交互式聊天機器人-AI.x社區

圖1. 聊天機器人體系結構

體系結構的概念闡述

用戶交互：用戶通過在Streamlit創建的聊天界面中輸入消息來發起對話。該消息可以是問題、請求或用戶希望提供的任何其他形式的輸入。
輸入捕獲和處理：Streamlit的聊天輸入組件捕獲用戶的消息，并將其傳遞給LangChain框架進行進一步處理。
語境化結合LangChain記憶：LangChain在保持對話的上下文方面起著至關重要的作用。它將用戶的最新輸入與存儲在內存中的相關對話歷史記錄結合起來。這確保了聊天機器人擁有必要的信息，以生成有意義且符合上下文的響應。
利用LLM：然后將結合的上下文發送到Bedrock/Claude LLM。這個強大的語言模型利用其豐富的知識以及對語言的理解來分析上下文，并生成響應，以大量的豐富信息回復用戶的輸入。
響應檢索：LangChain從LLM接收生成的響應，并準備將其提供給用戶。
響應顯示：最后，Streamlit獲得聊天機器人的響應后將其顯示在聊天窗口中，使其看起來好像聊天機器人正與用戶進行自然地對話。這營造了一種直觀的、對用戶友好的體驗，鼓勵進一步的交互。

代碼片段

前端（Streamlit）

Python

import streamlit 
import chatbot_backend 
from langchain.chains import ConversationChain
 from langchain.memory import ConversationSummaryBufferMemory
 import boto3
 from langchain_aws import ChatBedrock
import pandas as pd
 
 # 2 Set Title for Chatbot - streamlit.title("Hi, This is your Chatbott")  
 
 # 3 LangChain memory to the session cache - Session State - 
if 'memory' not in streamlit.session_state:
    streamlit.session_state.memory = demo.demo_memory()  

 # 4 Add the UI chat history to the session cache - Session State 
 if 'chat_history' not in streamlit.session_state:  
    streamlit.session_state.chat_history = []  

# 5 Re-render the chat history 
 for message in streamlit.session_state.chat_history:
     with streamlit.chat_message(message["role"]):
         streamlit.markdown(message["text"])
 
# 6 Enter the details for chatbot input box
input_text = streamlit.chat_input("Powered by Bedrock")  

 if input_text:
    with streamlit.chat_message("user"):
        streamlit.markdown(input_text)
 
     streamlit.session_state.chat_history.append({"role": "user", "text": input_text})
 
     chat_response = demo.demo_conversation(input_text=input_text,
                                            memory=streamlit.session_state.memory)  
    with streamlit.chat_message("assistant"):
         streamlit.markdown(chat_response)
 
     streamlit.session_state.chat_history.append({"role": "assistant", "text": chat_response})

后端（LangChain和LLM）

Python

from langchain.chains import ConversationChain
 from langchain.memory import ConversationSummaryBufferMemory
 import boto3
 from langchain_aws import ChatBedrock
 
 # 2a Write a function for invoking model- client connection with Bedrock with profile, model_id
 def demo_chatbot():
     boto3_session = boto3.Session(
              # Your aws_access_key_id, 
              # Your aws_secret_access_key,
         region_name='us-east-1'
     )
     llm = ChatBedrock(
         model_id="anthropic.claude-3-sonnet-20240229-v1:0",
         client=boto3_session.client('bedrock-runtime'),
         model_kwargs={
             "anthropic_version": "bedrock-2023-05-31",
             "max_tokens": 20000,
             "temperature": .3,
             "top_p": 0.3,
             "stop_sequences": ["\n\nHuman:"]
         }
     )
     return llm
 
 # 3 Create a Function for  ConversationSummaryBufferMemory  (llm and max token limit)
 def demo_memory():
     llm_data = demo_chatbot()
    memory = ConversationSummaryBufferMemory(llm=llm_data, max_token_limit=20000)
     return memory
 
 # 4 Create a Function for Conversation Chain - Input text + Memory
 def demo_conversation(input_text, memory):
     llm_chain_data = demo_chatbot()
 
     # Initialize ConversationChain with proper llm and memory
     llm_conversation = ConversationChain(llm=llm_chain_data, memory=memory, verbose=True)
 
     # Call the invoke method
    full_input = f" \nHuman: {input_text}"
     llm_start_time = time.time()
     chat_reply = llm_conversation.invoke({"input": full_input})
     llm_end_time = time.time()
     llm_elapsed_time = llm_end_time - llm_start_time
     memory.save_context({"input": input_text}, {"output": chat_reply.get('response', 'No Response')})
     return chat_reply.get('response', 'No Response')