⇐ Terug naar start
← – Terug naar A3Dbot Start

⇒ Web chat App bouwen 2

Vraag & Antwoord App GitHub Repository

→ De uiteindelijke online (web) AI-Chat-Bot. Bouwen met Streamlit

→ Eerste test AI-Chat-Bot met eigen data (met Faiss lokale vector database)

Chat with Multiple PDFs | LangChain App Tutorial in Python (Free LLMs and Embeddings) FAISS (1)
Langchain PDF App (GUI) | Create a ChatGPT For Your PDF in Python (2)
Create a ChatGPT clone using Streamlit and LangChain oa. Memory (3)
YouTube: Langchain + ChatGPT + Pinecone: A Question Answering Streamlit App

Streamlit Home
Streamlit API referentie
→ Deploy Streamlit apps
→ Markdown Cheat-sheet
→ Emoji's (kopiëren/plakken)
Pinecone Home
GCP providor (pinecone) Google Cloud
YouTube: Langchain + ChatGPT + Pinecone: A Question Answering Streamlit App

V/A Flow
Using LangChain with DuckDuckGO Wikipedia & PythonREPL Tools
Building Custom Tools and Agents with LangChain (gpt-3.5-turbo) ook DuckDuckGo

→ Streamlit app altijd starten met

streamlit run app.py

Python update PIP (regelmatig uitvoeren):

python -m pip install -U pip

of:

python.exe -m pip install --upgrade pip

Navigeer eerst naar de map van je project via de terminal of opdrachtprompt. Als je daar eenmaal bent, kun je de volgende commando's gebruiken om een virtuele omgeving te creëren:

python -m venv venv

Hiermee wordt een nieuwe map genaamd venv in je projectdirectory aangemaakt, waarin de virtuele omgeving wordt opgeslagen.

Nu moet je de virtuele omgeving activeren:

Voor Windows:

.\venv\Scripts\Activate

Zodra de virtuele omgeving actief is, moet je voor de naam van je terminal of opdrachtprompt de naam van je virtuele omgeving (venv in dit geval) zien staan. Dit geeft aan dat de omgeving actief is.

Tip: Het is een goed idee om een requirements.txt bestand in je project te hebben. Hierin kun je alle pakketten en hun versies noteren die voor je project nodig zijn. Dit maakt het gemakkelijker voor anderen (of voor jezelf in de toekomst) om de exacte omgeving te reproduceren. Je kunt een requirements.txt bestand maken met het volgende commando:

pip freeze > requirements.txt

En later, als je het project op een andere machine of in een andere virtuele omgeving wilt opzetten, kun je alle benodigde pakketten in één keer installeren met:

pip install -r requirements.txt

Bij problemen met gewoon installeren de onderstaande methode gebruiken

python -m pip install PyMuPDF

→ Meer: Virtuele omgeving voor Python

Bij problemen met gewoon installeren de onderstaande methode gebruiken
Dus “python -m ” voor de standaard install tekst zetten

python -m pip install PyMuPDF

→ In de virtuele omgeving

Instaleer dotenv om het .env bestand te kunnen lezen zodat daar de systeem variabelen in kunnen

python -m pip install python-dotenv

→ LongChain

python -m pip install langchain

→ Streamlit GUI Gebruikersinterface

python -m pip install streamlit

→ Upgrade streamlit Belangrijk omdat versie 1.28.2 moet werken en standaard versie 1.28.1 wordt geïnstalleerd.

pip install --upgrade streamlit

→ Installeer openAI pakket

python -m pip install openai

→ Pinecone: Vector dataBase

python -m pip install pinecone-client

→ requests (indien nodig (voor API ed.) in eerste instantie niet gebruikt)

python -m pip install requests

→ nltk → om trefwoorden uit NLP te halen voor zoekfunctie als Pincoine geen goed antwoord heeft gevonden

python -m pip install nltk

→ Gebruik:

import nltk
from nltk.corpus import stopwords
from nltk.tokenize import word_tokenize

→ De eerste keer dat je de Python app start moeten er een paar dingen worden gedownload. Als het goed is staat er na het uitvoeren can de volgende code een map in je project map met de naam “nltk_data”.

nltk.download('punkt')
nltk.download('stopwords')

→ Als de map er eenmaal staat kan de code of verwijderd worden of uit commentariëren:

#nltk.download('punkt')
#nltk.download('stopwords')

→ Voorbeeld van gebruik:

def extract_keywords(self, query):
        stop_words = set(stopwords.words('dutch'))
        word_tokens = word_tokenize(query)
        keywords = [word for word in word_tokens if word not in stop_words]
        # Vervang dubbele woorden door 1 woord
        keywords = list(dict.fromkeys(keywords))
        # vervang "kost" door "kosten"
        keywords = [word.replace('kost', 'kosten') for word in keywords]    
        # haal alle leestekens uit de lijst
        keywords = [word for word in keywords if word.isalnum()]
        # haal alle woorden als de, het, een, etc. uit de lijst
        keywords = [word for word in keywords if len(word) > 2]
        # haal alle woorden als wat, wie, waar, etc. uit de lijst
        keywords = [word for word in keywords if word not in ['wat', 'wie', 'waar', 'wanneer', 'hoe', 'waarom', 'kost', 'Wat', 'Wie', 'Waar', 'Wanneer', 'Hoe', 'Waarom']]    
        # maak een string van de lijst
        keywords = ' '.join(keywords)
        return keywords

langchain
PyPDF2
python-dotenv
streamlit
openai
altair
tiktoken
htmltemplate
pinecone-client
nltk

→ Meer: Docker

→ Dockerfile Aanmaken: Maak in de root van je project een bestand aan met de naam `Dockerfile` (zonder extensie). Dit bestand bevat instructies voor het bouwen van je Docker-image. Een eenvoudig voorbeeld voor een Python-applicatie kan er zo uitzien:

# Gebruik een officiële Python runtime als ouder image
FROM python:3.11.6

# Stel de werkdirectory in de container in
WORKDIR /app

# Kopieer de huidige directory inhoud in de container bij /app
COPY . /app

# Installeer de benodigde pakketten uit requirements.txt
RUN pip install --trusted-host pypi.python.org -r requirements.txt

# Maak poort 8501 beschikbaar voor de wereld buiten deze container
EXPOSE 8501

# Definieer het commando om de applicatie te draaien
CMD ["streamlit", "run", "app.py"]

1. Start de Docker deskTop applicatie (in windows)
2. Navigeer naar de applicatie map
3. Start een console
4. Voer de volgende code uit om de Docker-container te bouwen

docker build -t cat-va-app .

→ Om uw Docker-container te testen, voer je het volgende commando uit:

docker run -p 8501:8501 cat-va-app

→ local url:
http://localhost:8501
http://172.17.0.2:8501 wekt niet

⇐ Repository aanmaken en gebruiken

ChatOpenAI -> LangChain Ook met eigen finetune Model
Streamlit Chat elements
→ Bouw een eenvoudige LLM-chat-app
→ Bouw een LLM-app met LangChain

Emoji's (kopiëren/plakken):