پیام‌های چندوجهی: فرستادن تصویر به مدل

from langchain.chat_models import init_chat_model
from langchain.messages import HumanMessage

llm = init_chat_model("gpt-4o-mini", model_provider="openai", temperature=0)   # باید مدلی باشد که تصویر بپذیرد

message = HumanMessage(content=[
    {"type": "image_url",
     "image_url": {"url": "https://upload.wikimedia.org/wikipedia/commons/2/23/Azadi_Tower_%2829358497718%29.jpg"}},
    {"type": "text", "text": "این تصویر را توصیف کن. به فارسی پاسخ بده."},
])
print(llm.invoke([message]).content)

import base64, io, requests
from PIL import Image

def url_to_base64(url: str) -> tuple[str, str]:
    response = requests.get(url, headers={"User-Agent": "Mozilla/5.0"}, timeout=20)
    response.raise_for_status()
    img = Image.open(io.BytesIO(response.content))
    img.verify()                                    # مطمئن شو واقعاً تصویر است
    media_type = f"image/{img.format.lower()}"      # مثلاً image/jpeg
    return base64.b64encode(response.content).decode("utf-8"), media_type

image_data, media_type = url_to_base64(image_url)
print(media_type, len(image_data))                  # image/jpeg 2428212

message = HumanMessage(content=[
    {"type": "image_url", "image_url": {"url": f"data:{media_type};base64,{image_data}"}},
    {"type": "text", "text": "چه ساختمان‌ها یا مکان‌هایی در این تصویر می‌بینی؟"},
])

import mimetypes

def image_file_to_base64(file_path: str) -> tuple[str, str]:
    media_type, _ = mimetypes.guess_type(file_path)   # از روی پسوند: image/jpeg، image/png، …
    with open(file_path, "rb") as f:
        return base64.b64encode(f.read()).decode("utf-8"), media_type or "image/jpeg"

def analyze_image(file_path: str, question: str) -> str:
    data, media_type = image_file_to_base64(file_path)
    message = HumanMessage(content=[
        {"type": "image_url", "image_url": {"url": f"data:{media_type};base64,{data}"}},
        {"type": "text", "text": question},
    ])
    return llm.invoke([message]).content

print(analyze_image("images/password.jpg", "متن روی این رسید را بخوان و پسورد را بگو"))

متن روی رسید به شرح زیر است:
- Username: fqpp
- Password: aaeu

پسورد: **aaeu**

tehran_data, tehran_type = image_file_to_base64("images/Azadi.jpg")
isfahan_data, isfahan_type = image_file_to_base64("images/isfahan.jpg")

message = HumanMessage(content=[
    {"type": "text", "text": "این تصویر اول مربوط به تهران است:"},
    {"type": "image_url", "image_url": {"url": f"data:{tehran_type};base64,{tehran_data}"}},
    {"type": "text", "text": "این تصویر دوم مربوط به اصفهان است:"},
    {"type": "image_url", "image_url": {"url": f"data:{isfahan_type};base64,{isfahan_data}"}},
    {"type": "text", "text": "این دو تصویر را مقایسه کن و تفاوت‌های معماری، بافت شهری و فضای فرهنگی را "
                             "در ۴ جمله به صورت bullet point فارسی توضیح بده."},
])
print(llm.invoke([message]).content)

from langchain.agents import create_agent
from langchain.tools import tool

@tool
def analyze_image_from_url(url_and_question: str) -> str:
    """تصویر را از URL دریافت کرده و تحلیل می‌کند. ورودی باید به شکل 'URL|||سوال' باشد."""
    url, question = url_and_question.split("|||", 1)
    message = HumanMessage(content=[{"type": "image_url", "image_url": {"url": url.strip()}},
                                    {"type": "text", "text": question.strip()}])
    return llm.invoke([message]).content

vision_agent = create_agent(model=llm, tools=[analyze_image_from_url],
                            system_prompt="شما یک دستیار تحلیل تصویر هستید. برای تحلیل تصاویر از ابزار analyze_image_from_url استفاده کنید.")