はじめにGradio 5.0からチャットボットの作り方が大きく変わりました。 今回、実際に作ってみました。Pythonスクリプト import gradio as gr from transformers import AutoModelForCausalLM, AutoTokenizer, TextIteratorStreamer from threading import Th…

モデル使用したモデルはこちらです。 huggingface.co PC今のところIntel Extension for PyTorchはPython3.11までしか対応していないようです。 Ubuntu 24.04 Intel Arc A770 Python 3.11Python環境構築Intel Extension for PyTorchを使うための環境構築はこ…

はじめに「Llama-3.1-8B-EZO-1.1-it」は日本語性能向上のためにLlama3.1-8Bをファインチューニングしたモデルです。こちらになります。 huggingface.co今のところLlama3.1の小さいモデル（8B）で日本語性能を向上させたものは少ないです。 さっそくGradioか…

pip install torch==2.4.0+cu118 --index-url https://download.pytorch.org/whl/cu118 pip install transformers accelerate bitsandbytes sentencepiece gradio pip install pdfminer.six pip install langchain langchain_community langchain_huggingfac…

はじめに前回「CyberAgentLM3-22B-Chat」や「Llama-3-ELYZA-JP-8B」や「gemma-2-9b-it」で同じことをしました。 touch-sp.hatenablog.com touch-sp.hatenablog.com touch-sp.hatenablog.com 今回は「llama-3-youko-8b-instruct」です。モデルの量子化今回は…

はじめに前回「CyberAgentLM3-22B-Chat」や「Llama-3-ELYZA-JP-8B」で同じことをしました。 touch-sp.hatenablog.com touch-sp.hatenablog.com 今回は「gemma-2-9b-it」です。 小規模でかつ日本語特化モデルでないにもかかわらず日本語性能は高い印象です。…

はじめに前回「CyberAgentLM3-22B-Chat」で同じことをしました。 touch-sp.hatenablog.com 今回は「Llama-3-ELYZA-JP-8B」です。 ELYZAの「Llama-3-ELYZA-JP-70B」はGPT-4を上回る日本語性能と言われています。 今回使用したのはそれよりもはるかに小規模な…

PC環境 Ubuntu 24.04 on WSL2 (Windows 11) CUDA 12.1 Python 3.12Python環境構築 pip install torch==2.3.1+cu121 --index-url https://download.pytorch.org/whl/cu121 pip install transformers accelerate bitsandbytes gradioモデルの量子化4bit量子化…

結果わずか15行のスクリプトでOCRアプリが作成できました。 同じことを以前 Streamlit を使ってやっています。 touch-sp.hatenablog.com その時は16行でした。 1行だけ短くなりました（笑）。Pythonスクリプト from PIL import ImageDraw import easyocr imp…

Gradioとは？公式サイトの説明文をDeepLで翻訳したのがこちらです。 Gradioは、機械学習モデルをデモする最速の方法であり、フレンドリーなウェブ・インターフェースを備えているため、誰でもどこでも使用することができます！サンプル１ import gradio as g…