はじめに VRAM 16GBのRTX 3080 Laptopで8メガピクセル（縦 2176 x 横 3872）の画像生成にチャレンジしました。 使用したPCはこちらです。 Windows 11 Home Core i7-12700H GeForce RTX 3080 Laptop VRAM 16GB RAM: 32GB ちなみにVRAM 12GBのグラボで挑戦した…

はじめに 公開されているllama.cppのビルド済みファイルがCUDA 13.5に変わったので新しい記事を書きます。 前回の記事はこちらです。 touch-sp.hatenablog.com Imageの作成 Dockerfile # 既存のベースイメージ（環境に合わせて調整してください） FROM nvidi…

はじめに 0.8B, 2B, 8B, 31Bの4モデルが公開されています。 今回は8Bモデルを4bit量子化して使ってみました。 実行結果 環境構築 Dockerfile pyproject.toml app.py quantize_model.py の4つのファイルを同じフォルダ内に用意して以下を実行するだけです。 …

はじめに 前回の拡張です。「話者分離」に挑戦しました。 touch-sp.hatenablog.com 実行結果 環境構築 Dockerfile pyproject.toml app.py transcribe_with_speakers.py の4つのファイルを同じフォルダ内に用意して以下を実行するだけです。 transcribe_with_…

実行結果 環境構築 Dockerfile pyproject.toml app.py の3つのファイルを同じフォルダ内に用意して以下を実行するだけです。 ただし、モデルのダウンロード先としてホスト側（Windows側）にあらかじめ D:\HF_HOME というディレクトリを作ってあります。 wslc…

はじめに Microsoft.ML.OnnxRuntimeGenAI v0.19.0が公開されて LFM3-1.7Bがサポートされました。 onnxモデルを作成する ここではpythonを使います。 python環境構築 python環境構築は以下の pyproject.toml の通りです。 C#ではGPUを使わない予定ですが、量…

環境 Ubuntu 26.04 on WSL2 Python環境構築 pyproject.tomlを載せておきます。 uv syncで簡単に構築できます。 [project] name = "tts" version = "0.1.0" description = "Add your description here" readme = "README.md" requires-python = ">=3.13, <3.1…

はじめに 以前からPythonなしでC#で動かせるOCRをいくつか試してきました。 Tesseract 5 を使って C# で簡単なOCRアプリを作ってみる - パソコン関連もろもろ Windowsに標準で搭載されているOCR機能を使ってC#で簡単なOCRアプリを作ってみる - パソコン関連…

環境構築 Dockerfile pyproject.toml app.py の3つのファイルを同じフォルダ内に用意して以下を実行するだけです。 ただし、モデルのダウンロード先としてホスト側（Windows側）にあらかじめ D:\HF_HOME というディレクトリを作ってあります。 wslc build -t…

はじめに 前回の改良です。 touch-sp.hatenablog.com Dockerfileを用意する # 既存のベースイメージ（環境に合わせて調整してください） FROM nvidia/cuda:13.4.2-runtime-ubuntu26.04 # 非対話モードの設定（パッケージインストールのプロンプト停止） ENV …

はじめに 前回WSL2で動かしました。今回はWSL Containerで動かします。 touch-sp.hatenablog.com Dockerfileを用意する # 既存のベースイメージ（環境に合わせて調整してください） FROM nvidia/cuda:13.4.2-runtime-ubuntu26.04 # 非対話モードの設定（パッ…

はじめに v0.2.9までは同じ方法でインストール可能なことが確認できています。 Strataとは Strataは125Bパラメータの比較的大きいLLMであるQwen3.8-Flash-NextをローカルPCで実行できるようにするオープンソースのソフトウェアです。 今回はそれをWSL Contai…