はじめに 以前の続きです。 touch-sp.hatenablog.com 今回はSLM (small language model) に限定して、以下のノートPCでコーティングを行いました。 Windows 11 Home Core i7-12700H GeForce RTX 3080 Laptop VRAM 16GB RAM: 32GB SSD: 1TB NVMe SSD .NET Fra…
はじめに llama.cppで実行しているローカルLLMがClaude Codeで使えることは確認しました。 touch-sp.hatenablog.com いろいろなモデルを使って相性を確認してみます。 簡単なタスクができないのはモデル自体の問題ではなくClaude Codeとの相性問題だと思いま…
Qwen3.5-35B-A3B-Q4_K_M.gguf ./build/bin/llama-bench -m /home/hoge/models/Qwen3.5-35B-A3B-Q4_K_M.gguf model size params backend ngl test t/s qwen35moe ?B Q4_K - Medium 19.74 GiB 34.66 B CUDA 99 pp512 4995.94 ± 28.46 qwen35moe ?B Q4_K - Medi…
はじめに 以前 Ollama を使った方法を書きました。 touch-sp.hatenablog.com 今回は llama.cpp を使ってみます。 方法 llama-server ./build/bin/llama-server -m /home/hoge/models/Qwen3.5-27B-Q4_K_M.gguf --host 127.0.0.1 --port 8888 --host 127.0.0.1…
はじめに WSL2のllama.cppでQwen3.5-27Bを実行しました。 方法はこちらです。 touch-sp.hatenablog.com ./build/bin/llama-server -m /home/hoge/models/Qwen3.5-27B-Q4_K_M.gguf --host 127.0.0.1 --port 8888 課題 算数パズルを解かせてみました。 「9 9 9…
確実な方法は成功した事例にバージョンを合わせることです。 PC環境 Ubuntu 24.04 on WSL2 CUDA Toolkit 12.9 Update 1 hoge@winPC:~$ uname -r 5.15.167.4-microsoft-standard-WSL2 CUDA Toolkitをインストールした後に ~/.bashrc に以下を書き込んでおく必…
はじめに Nanbeige4.1-3Bはわずか3Bと小型ながら、Qwen3-32Bなどをベンチマークで上回っていると謳われています。 公式のHuggingFaceから図をお借りして載せておきます。 PC環境 Windows 11 Python環境構築 uvを使っています。pyproject.tomlを載せておくの…
はじめに NVIDIAが日本語に対応した9BパラメータのLLM「NVIDIA-Nemotron-Nano-9B-v2-Japanese」を公開していたので試してみました。 Mamba SSMアーキテクチャをベースにしており、Thinkingモード（enable_thinking=True）にも対応しています。 PC環境 Ubuntu…
はじめに vllmを使う方法もあります。 touch-sp.hatenablog.com vllmがWindowsに対応していないためWSL2を使う必要がありました。 Transformersライブラリから使うとWindowsでも動作可能です。 前回に音声ファイルの文字起こしを書きました。 touch-sp.haten…
はじめに 以前にvllmを使った方法を書きました。 touch-sp.hatenablog.com vllmがWindowsに対応していないためWSL2を使う必要がありました。 今回はTransformersライブラリから使うためWindowsでも動作可能です。 今回はひとまず音声ファイルからの文字起こ…
はじめに C#でOCRアプリを作るにはTesseractが良いと思っていました。 その記事も書きました。 touch-sp.hatenablog.com しかし、Windowsに標準で搭載されているOCR機能を使った方が精度が高かったです。 環境 Windows11 Visual Studio Community 2026 .NET …
C#とTesseractを使って実際に使えるOCRアプリを作りました。
