Qwen2-7B-Instructをオンプレで動かしてみた

Qwen2-7B-InstructをCloudflareTunnelをつかってホストしてみました。

1080ti×2で無理やり動かす

Qwen2-7B-Instructを動かしてみました。1080tiを二枚刺すことでVRAMを22GB確保し、動かすことができます。

Qwen2はアリババクラウドが開発したモデルでapache 2.0で公開されています。

実際にhttps://play.mizuame.app/qwen2/でホストしています

起動時点でVRAMを計約19GB食っており、長いコンテキストを送り付けるとVRAMに乗り切らずに死亡します

適当なpythonサーバーを立ててCloudflareTunnelでつなげば普通に外部からアクセスできますね。ただ現状無限にAPIを叩けるので荒らす物好きが合われたらリキャプチャでも導入しようかと思います。