これはテレンスの最初のハードウェアプロジェクトです。
👉 ESP32+SenseVoice+Qwen72BでAIチャットコンパニオンを作ろう!【bilibili】
👉 AIコンパニオンをDIYする - 初心者向けチュートリアル【bilibili】
このプロジェクトはEspressifのESP-IDFに基づいて開発されています。
このプロジェクトは主に教育目的のためのオープンソースプロジェクトです。このプロジェクトを通じて、より多くの人々がAIハードウェア開発を始め、急速に進化する大規模言語モデルを実際のハードウェアデバイスに統合する方法を理解する手助けをすることを目指しています。AIに興味のある学生や新しい技術を探求したい開発者にとって、このプロジェクトは貴重な学習体験を提供します。
プロジェクトの開発と改善に参加することを歓迎します。アイデアや提案があれば、Issueを提起するか、チャットグループに参加してください。
学習・ディスカッションQQグループ: 946599635
- Wi-Fi / ML307 Cat.1 4G
- BOOTボタンのウェイクアップと割り込み、クリックと長押しの両方のトリガーをサポート
- オフライン音声ウェイクアップ ESP-SR
- ストリーミング音声対話(WebSocketまたはUDPプロトコル)
- 5つの言語をサポート:標準中国語、広東語、英語、日本語、韓国語 SenseVoice
- 音声認識でAIの名前を呼んでいる人を識別 3D Speaker
- 大規模モデルTTS(VolcengineまたはCosyVoice)
- 大規模言語モデル(Qwen2.5 72BまたはDoubao API)
- カスタマイズ可能なプロンプトと音声トーン(カスタムキャラクター)
- 短期記憶、各対話ラウンド後の自己要約
- 信号強度や対話内容を表示するOLED / LCDディスプレイ
詳細なチュートリアルについては、Feishuドキュメントを参照してください:
以下にブレッドボードのセットアップを示します:
- LiChuang ESP32-S3 開発ボード
- Espressif ESP32-S3-BOX3
- M5Stack CoreS3
- MagiClick 2.4
- Xmini C3
初心者には、最初に開発環境を設定せずにファームウェアをフラッシュすることをお勧めします。ファームウェアは著者が提供するテストサーバーを使用しており、現在無料で使用できます(商業目的では使用しないでください)。
- CursorまたはVSCode
- ESP-IDFプラグインをインストールし、SDKバージョン5.3以上を選択
- LinuxはWindowsよりも優れており、コンパイルが速く、ドライバの問題も少ない
すでにXiaoZhi AIチャットボットをお持ちの場合は、👉 バックエンド操作ビデオチュートリアルを参照してください。
詳細な使用方法とテストサーバーの注意事項については、👉 XiaoZhiテストサーバーヘルプガイドを参照してください。