音声を聴き取るHear natural speech
マイク入力を音声区間で捉え、Whisperによって会話のことばへ変換します。Voice activity detection captures speech and Whisper turns it into conversational text.
Personal maker R&DPersonal maker R&D
Voice assistant robotAI Furby
声を聴き、考え、身体でこたえる。It listens, thinks, and answers in motion.
Raspberry Pi、Whisper、対話AI、VOICEVOX、サーボモーターを一つの会話ループへ。ぬいぐるみ型デバイスに「聴く・覚える・話す・動く」を実装した、個人のメイカー研究です。Raspberry Pi, Whisper, conversational AI, VOICEVOX, and a servo meet in one loop—an independent maker study in listening, remembering, speaking, and moving.
個人R&D作品Personal R&D project非売品Not for sale
Conversation core聴く
話す
動くListen
Speak
Move
話す
動くListen
Speak
Move
Four connected experiments
会話を、身体のある体験へ。Giving conversation a physical presence.
単独のAI機能ではなく、入力から返答・動作までの待ち時間とつながりを一つの体験として設計しました。The study treats latency and continuity—from input to speech and movement—as one experience.
文脈をつないで話すContinue the context
対話AIのストリーミング応答を使い、前回までの会話要約も次の会話へ引き継ぎます。Streaming AI responses can carry a compact summary of earlier conversations forward.
すぐに声へ変えるSpeak without the long pause
返答を句読点単位でVOICEVOXへ送り、生成と再生を並行して待ち時間を抑えます。Replies are sent to VOICEVOX phrase by phrase, overlapping synthesis and playback.
サーボで反応するRespond with motion
会話の進行とモーター制御を連携し、音声だけではない存在感を試しています。Servo control joins the dialogue loop to explore presence beyond sound alone.
One conversational loop
呼びかけから、声と動きの返事まで。From your voice to a spoken, moving reply.
複数の技術を、会話として自然に感じられる順番へつないでいます。Several technologies are sequenced around the rhythm of a natural exchange.
話しかけるSpeak
起動ワードのあと、マイクが発話の始まりと終わりを捉えます。After the wake phrase, the microphone detects the start and end of speech.
考えるThink
文字起こしと会話記憶をもとに、対話AIが返答を組み立てます。The AI forms a reply from the transcript and stored conversation context.
声と動きで返すReply in voice and motion
音声合成を順次再生しながら、サーボの動作を重ねます。Synthesized phrases play in sequence while servo motion adds a physical response.
System map
五つの層を、一つの対話へ。Five layers, one conversation.
ハードウェアとクラウドAI、ローカル音声合成を小さなRaspberry Piアプリケーションが調停します。A compact Raspberry Pi application coordinates hardware, cloud AI, and local speech synthesis.
マイク・発話検出Mic & voice activity
必要な音声区間を収録Capture the spoken segment
Whisper
音声をテキストへSpeech to text
対話AI＋記憶要約AI + memory summary
文脈を含む返答を生成Generate a contextual reply
VOICEVOX
句ごとに合成・順次再生Synthesize and stream phrases
スピーカー＋サーボSpeaker + servo
声と身体で応答Respond in sound and motion
Working prototype
実機での会話デモConversation on the prototype
音声認識からAI応答、音声合成、モーター動作までをつないだ試作の様子をYouTubeで公開しています。The YouTube demo shows the prototype connecting speech recognition, an AI reply, synthesized voice, and motor movement.
Project note
販売製品ではなく、個人の実験作品です。A personal experiment, not a commercial product.
本プロジェクトは既存玩具を用いた非公式の個人R&Dで、販売・頒布は行っていません。各製品名・サービス名はそれぞれの権利者に帰属します。This is an unofficial personal R&D project using an existing toy. It is not sold or distributed. Product and service names belong to their respective owners.
小さな身体に、会話の手ざわりを。A tangible conversation in a small body.
制作過程と動作はデモ動画でご覧いただけます。See the build in motion in the prototype demo.