テキストと数値の時系列データを統合する — マルチモーダル時系列予測データセット設計の要点
天気予報のニュースで「来週は寒波の影響で野菜の価格が上昇する見込み」と聞いたら、...
Chameleonを徹底解説 — 画像もテキストも同じトークンで扱う早期融合マルチモーダルモデル【Meta 2024】
BLIP-2のようなマルチモーダルモデルは、画像エンコーダと言語モデルという別々...
BLIP-2を徹底解説 — 凍結した画像エンコーダとLLMをQ-Formerで橋渡しする【ICML 2023】
GPT-4Vのような「画像を見て言葉で答えるAI」を作りたいとします。素直に考え...
TRACE — 時系列データのマルチモーダル埋め込みと検索をわかりやすく解説【NeurIPS 2025】
気温、湿度、気圧、風速 — 気象観測ステーションは毎秒このような多変量時系列デー...
マルチモーダルLLMの設計パターンと融合手法を解説
マルチモーダルLLM（Large Language Model）は、テキストだけ...
LLaVAアーキテクチャの理論と実装
LLaVA（Large Language and Vision Assistan...
CLIPの対照学習を数式から理解してPythonで実装する
CLIP（Contrastive Language-Image Pre-trai...
Whisper — 音声認識Transformerのアーキテクチャと実装
会議の録音を自動で文字起こししたい。YouTubeの外国語動画に日本語字幕を付け...