• 株式会社ずんだもん技術室AI放送局 podcast 20241226

  • Dec 25 2024
  • Length: Less than 1 minute
  • Podcast

株式会社ずんだもん技術室AI放送局 podcast 20241226

Listen for free

View show details

  • Summary

  • 関連リンク 2024年生成AIエージェントのおすすめ論文 16選 この記事は、AIエージェント研究に一年を費やした筆者が、2024年に発表されたAIエージェント関連の論文の中から、特にビジネスやエンジニア層にとって学びが多いと思われる16本を厳選して紹介しています。論文は、AIエージェントの基礎から応用、評価方法、具体的な構築のポイント、マルチエージェント、人間とのインタラクション、学習方法、そしてメタ認知能力や脱出ゲームへの挑戦といったユニークなテーマまで幅広くカバーしています。各論文の概要とともに、読者が理解を深めるための質問例も提示されており、AIエージェントに関わる技術者にとって、現状を把握し、今後の開発や研究のヒントを得るのに役立つ内容となっています。また、記事の最後に、AIエージェント関連の優れたまとめ記事へのリンクも紹介されており、より深く学びたい読者への配慮もなされています。 引用元: https://masamasa59.hatenablog.com/entry/2024-best-papers-on-ai-agents LLMのモデルマージ手法 データアナリティクスラボ この記事では、LLM（大規模言語モデル）のモデルマージ技術について解説しています。モデルマージとは、複数のモデルのパラメータを組み合わせて新しいモデルを作る技術で、計算コストを抑えつつ高性能なモデルを効率的に構築できる可能性があります。 モデルマージの種類 パラメータ空間でのマージ：モデルの各層のパラメータの重みを統合するデータフロー空間でのマージ：複数のモデルの層を組み替えて新しいモデルを作る この記事では、パラメータ空間でのマージに焦点を当てています。 モデルマージの効果 モデルスープ：複数の微調整モデルの重みを平均化することで、精度とロバスト性を向上させることができる。モデルの重みを平均化することで、損失関数の「平坦解」に近づき、汎化性能が向上する可能性がある。 モデルマージの具体的な手法 Task Arithmetic：微調整後のモデルの重みから微調整前の重みを引いてタスクベクトルを作成し、それらを足し引きすることでタスク能力を付与する。TIES：デルタパラメータ（タスクベクトルと同義）の枝刈り（重要度の低いパラメータを削除）と、優位な符号に一致する重みをマージすることでパラメータ干渉を抑制する。DARE：デルタパラメータをランダムに枝刈りし、リスケーリングすることで精度を維持する。Model Breadcrumbs：デルタパラメータの絶対値の上下を閾値として枝刈りし、外れ値を除去する。TALL Mask：タスク間の干渉を考慮し、タスクに重要な重みを残すようにマスクする。DELLA：デルタパラメータの重みの大きさに応じてドロップする確率を設定し、枝刈りを行う。MetaGPT：モデルマージ後の損失と各モデルの損失の差を最小化するように、最適な按分を求める。KnOTS：LoRAで微調整したモデルのマージに特化し、SVD（特異値分解）を用いて共通の基底を抽出し、マージの精度を向上させる。 その他 進化的モデルマージ：進化アルゴリズムを用いてマージのハイパーパラメータを最適化する。MoE Merging：複数のモデルをエキスパートとしてMoE（Mixture of Experts）モデルを構築する。 実装方法 mergekit：様々なマージ手法をサポートするライブラリ。進化的モデルマージの実装例は、記事内で紹介されているリンクを参照。 モデルマージは、ドメイン特化LLMの構築において、コストを抑えつつ高性能なモデルを作るための有効な手段となる可能性があります。 引用元: https://dalab.jp/archives/journal/llm-merge-techniques/ Devin AIにテストを丸ごと書かかせてCIがパスするまで作業してもらう方法 Devinは、ソフトウェア開発を効率化するAIプラットフォームで、特にテストコードの自動生成に優れています。Slackでテスト作成を依頼すると、Devinは指定されたリポジトリにアクセスし、既存のテスト事例を参考にテストコードを生成、GitHubにPRを作成します。CIが失敗した場合は、自動で修正を試みます。さらに、SlackやGitHubのPRコメント、DevinのUIから追加の作業依頼も可能です。Devinは過去のフィードバックを学習し、リポジトリごとに「Knowledge」として保存するため、継続的に...
    Show more Show less
Show more Show less
activate_Holiday_promo_in_buybox_DT_T2

What listeners say about 株式会社ずんだもん技術室AI放送局 podcast 20241226

Average customer ratings

Reviews - Please select the tabs below to change the source of reviews.

Audible.com reviews

Amazon reviews
No Reviews are Available