自己紹介

About

Jaesung Lee | 李宰成です！東北大学修士2年で、Tohoku NLP Group、鈴木研究室に所属しています。

現在の研究テーマは、モデルマージ、特にタスクベクトルです。

最近の研究については、業績一覧をご覧ください。

研究興味

  • モデルマージとタスクベクトル
  • 言語モデルの潜在表現
  • 類推
  • 意識

Hi, I’m Jaesung Lee | 李宰成. I’m a second-year master’s student at Tohoku University, affiliated with the Tohoku NLP Group and Jun Suzuki Lab.

My current research topic is Model Merging, especially Task Vectors.

You can find more about my recent work in the publications section.

Research Interests

  • Model Merging and Task Vector
  • Latent Representation in LLM
  • Analogy
  • Consciousness

連絡先

Contact

  • ✉️ lee.jaesung [at] dc.tohoku.ac.jp
  • 🐦 @2225333_
  • ✉️ lee.jaesung [at] dc.tohoku.ac.jp
  • 🐦 @2225333_

業績

Publications & Presentations

著者名、タイトル、掲載先の順で簡潔に記載しています。

Entries are written in a plain academic style: authors, title, venue, and year.

国際学会（査読あり）

International Conferences (peer-reviewed)

  • Keigo Shibata, Kazuki Yano, Ryosuke Takahashi, Jaesung Lee, Wataru Ikeda, Jun Suzuki.
    Suppressing Final Layer Hidden State Jumps in Transformer Pretraining.
    European Chapter of the Association for Computational Linguistics (EACL 2026), pp. (to appear), 2026年3月. ポスター発表.
    European Chapter of the Association for Computational Linguistics (EACL 2026), pp. (to appear), March 2026. Poster presentation.
  • Wataru Ikeda, Kazuki Yano, Ryosuke Takahashi, Jaesung Lee, Keigo Shibata, Jun Suzuki.
    Layerwise Importance Analysis of Feed-Forward Networks in Transformer-based Language Models.
    Conference on Language Modeling (COLM 2025), 21 pages, 2025年10月.
    Conference on Language Modeling (COLM 2025), 21 pages, October 2025.

国内学会・シンポジウム（査読なし）

Domestic Conferences & Symposia (non-peer-reviewed)

  • 李宰成, 中石海, 鈴木潤, 横井祥.
    タスク算術の誤差項とその解釈.
    言語処理学会第32回年次大会 (NLP 2026), 宇都宮, pp.2609-2614, 2026年3月.
    The 32nd Annual Meeting of the Association for Natural Language Processing (NLP 2026), Utsunomiya, pp.2609-2614, March 2026.
  • 柴田圭悟, 高橋良允, 矢野一樹, 李宰成, 池田航, 鈴木潤.
    Transformer事前学習における最終層隠れ状態ジャンプの抑制.
    言語処理学会第32回年次大会 (NLP 2026), 宇都宮, pp.3687-3692, 2026年3月.
    The 32nd Annual Meeting of the Association for Natural Language Processing (NLP 2026), Utsunomiya, pp.3687-3692, March 2026.
  • 杉本陽大, 李宰成, 吉田倖, 鈴木潤.
    MoEアーキテクチャによる破滅的忘却の抑制効果の評価.
    言語処理学会第32回年次大会 (NLP 2026), 宇都宮, pp.3664-3669, 2026年3月.
    The 32nd Annual Meeting of the Association for Natural Language Processing (NLP 2026), Utsunomiya, pp.3664-3669, March 2026.
  • 李宰成, 矢野一樹, 高橋良允, 柴田圭悟, 池田航, 鈴木潤.
    LLM事前学習の効率化と性質改善：埋め込み層および出力層のパラメータ固定による再利用.
    言語処理学会第31回年次大会 (NLP2025), 長崎, pp.1638-1643, 2025年3月. ポスター発表.
    Annual Meeting of the Association for Natural Language Processing (NLP2025), Nagasaki, pp.1638-1643, March 2025. Poster presentation.
  • 池田航, 矢野一樹, 高橋良允, 李宰成, 柴田圭悟, 鈴木潤.
    Transformer LLMにおける層単位のFFN層の重要度検証.
    言語処理学会第31回年次大会 (NLP2025), 長崎, pp.628-633, 2025年3月. ポスター発表.
    Annual Meeting of the Association for Natural Language Processing (NLP2025), Nagasaki, pp.628-633, March 2025. Poster presentation.
  • 柴田圭悟, 高橋良允, 矢野一樹, 李宰成, 池田航, 鈴木潤.
    Transformer LLMの内部挙動改善：隠れ状態ベクトルの数値的収束性の向上.
    言語処理学会第31回年次大会 (NLP2025), 長崎, pp.1704-1709, 2025年3月. ポスター発表.
    Annual Meeting of the Association for Natural Language Processing (NLP2025), Nagasaki, pp.1704-1709, March 2025. Poster presentation.
  • 李宰成, 吉田倖, 朱灏丞, 内藤悠, 岩川光一, 工藤慧音, 塩野大輝, 葉夢宇, 木村昴, 矢野一樹, 佐々木翔大, 斉藤いつみ, 赤間怜奈, 鈴木潤.
    語彙拡張を適用する継続事前学習における初期値学習法.
    NLP若手の会第19回シンポジウム (YANS 2024), 大阪, 2024年8月. ポスター発表.
    The 19th Symposium of Young Researchers' Association for NLP (YANS 2024), Osaka, August 2024. Poster presentation.
  • 岩川光一, 内藤悠, 朱灏丞, 李宰成, 吉田倖, 矢野一樹, 工藤慧音, 葉夢宇, 木村昴, 塩野大輝, 佐々木翔大, 斉藤いつみ, 赤間怜奈, 鈴木潤.
    大規模言語モデルにおけるチェックポイント平均法の有効性.
    NLP若手の会第19回シンポジウム (YANS 2024), 大阪, 2024年8月. ポスター発表.
    The 19th Symposium of Young Researchers' Association for NLP (YANS 2024), Osaka, August 2024. Poster presentation.
  • 朱灏丞, 李宰成, 岩川光一, 内藤悠, 吉田倖, 矢野一樹, 工藤慧音, 木村昴, 葉夢宇, 塩野大輝, 佐々木翔大, 斉藤いつみ, 赤間怜奈, 鈴木潤.
    大規模言語モデルの継続事前学習における学習率設定の検討.
    NLP若手の会第19回シンポジウム (YANS 2024), 大阪, 2024年8月. ポスター発表.
    The 19th Symposium of Young Researchers' Association for NLP (YANS 2024), Osaka, August 2024. Poster presentation.
  • 内藤悠, 岩川光一, 朱灏丞, 吉田倖, 李宰成, 木村昴, 塩野大輝, 葉夢宇, 工藤慧音, 矢野一樹, 佐々木翔大, 斉藤いつみ, 赤間怜奈, 鈴木潤.
    大規模言語モデルにおけるラベル平滑化の有効性.
    NLP若手の会第19回シンポジウム (YANS 2024), 大阪, 2024年8月. ポスター発表.
    The 19th Symposium of Young Researchers' Association for NLP (YANS 2024), Osaka, August 2024. Poster presentation.
  • 吉田倖, 木村昴, 塩野大輝, 葉夢宇, 工藤慧音, 矢野一樹, 李宰成, 朱灏丞, 佐々木翔大, 斉藤いつみ, 赤間怜奈, 鈴木潤.
    大規模言語モデルにおけるラベル平滑化の有効性.
    NLP若手の会第19回シンポジウム (YANS 2024), 大阪, 2024年8月. ポスター発表.
    The 19th Symposium of Young Researchers' Association for NLP (YANS 2024), Osaka, August 2024. Poster presentation.
  • 李宰成, 山田武士.
    Aug AnaloGPT：大規模言語モデルを用いたアナロジー生成によるデータ拡張.
    言語処理学会第30回年次大会 (NLP2024), 神戸, pp.1520-1522, 2024年3月. 口頭発表.
    Annual Meeting of the Association for Natural Language Processing (NLP2024), Kobe, pp.1520-1522, March 2024. Oral presentation.

受賞

Awards

  • 2024-08 — NLP若手の会第19回シンポジウム (YANS 2024) YANS分野交流ハッカソン with 言語処理学会30周年記念事業, 大喜利ハッカソン, 審査員特別賞. [対象8件中1件]
  • 2024-08 — Special Jury Prize, Ogiri Hackathon, YANS Interdisciplinary Hackathon at YANS 2024 with the 30th Anniversary Project of the Association for Natural Language Processing. [1 out of 8 entries]