About AIMIA

Artificial Intelligence & Medical Image Analysis Lab

AIMIA课题组属于北京大学数字媒体研究中心。
由北京大学信息工程学院副教授、博士生导师、鹏城实验室双聘教师、北京大学数字媒体中心老师
陈杰博士担任课题组导师。

课题组与数字媒体研究中心其他课题组、其他国际课题组、鹏城实验室以及深圳湾实验室有频繁的合作交流。
目前课题组围绕深度学习、大模型、AIGC、具身智能、AI for Science开展以下方向研究:

大模型:Multimodal Large Language Model (MLLM)

多模态大型语言模型(Multimodal Large Language Model,MLLM)是先进的人工智能模型,旨在处理和理解多种信息模态,例如文本、图像和音频。这些模型利用深度学习技术和大量的训练数据,学习不同模态之间的模式和关系。

应用领域1:自然语言处理
NLP大模型的结构创新、强化学习反馈增强、分布式训练、模型优化和加速等相关技术。

应用领域2:计算机视觉和模式识别
图像分割及分类,图像语义理解,半监督学习,弱监督学习等。

应用领域3:多模态和多视角学习
探索如何结合多种信息源,以及从多个角度来学习和理解数据集中的信息,例如图文检索,3D对象检测、机器翻译等。

应用领域4:医学图像分析
旨对医学图像中的兴趣区域和目标进行定性或定量检测,最大限度地挖掘图像内涵,为临床医师或科研人员提供信息参考。其主要研究领域包括图像分类及分割、疾病诊断、图像配准、医学报告生成等 

AIGC:AI Generated Content

AIGC技术的核心思想是利用人工智能算法生成具有一定创意和质量的内容。通过训练模型和大量数据的学习,AIGC可以根据输入的条件或指导,生成与之相关的内容。例如,输入关键词、描述或样本,AIGC可以生成与之相匹配的文章、图像、音频等。

具身智能 :Embodied AI

具身智能是一种人工智能研究方向,关注于使智能系统能够通过与环境的实际交互来感知、理解和参与其中。具身智能旨在将传感器、行动机制和决策能力整合在一起,使智能系统能够像人类一样在物理世界中行动和交互。通过融合感知、认知和行为,具身智能模型可以学习环境的结构和规律,并采取适当的行动。这种综合性的方法使得具身智能可以应用于机器人技术、自主驾驶汽车、增强现实等领域,促进智能系统与人类环境的更紧密互动和合作。

AI for Science

以Science领域的重大瓶颈问题为导向,预训练具有强大泛化能力的foundation model,赋能多个下游任务场景,包括可控靶向多肽设计、病毒变异预测、抗体生成与关键性质预测、蛋白质结构预测、RNA结构及功能预测等。

Recent News

  • New Accepted Papers
    2023/10 1 paper accepted to Nucleic Acids Research!
    2023/09 1 paper accepted to NeurIPS!
    2023/09 1 paper accepted to IEEE TMM!
    2023/07 5 papers accepted to ICCV!
    2023/06 1 paper recognized as ICASSP top 3% paper
    2023/04 1 paper accepted to IEEE TIP !
    2023/04 3 papers accepted to IJCAI !
    2023/03  3 papers被CVPR评为Highlight(oral,2.5% )!!!
    2023/02  6 papers accepted to CVPR !
    2023/02  2 papers accepted to ICASSP !
    2022/12  1 paper accepted to IEEE TMI !
    2022/10  1 paper accepted to IEEE TIIS !

    2022/09  1 paper accepted to NeurIPS !
    2022/07  1 paper accepted to ECCV !
    2022/07  1 paper accepted to MICCAI !
    2022/07  2 papers accepted to ICME !
    2022/03  2 papers accepted to CVPR !
  • 鹏程·神农入围戈登贝尔(Gordon Bell)新冠特别奖(本次入围唯一来自中国团队的项目) !!!
    关于鹏程神农:https://aigene.cloudbrain2.pcl.ac.cn
    关于戈登贝尔: See Pubulications.
  • 国家科技部科技创新2030  “新一代人工智能”重大项目:紧致化多模态大模型构建关键技术研究
    2022ZD0118201, 2022/3/1-2023/3/31, 119.75万元,在研,主持.
  • 国家科技部 鹏城云脑网络智能重大科技基础设施
    PCL2021A13,2021-06 至 2023-6, 2165.14 万,在研.
  • 深圳市发改委,大规模医疗健康仿真系统
    4339.50 万元,鹏城实验室云脑II 平台软件.
  • 国家自然科学基金,61972217, 小样本复杂场景图像的结构解析与学习
    2020/1/1—2023/12/31
  • 广东省联合基金重点项目,2019B1515120049, 大规模图像数据库增量计算理论与系统
    2020/1/1—2022/12/31.

Team

Mobirise Website Builder
陈杰
副教授

研究方向:1、深度学习; 2、计算机视觉与模式识别; 3、AI4Science;4、自然语言处理;5、医学图像分析。
Email:jiechen2019 at pku dot edu dot cn

Full-Width Gallery

博士后&博士
Mobirise Website Builder
王振楠
博士后 

Regularization, Normalization,
Loss Function of Neural Networks

Mobirise Website Builder
何红亮
博士

Deep Learning, Computer Vision, Medical Image Analysis

Mobirise Website Builder
聂志伟
博士

Deep Learning, AI for Science, Bioinformatics

Mobirise Website Builder
乔鹏冲
博士

Semi-supervised Learning,
Computer Vision

Mobirise Website Builder
程梦钧
博士

Segmentation, Cross-modal,
Deep Learning

Mobirise Website Builder
成泽森
博士

Computer Vision,
Image Segmentation

Full-Width Gallery

硕士
Mobirise Website Builder
任妍
20级硕士

Deep Learning, 
Computer Vision,
Medical Image Segmentation

Mobirise Website Builder
傅斌
20级硕士

Computer Vision,
Instance Segmentation, Medical Image Analysis

Mobirise Website Builder
韦植丹
20级硕士

Deep Learning,Computer Vision,
Semi-supervised,Semantic Segmentation

Mobirise Website Builder
黄锦发
20级硕士

Vision and Language

Mobirise Website Builder
程亚璐
20级硕士

Deep Learning,
Domain Adaptation, Computer Vision

Mobirise Website Builder
张济凡
20级硕士

Crowd Counting,
Deep Learning

Mobirise Website Builder
李昊
21级硕士

Visual Question Answering,
Scene-Text based VQA,
Image Caption

Mobirise Website Builder
金鹏
21级硕士

Text-Video Retrieval

Mobirise Website Builder
喻润一
21级硕士

Computer Vision

Mobirise Website Builder
孙雨菁
21级硕士

Image Restoration,
Super-resolution

Mobirise Website Builder
李珂涵
21级硕士

Computer Vision,
Image Segmentation

Mobirise Website Builder
冷焯
21级硕士

Deep learning,
Computer Vision, Detection and Segmentation

Mobirise Website Builder
马千焜
22级硕士

Deep Learning,
Semi-supervised Learning

Mobirise Website Builder
王宇
22级硕士

Computer Vision,
Semi-supervised Learning

Mobirise Website Builder
王珺 
22级硕士

Deep Learning,
Computer Vision,
Medical Image Analysis

Mobirise Website Builder
张祎坤
22级硕士

Bioinformatics,
AI for Science

Mobirise Website Builder
李世昱
22级硕士

Medical Report Generation,
Deep Learning

Mobirise Website Builder
张一涵
22级硕士

Bioinformatics,
AI for Science

已毕业学生(包括合作培养)

  • 博士后
    高志强 (商汤上海)
  • 博士:
    郭以沫(美国西门子),李小白(芬兰),柯炜(西安交通大学),刘晴(中南大学),刘娜(天津理工大学),杨博宇(华为),王瑞平(中科院计算所)
  • 硕士:
    2017 级:黄伦(美国杜克大学,北京大学优秀毕业生,北京市优秀毕业生),夏雅娴(阿里巴巴),吴倩(网易)
    2018 级:耿睿哲(bilibili),黄钟毅(腾讯)
    2019 级:张弛(腾讯),王书博(阿里巴巴),孔子尚,王林(微软),任前,张威风(腾讯) ,张翀(京东),朱丽雯(腾讯),康照东(百度)

Honors

> 中国第一届生物测定学竞赛(BVC2004)人脸验证竞赛第一名 
> IAPR ICB 2006 人脸验证竞赛第一名,该竞赛由英国University of Surrey 的Josef Kittler 组织
> 2005 年国家科技进步二等奖,获奖项目:人脸识别理论、技术、系统及其应用
> 2015 年国家科技进步二等奖,获奖项目:视觉模式的局部建模及非线性特征获取理论与方法研究
> 2022 年获得国际知名蛋白质结构预测比赛 CAMEO 第一名
> 入围2022年度“戈登贝尔新冠特别奖”(全球仅入围三支队伍,本次入围唯一来自中国团队的项目)

Openings

欢迎有志于科研抗压能力强的优秀本科生和硕士生保送或申请北京大学信息工程学院的硕士和博士研究生,从事深度学习/计算机视觉/AI for Science/自然语言处理 相关研究。(点击此处查看招生信息

Contacts

jiechen2019 at pku dot edu dot cn
lijx at pkusz dot edu dot cn

北京大学深圳研究生院
深圳市南山区丽水路2199号

HTML Generator