直到世界的尽头

1、神经网络七十年：回顾与展望（计算机学报）

论文链接：http://cjc.ict.ac.cn/online/onlinepaper/jlc-201672183246.pdf

内容简介：作为联接主义智能实现的典范，神经网络采用广泛互联的结构与有效的学习机制来模拟人脑信息处理的过程，是人工智能发展中的重要方法，也是当前类脑智能研究中的有效工具。在七十年的发展历程中，神经网络曾历经质疑、批判与冷落，同时也几度繁荣并取得了许多瞩目的成就。从20世纪40年代的M-P神经元和Hebb学习规则，到50年代的Hodykin-Huxley方程、感知器模型与自适应滤波器，再到60年代的自组织映射网络、神经认知机、自适应共振网络，许多神经计算模型都发展成为信号处理、计算机视觉、自然语言处理与优化计算等领域的经典方法，为该领域带来了里程碑式的影响。目前，模拟人脑复杂的层次化认知特点的深度学习已经成为类脑智能中的一个重要研究方向。通过增加网络层数所构造的“深层神经网络”使机器能够获得“抽象概念”能力，在诸多领域都取得了巨大的成功，又掀起了神经网络研究的一个新高潮。文中回顾了神经网络的发展历程，综述了其当前研究进展以及存在的问题，展望了未来神经网络的发展方向。

2、稀疏认知学习, 计算与识别的研究进展 （计算机学报）

论文链接：http://cjc.ict.ac.cn/online/onlinepaper/jlc-2016327160814.pdf

内容简介： 稀疏认知学习、计算与识别是近年来受到国际学术界广泛关注的学术前沿领域，这一新的学习、计算与识别范式将对机器学习、模式识别、计算智能以及大数据等领域的研究产生变革性的影响。为能更好地把握其发展规律，本文以生物视觉稀疏认知机理的研究进展为依据，通过对生物视觉稀疏认知机理的学习及建模，详细地评述了稀疏编码模型、结构化稀疏模型和层次化稀疏模型的研究进展，并阐释这三种模型之间的区别与联系；以及概述稀疏认知计算模型目标识别应用的研究状况，并举例给出了稀疏认知计算模型的具体成果；最后总结了这一新范式存在的一些问题及可进一步研究的方向，以期引起更多的研究同行对这一具有交叉性和发展性方向的关注。

图1 稀疏认知学习、计算与识别范式的脉络结构

3、深度神经网络FPGA 设计进展、实现与展望 （计算机学报）

论文链接：http://cjc.ict.ac.cn/online/cre/jlc-2021721164800.pdf

内容简介：FPGA 作为一种可编程逻辑器件，具有可编程、高性能、低能耗、高稳定、 可并行和安全性的特点。其与深度神经网络的结合成为推动人工智能产业应用的研究热点。本文首先简述了人工神经网络坎坷的七十年发展历程与目前主流的深度神经网络模型，并介绍了支持深度神经网络发展与应用的主流硬件；接下来，在介绍 FPGA 的发展历程、开发方式、开发流程及型号选取的基础上，从六个方向分析了 FPGA 与深度神经网络结合的产业应用研究热点。然后，基于 FPGA 的硬件结构与深度神经网络的模型特点，总结了基于 FPGA 的深度神经网络的设计思路、优化方向和学习策略；接下来，归纳了 FPGA 型号选择以及相关研究的评价指标与度量分析原则；最后，本文总结了影响 FPGA 应用于深度神经网络的五个主要因素并进行了概要分析。

图2 FPGA的发展历程线路图

4、New Generation Deep Learning for Video Object Detection: A Survey （IEEE Transactions on Neural Networks and Learning Systems）

论文链接：https://ieeexplore.ieee.org/document/9345705

内容简介：视频目标检测是计算机视觉领域的一项基本任务，其发展迅速且应用广泛。近年来，深度学习方法在视频物体检测领域迅速普及，与传统方法相比，取得了优异的效果。然而，视频数据中存在的重复信息和复杂时空信息给视频物体检测任务带来了严峻挑战。因此，近年来，许多学者对视频数据背景下的深度学习检测算法进行了深入研究，并取得了显著的成果。考虑到应用的广泛性，对视频物体检测的相关研究进行全面回顾既是必要的也是具有挑战性的。本文试图将视频物体检测的最新前沿研究联系起来，并使之系统化。主要目的是根据具体的代表模型对视频检测算法进行分类和分析。本文系统地展示了视频物体检测与类似任务之间的差异和联系，并介绍了近40个模型在两个数据集上的评价指标和视频检测性能。最后，论文讨论了视频物体检测所面临的各种应用和挑战。

图3 视频目标检测问题的分类和解决方案

5、 Deep learning in visual tracking: A review （IEEE Transactions on Neural Networks and Learning Systems）

论文链接：https://ieeexplore.ieee.org/abstract/document/9666461

内容简介：深度学习在许多计算机视觉任务以及视觉跟踪中都取得了突破性进展。从如何自动获取高级特征表示的研究开始到目前为止，深度学习已经被深入应用到了跟踪任务的方方面面，例如相似性度量、数据协同和目标包围盒估计等，经过社区的不断研究，纯基于深度学习的跟踪器已经获得了该任务中最先进的性能。因此，应该全面回顾深度学习研究在视觉跟踪任务中的发展。本文总结了深度学习给视觉跟踪领域带来的关键进展：深度特征表示、网络结构以及视觉跟踪的四个关键问题(时空信息融合、特定目标分类、目标信息更新和包围盒估计)。本文的基于深度学习的视觉跟踪方法的调查范围首次涵盖了该领域的两个主要子任务，即单目标跟踪和多目标跟踪。此外，本文还分析了基于深度学习的跟踪方法的性能，并给出了有意义的结论。最后，提出了视觉跟踪及相关领域的几个有前景的方向和任务。

图4 视觉跟踪任务与深度学习的关系、研究发展时间线

6、Multi-scale representation learning for image classification: A survey （IEEE Transactions on Artificial Intelligence）

论文链接：https://ieeexplore.ieee.org/document/9650759

内容简介：近年来，特征表征得到了广泛的应用和发展。多尺度特征在许多计算机视觉任务中的表征学习过程中取得了显著突破。本文旨在全面综述近年来多尺度表征学习在分类任务中的研究成果。多尺度表征学习方法可以分为两大类：多尺度几何表征和多尺度网络表征。本文介绍了11种多尺度几何工具和7种多尺度网络结构。文中还描述了这两大类对应的一些基本子问题，包括：表征过程中的一些概念、多尺度几何分析的具体表征方法和网络多尺度表征设计策略。接着，本文说明了这两大类之间的相关性，包括：各自表征过程的特点、两者的组合策略和最优表征所需要具备的条件。通过一些数据集和评估结果，本文验证了多尺度表征学习的有效性。最后，本文给出了多尺度表征相关结论和未来的四个主要研究方向：选择与融合、自适应调节、结构设计和归纳和证明。

7、The New Generation Brain-inspired Sparse Learning: A Comprehensive Survey （IEEE Transactions on Artificial Intelligence）

论文链接：https://ieeexplore.ieee.org/stamp/stamp.jsp?tp=&arnumber=9762529

内容简介：近年来，海量数据和复杂网络模型产生的巨大计算资源需求已成为深度学习的局限之一。在海量样本和超高特征维度的大规模问题中，稀疏逐渐引起了学术界和工业界的关注。本文全面综述了新一代的脑启发的稀疏学习。首先，从视觉的生物学机制到自然图像的建模角度介绍了稀疏认知学习。其次，总结了稀疏表征算法以呈现稀疏学习的研究进展。然后，回顾了有关稀疏特征选择学习的相关研究。然后，总结了稀疏深度学习网络以及相关应用。最重要的是，本文讨论了稀疏学习的十个公开问题和挑战。在调研稀疏学习的发展过程中，本文总结了各算法的优势，缺点，局限性和未来的研究方向，可以帮助读者进行进一步的研究。

图5 新一代脑启发的稀疏学习框架

8、Graph representation learning meets computer vision: A survey （IEEE Transactions on Artificial Intelligence）

论文链接：https://ieeexplore.ieee.org/document/9844822

内容简介：以认知科学、脑科学和神经科学为基础，关系推理和结构化建模是人类认知不可或缺的一部分。对于高级智能感知和图像解译，图像内容的几何表示和关系建模是一项重要且具有挑战性的任务。图表征学习算法提供了解决此问题的基本方法。图结构是一种强大的数学抽象，它不仅可以表示关于个体的信息，还可以捕获个体之间的相互作用以进行推理。在本文中，系统地回顾了图表征学习及其在计算机视觉中的应用。首先，本文梳理了图上表征学习的演变，根据图节点的编码方式将它们分为非神经网络和神经网络方法。具体来说，本文介绍了图嵌入和概率图模型等非神经网络方法，同时，还介绍了图递归神经网络、图卷积网络和图神经网络的变体等神经网络方法。然后，本文整理了图表征算法在各种视觉任务（如图像分类、语义分割、目标检测和跟踪等）中的应用，以供细分领域的研究人员回顾和参考，并总结了计算机视觉中典型的图构建方法。最后，在生物学和大脑启发的背景下，本文讨论了图表征学习和计算机视觉的现有挑战和未来方向。

9、Deep Learning-Based Object Tracking in Satellite Videos: A comprehensive survey with a new dataset （IEEE Geoscience and Remote Sensing Magazine）

论文链接：https://ieeexplore.ieee.org/abstract/document/9875020

内容简介：作为卫星视频研究的一项基本任务，目标跟踪广泛用于交通评估、军事安全等方面。目前遥感领域的卫星技术使得以较高的帧率和图像分辨率跟踪运动目标成为可能。然而，这种特殊视角下的物体往往又小又模糊，很难有效地提取可分辨的视觉特征。因此，许多深度学习方法被提出用于卫星视频中的目标跟踪。此外，自然视频的评估标准并不完全适用于卫星视频。微小的物体在这类指标中总是获得低精度的评估结果。 在本文中，对卫星视频的研究做出了三项贡献。首先，提出了一个新的单目标跟踪（SOT）数据集，命名为SV248S。这个数据集包括248个具有高精度人工标注的序列，并设计了10种属性标签来完整展示跟踪过程中的困难。其次，本文提出了两种高精度评估方法，特别是针对小目标跟踪。最后，本文对从 2017 年到 2021 年涵盖流行框架的 28 种基于深度学习的最先进跟踪方法进行调研，并在SV248S数据集上进行了评估和比较。此外，根据综合实验结果，本文总结了一些有效采用深度学习方法的指南。

10、Brain-inspired Remote Sensing Interpretation: A Comprehensive Survey （IEEE Journal of Selected Topics in Applied Earth Observations and Remote Sensing）

论文链接：https://ieeexplore.ieee.org/document/10049618

内容简介：脑启发算法已经成为下一代人工智能的新趋势。通过对脑科学的研究，可以有效提高智能遥感算法。本文对脑认知学习的特性和遥感解译的最新进展进行了总结和分析。首先本综述介绍了大脑的结构组成和特性; 然后，研究了5种代表性的类脑算法，包括多尺度几何分析、压缩感知、注意力机制、强化学习和迁移学习; 其次，对遥感数据类型、典型遥感解译应用发展和遥感算法实现，包括数据集、软件和硬件进行了介绍; 最后，本综述讨论了脑启发遥感解译的十大开放问题和未来发展方向。本文旨在全面综述脑机制和遥感研究进展，并为脑启发遥感解译的未来研究提供参考。

图6 脑启发遥感解译综述总体结构图

11、Quantum optimization and quantum learning: A survey （IEEE Access）

论文链接：https://ieeexplore.ieee.org/document/8972916

内容简介：受到广泛关注的量子机制正处于不断的快速发展之中。量子机制强大的计算能力和高度的并行能力使量子领域具备了广阔的应用前景和全新的生命力。受自然界的启发，智能算法一直是研究热点之一。它是生物学、数学和其他学科完美结合的前沿交叉学科。自然而然，将量子机制与智能算法相结合的理念将为人工智能系统注入新的活力。本文首先列举了量子领域发展的重大突破，然后从量子优化和量子学习两个方面总结了现有的量子算法。之后，分别介绍了量子优化和量子学习的相关概念、主要内容和研究进展。最后，通过模拟量子计算进行实验，证明量子智能算法与传统智能算法相比具有很强的竞争力和巨大的潜力。

12、A Survey of Deep Learning-Based Object Detection （IEEE Access）

论文链接：https://ieeexplore.ieee.org/abstract/document/8825470

内容简介：物体检测是非常重要且具有挑战性的计算机视觉方向之一，已经被广泛应用于人们的工作和生活中，比如遥感影像、监控安防、自动驾驶、机器人视觉等。其目的在于定位物体并正确识别其类别。首先，本文简述了物体检测的诸多研究分支、大型公开基准数据集以及物体检测器的分类。之后详述了物体检测器的多种骨架网络和12种典型的基线网络结构以及当时最新的3种网络架构。在第四章介绍了5个大型公开基准数据集及其评价标准。本文着力于分析基于深度学习的物体检测方法，详细描述了11种主流物体检测领域的研究热点问题及其解决方法。接下来，本文列举了5个应用领域下的18个物体检测应用下的经典方法并详述了10个物体检测研究分支的求解方法。至此，本文参考了317篇经典文献。最后，本文总结了物体检测在深度学习时代的研究方案并给出15个物体检测的未来研究方向。

人工智能新方向