刘小康，宋海军
中国地质大学生物地质与环境地质国家重点实验室，湖北武汉 430074
一、什么是深度学习呢？
人工智能作为当下最流行的技术之一，在过去十年，不仅在计算机科学领域（计算机视觉、自然语言处理等）得到了极大的发展；同时也在无人驾驶、医疗等诸多方面得到的广泛应用。将过去十年类比于“寒武纪生命大爆发”的前夕也不过分，这种爆发促使着人工智能交叉融入到诸多学科的研究中。深度学习（Deep learning）是机器学习的一个重要分支，是一种以人工神经网络（Artificial neural network）为架构，对资料或数据进行表征学习的算法(Bengio et al., 2013)，随着学习经验的增加，其效果也随之增强。与传统的机器学习相比，深度学习通过人工神经网络构造更为复杂的模型，如图1A，从而衍生出更为庞大的模型和算法体系，并在功能上获得更大的进步。
早在1943年McCulloch和Pitts根据研究哺乳动物的视觉神经首先提出了MP神经元模型（图1E），其本质上是一种“模拟人类大脑”的神经元模型，开创了人工神经网络研究的新时代，也奠定了神经网络模型的基础。深度学习在上世纪后半叶经历了两次发展和寒冬，但受限于数据和计算机硬件水平的部分瓶颈，其实际应用仍较为局限。直到Hinton和Salakhutdinov (2006)发表于Science上的论文有效地解决了“梯度消失”问题后，才迎来了深度学习的爆发式发展。其中，举办于2010－2017年的Large Scale Visual Recognition Challenge (ILSVRC)比赛极大地促成了深度学习在计算机视觉领域的发展和应用。这些应用主要基于李飞飞团队建立的ImageNet数据集(Deng et al., 2009)，该数据集包含有1000个分类的120万张有标注照片进行训练。2012年以来的深度学习模型全部采用卷积神经网络模型（Convolutional neural networks），最终达到乃至超出人类识别准确率的优异成绩，如下图2所示。卷积神经网络算法的高效性促使深度学习在应用于诸多图像处理领域，也包括地质学领域。
图1 经典的卷积神经网络VGG-16及其要素图(Liu and Song, 2020)。A为VGG-16的网络结构图，B为卷积运算，C为池化层，D为全连接神经网络，E为单个神经元模型。
图2 ILSVRC历年比赛夺冠网络名称、网络层数及其最低错误率，灰色为传统机器学习算法，蓝色为深度学习算法，红色为人类的平均错误率。数据来自http://www.image-net.org/challenges/LSVRC/
二、深度学习在地质学中的应用
深度学习在地质学领域的研究目前主要针对图像数据开展，根据其实现任务可以分为以下几类：
（1）分类/回归任务。分类任务是最常使用的研究方法，可以实现对岩石、化石、矿物等图片对象的识别和鉴定(Pires de Lima et al., 2019)。此外，通过对一些抽象指标的定性划分也可以用于分类任务，例如岩石的孔隙度和矿物的分选磨圆程度(Shu et al., 2018)。
（2）检测任务。检测任务首先需要对识别目标进行定位，之后再识别出一个或多个目标。来自斯坦福大学的Koeshidayatullah et al. (2020)通过对碳酸盐岩微相中的颗粒进行目标检测训练，最终实现了对9种生物和矿物颗粒达到80%以上的检测准确率。
（3）分割任务。对不同目标间的边界进行分割，从而实现对其识别和鉴定。例如Karimpouli et al., (2019)利用一种特殊的卷积神经网络，实现了对砂岩镜下照片中不同矿物边界的分割和识别。
（4）图像检索任务。Cheng et al. (2018) 通过建立一个岩石薄片数据集，利用卷积神经网络对图片进行特征提取，之后通过特征映射等方式计算不同图片之间的距离或相似度以达到图片检索的目的。
（5）自然语言处理。即从文本信息中提取出有效信息，是深度学习应用的另一热点研究。Kopperud et al. (2019) 通过建立一个苔藓虫文献数据库，利用自然语言处理中的长短期记忆循环神经网络，从文本信息中提取苔藓虫的多样性及其时代信息。
（6）其它方面。例如在地质体异常处理、成矿预测、地震地物等数据分析，亦可用到深度学习和传统的机器学习方法。由于地质学领域的数据通常较复杂且抽象，现有的深度学习方法并不能完全胜任，还需要进一步的探索和研究。
三、深度学习在碳酸盐岩微相分析中的应用
最近，中国地质大学（武汉）宋海军课题组把深度学习应用到碳酸盐岩微相分析中，实现了22种生物化石和非生物颗粒智能鉴定 (Liu and Song, 2020)。
该研究首先建立了一个碳酸盐岩微相生物化石图片数据库，该数据库由22种生物化石和非生物颗粒的30815张照片组成，包括：藻类、双壳、腕足、苔藓虫、钙质微生物、钙球、瓮虫、头足、珊瑚、白云石、棘皮类、有孔虫、腹足、核形石、鲕粒、介形虫、黄铁矿、放射虫、海绵、叠层石、层孔虫和管壳石（图3，4）。其中有超过三分之二的数据来自于1133篇已经发表的论文，其他数据来自该课题组的岩石薄片。
图3 微相数据库化石和非生物颗粒展示 (Liu and Song, 2020)
图4 卷积神经网络在前向传播过程提取的特征图 (Liu and Song, 2020)
利用高性能工作站实现了四个经典的深度卷积神经网络（VGG-16、ResNet v1-152、Inception v4、Inception ResNet v2）训练和预测。使用迁移学习的方法在Inception ResNet v2网络中获得了最高95%的第一和99%前三个测试准确率。其中对白云石、黄铁矿等矿物的预测精度达99%。即使对形态相近的化石，如双壳类、腕足类、介形虫等有一定识别难度，但其准确率也达到了88%，其性能如图5所示。
深度学习模型的性能主要取决于算法和数据两个方面，前者受到卷积神经网络结构（卷积神经网络的核心在于图片的特征提取，如图4所示）、照片数据预处理、超参数的设定等因素的影响(Hsiang et al., 2019)。通过在不同模型下对各参数和结构进行微调，能够是模型具有更好的泛化能力；后者受到数据异质性、背景噪音、数据不均匀等因素的影响(Pires de Lima et al., 2020)，通过对数据增强等操作可以有效的补偿数据方面的不足。
对比机器学习和人的识别任务可以发现其特点主要表现在以下几个方面：1) 速度快，通常是在毫秒级，甚至是实时检测 (Koeshidayatullah et al., 2020)；2) 可移植性强，训练好的模型可以共享给其他研究者；3) 偏见小，模型的性能主要取决于算法和数据，而人类的鉴定往往与个人的经验和能力有关，不同人员之间的误差可能很大(Al-Sabouni et al., 2018)；4) 准确率与专家相当，计算机视觉和现代生物（例如浮游有孔虫、孢粉）等研究均表明机器学习的性能已经能达到乃至超越专家的鉴定结果(Mitra et al., 2018)。
随着计算机科学和人工智能在近十年的高速发展，深度学习已广泛应用于医疗、遥感、地质学等多个领域，深度学习在地质学中的应用可以解放诸多繁琐、人员密集型的常规识别工作，让研究者能投入到更深层次的研究中去。
图5 Inception ResNet v2网络预测（非）生物颗粒的混淆矩阵，横表示真实的类别，列表示预测标签 (Liu and Song, 2020)
四、地质图像智能鉴定平台
虽然深度学习在众多领域得到了极大的发展，其在地质学的应用也方兴未艾。但深度学习往往伴随着大数据特征，因此如何有效的搜集到大量可靠的数据可供模型训练是数据收集的关键一环。伴随着大量地质学数据的标准化和数字化，许多团队和学者已经或正将数据整理成为公开可获取的数据，例如意大利米兰大学Giovanna Porta和Paul Wright整理收集的碳酸盐岩微相数据集（https://carbonateworld.com）、Allison Hsiang等联合耶鲁大学皮博迪博物馆和伦敦自然历史博物馆建立现有最大的浮游有孔虫Endless Forams数据集（http://endlessforams.org）、南京大学胡修棉教授牵头的岩石显微图像数据集（胡修棉等，2020）等。相信在未来进一步的数字化过程中能不断的弥补数据的缺陷。另一方面，现阶段虽有较多的深度学习研究实例，但是其主要集中在线下的模型训练和部署，这些类型的深度学习模型使用场景局限，还不能提供端到端的服务。
图6 www.ai-fossil.com网站首页
为解决上述问题，宋海军课题组搭建了一个线上开放平台（www.ai-fossil.com， 首页见图6），用于部署深度学习模型。上述微相鉴定模块已上线，可鉴定和识别碳酸盐岩微相分析中22种（非）生物颗粒。该平台是微相初学者的一个帮手，可帮助开展微相下的颗粒鉴定，鉴定结果显示页面见图7。后续该平台将陆续部署实体化石和岩石鉴定模块。
图7 www.ai-fossil.com鉴定结果的显示页面
AI-fossil也是一个化石和岩石标本图片数据库。如果注册为专家用户，可以上传和分享化石和地质照片，能帮助完善平台AI鉴定的准确率，同时专家用户拥有从该平台上下载和使用照片的权利。该平台拟通过共享的方式不断扩大数据集，以促进深度学习在地质学中更广泛的应用。
本文第一作者系中国地质大学 （武汉）博士研究生，第二作者为中国地质大学（武汉）教授。本文属作者认识，相关问题交流可通过邮箱xkliu@cug.edu.cn与本人联系。欲知更多详情，请进一步阅读下列参考文献。
主要参考文献
[1] Al-Sabouni, N., Fenton, I.S., Telford, R.J., Kucera, M., 2018. Reproducibility of species recognition in modern planktonic foraminifera and its implications for analyses of community structure. Journal of Micropalaeontology 37, 519–534.
[2] Bengio Y, Courville A, Vincent P., 2013. Representation learning: A review and new perspectives. IEEE transactions on pattern analysis and machine intelligence, 35(8): 1798–1828.
[3] Deng, J., Dong, W., Socher, R., Li, L., Li, K., Li, F., 2009. ImageNet: A Large-scale Hierarchical Image Database. 2009 IEEE Conference on Computer Vision and Pattern Recognition. IEEE, Miami, USA, pp. 248–255.
[4] Hinton G E, Salakhutdinov R R., 2006. Reducing the dimensionality of data with neural networks. Science, 313(5786): 504–507.
[5] Hsiang, A.Y., Brombacher, A., Rillo, M.C., Mleneck-Vautravers, M.J., Conn, S., Lordsmith, S., Jentzen, A., Henehan, M.J., Metcalfe, B., Fenton, I.S., 2019. Endless forams: >34,000 modern planktonic foraminiferal images for taxonomic training and automated species recognition using convolutional neural networks. Paleoceanography and Paleoclimatology 34(7), 1157–1177.
[6] Karimpouli S, Tahmasebi P., 2019. Segmentation of digital rock images using deep convolutional autoencoder networks. Computers & geosciences, 126: 142-150.
[7] Koeshidayatullah A, Morsilli M, Lehrmann D J, Al-Ramadan K., 2020. Fully automated carbonate petrography using deep convolutional neural networks. Marine and Petroleum Geology, 122: 104687.
[8] Kopperud B T, Lidgard S, Liow L H., 2019. Text-mined fossil biodiversity dynamics using machine learning. Proceedings of the Royal Society B, 286(1901): 20190022.
[9] Liu X, Song H., 2020. Automatic identification of fossils and abiotic grains during carbonate microfacies analysis using deep convolutional neural networks. Sedimentary Geology, 410: 105790.
[10] McCulloch, W.S., Pitts, W., 1943. A logical calculus of the ideas immanent in nervous activity. The Bulletin of Mathematical Biophysics 5, 115–133.
[11] Mitra, R., Marchitto, T., Ge, Q., Zhong, B., Kanakiya, B., Cook, M., Fehrenbacher, J., Ortiz, J., Tripati, A., Lobaton, E., 2019. Automated species-level identification of planktic foraminifera using convolutional neural networks, with comparison to human performance. Marine Micropaleontology, 147: 16–24.
[12] Pires de Lima, R., Bonar, A., Coronado, D.D., Marfurt, K., Nicholson, C., 2019. Deep convolutional neural networks as a geological image classification tool. Sedimentary Record 17, 4–9.
[13] Pires de Lima, R., Duarte, D., Nicholson, C., Slatt, R., Marfurt, K.J., 2020. Petrographic microfacies classification with deep convolutional neural networks. Computers & Geosciences 142, 104481.
[14] Shu, L., Osinski, G.R., McIsaac, K., Wang, D., 2018. An automatic methodology for analyzing sorting level of rock particles. Computers & Geosciences 120, 97–104.
[15] 胡修棉, 侯明才, 赖文. 《岩石显微图像专题》卷首语[J/OL]. 中国科学数据, 2020, 5(3). DOI: 10.11922/csdata.2020.0088.zh.
