Alex的技术博客

一、概述 机器学习的优化（目标），简单来说是：搜索模型的一组参数 w，它能显著地降低代价函数 J(w)，该代价函数通常包括整个训练集上的性能评估（经验风险）和额外的正则化（结构风险）。与传统优化不同，它不是简单地根据数据的求解最优解，在大多数机器学习问题中，我们关注的是测试集（未知数据）上性能度量P的优化。 对于模型，测试集是未知，我们只能通过优化训练集的性能度量P_train，在独立同分布基础假设下，期望测试集也有较好的性能（泛化效果），这意味并不是一味追求训练集的最优解。 另外，有些情况性能度量P（比如分类误差f1-score）并不能高效地优化，在这种情况下，我们通常会优化替代损失函数

在机器学习中，损失函数是代价函数的一部分，而代价函数则是目标函数的一种类型。 * 损失函数（Loss function）：用于定义单个训练样本与真实值之间的误差； * 代价函数（Cost function）：用于定义单个批次，或整个训练集样本与真实值之间的误差； * 目标函数（Objective function）：泛指任意可以被优化的函数。 损失函数是用于衡量模型所作出的预测离真实值（Ground Truth）之间的偏离程度。 一、概述 在深度学习广为使用的今天，我们可以在脑海里清晰的知道，一个模型想要达到很好的效果需要学习（=训练）。一个好的训练离不开优质的负反馈，损失函数（L

一、概述 神经网络中的每个神经元节点接受上一层神经元的输出值作为本神经元的输入值，并将输入值传递给下一层，输入层神经元节点会将输入属性直接传递到下一层（隐层或输出层）。在多层神经网络中，上层节点的输出和下层节点的输入之间具有一个函数关系，这个函数称为激活函数（activation function）。 $\sum\limits_{i}{w_{i}x_{i}+b}$ 是线形组合部分，$f()$ 部分就是激活函数，核心用途是为神经元加入非线性因素！ 从哲学的角度看，线性组合解决的是描述问题，激励函数解决的是判断问题，就是价值观！ 在神经网络中，如果不对上一层结点的输出做非线性转换的话（即

一般认为，神经网络的三个核心要素是： 1. 模型结构（Architecture）：这是指神经网络的拓扑结构，包括层数、每层的神经元数量、神经元之间的连接方式等。例如，一个简单的多层感知机（MLP）包含输入层、一个或多个隐藏层以及输出层。 2. 学习策略（Learning Strategy）：涉及如何选择训练神经网络的方法，包括损失函数的选择、优化算法等。损失函数定义了模型预测与实际结果之间的差异如何计算，而优化算法则用于调整网络的权重以最小化损失函数。 3. 激活函数（Activation Function）：决定了神经网络如何处理和传递信息。它们通常用于在网络的每个神经元中引入非线性

熵（Entropy）最早是物理学的概念，用于表示一个热力学系统的无序程度。1948年，美国数学家克劳德·香农发表论文《通信的数学理论》（A Mathematical Theory of Communication），将统计物理中熵的概念引申到信道通信的过程中，从而奠定了信息论的基础。 信息论回答了通信理论的两个基本问题：一是数据压缩的极限（答案：熵$H$）；二是通信传输速率的临界（答案：信道容量$C$） * 香农第一定理：无失真信源编码定理，或变长码信源编码定理 将原始信源符号转化为新的码符号，使码符号尽量服从等概分布，从而每个码符号所携带的信息量达到最大，进而可以用尽量少的码符号

一、基础知识 卷积神经网络（Convolutional Neural Network，简称CNN），是一种前馈神经网络，人工神经元可以响应周围单元，可以进行大型图像处理。卷积神经网络包括卷积层和池化层。 卷积神经网络是受到生物思考方式启发的MLPs（多层感知器），它有着不同的类别层次，并且各层的工作方式和作用也不同。这里提供一个较好的CNN教程（http://cs231n.github.io/convolutional-networks/）。文章中详细介绍了CNN的计算方式和数据的流动过程，这里只做简单的介绍。 卷积神经网络是人工神经网络的一种，已成为当前语音分析和图像识别领域的研究热点。它

Full-Disk Encryption（全盘加密）是一种单密钥的加密系统，有硬件、软件两种实现方案。 * 硬件方案：也称为 Self Encryption Drive（自加密硬盘），一般由存储器件厂商、安全厂商提供，出厂时内嵌预启动环境 bootLoader，上电后先运行 Pre-Boot 程序并验证 AK（Authentication Key），再进行正常的加载引导。请参见Seagate 硬盘 的 NIST FIPS 140-2 认证报告。 * 软件方案：采用不加密boot分区的方式，一般在 initial ramdisk 集成 PBA 功能并完成验证。例如 Windows 的Bit

根据iOS 16 安全评估报告的表述（P16-P20），Apple 设备提供的加密服务分为三个层级： * User Space：SL1，软件级。驻留在用户空间内的动态可加载库，为 App 提供加密功能 * Kernel Space：SL1，软件级。操作系统内核加载的扩展模块，仅为内核提供加密功能 * Secure Key Store：SL2，硬件级。一个单芯片独立硬件加密模块，为静态数据和数据传输提供保护，包含固件和硬件加密算法实现 Secure Key Store（安全密钥存储，SKS，也称 Secure Key Service）是 Apple Secure Enclave 的加密

一、概述 FIPS 140 是 NIST（国家标准与技术研究院，美国）制定的一项技术标准，描述了用于敏感但非保密 (SBU) 用途的 IT 产品所需满足的加密和相关安全要求。 1994年发布了 FIPS 140-1，2001年发布了FIPS 140-2成为业界主流标准 ，2019年正式发布了FIPS 140-3，其管理方式有重大变化，不再直接定义模块要求，而是引用了 ISO/IEC 的技术标准，其中加密模块的安全要求遵循 ISO/IEC 19790，加密模块的测试要求遵循 ISO/IEC 24759。 2020年，CMVP 开始接受 FIPS 140-3 的验证申请，但实施过程出现严重积压

1993 年，在美国的 TCSEC、欧洲的 ITSEC、加拿大的 CTCPEC、美国的 FC（Federal Criteria）等信息安全准则的基础上，由 6 个国家 7 方(美国国家安全局 NSA 和国家技术标准研究所 NIST、加、英、法、德、荷)共同提出了信息技术安全评价通用准则（The Common Criteria for Information Technology security Evaluation，简称 CC 标准），目标是采用一套公共的准则规范为 IT 保障类产品的广泛用户群体提供最大的便利，提供了一个更全面的框架用来评估信息系统、信息产品的安全性。 Common