BITDDD小栈

机器学习、深度学习、LLM、数据结构算法专栏目录与整理，方便查找与阅读。

Transformer && Multi-Head Attention 维度变化与源码详解。

Transformer 中 Self-Attention、Multi-Head-Attention 原理与实践。

Python PhotoMaker DIY 自定义图像。

搭建 Flask 服务使用 Real-ESRGAN 修复图像、视频。

使用 Real-ESRGAN 修复 GIF 图像。

Real-ESRGAN 提升图像、视频清晰度。

Wave2lip 环境搭建与 Wave2lip x GFP-GAN 实战案例。

利用 moviepy + gfp-gan 优化 gif 人物图像质量。

使用 MoviePy 与 PaddleOCR 实现视频字符识别与处理。

GFP-GAN - 用于真实世界人脸恢复的实用算法。

Bert 简介与 Keras-Bert 常用 Demo 展示。

MMR 最大边界相关算法与多样性简介与实现。

推荐场景下 Attention 与 Multi-Attention Layer 简单实现 By Keras。

Attention、Multi-Attention 注意力与多头注意力简单理解。

SIM 搜索兴趣网络 GSU 通用搜索模块与 Soft Search 软搜索 Kears 实现。

Alibaba 序列模型 SIM Search-based Interest Model 搜索兴趣网络论文注解。

DIN 深度兴趣网络与 Dice 激活函数 Keras 实现。

Alibaba Attention 序列模型 DIN 之 Deep Interest Nerwork。

Keras 实现 Multi-gate Mixture-of-Experts [MMoE] 简易结构。

Google 多任务学习模型 Multi-gate Mixture-of-Experts。

kears 实现 FiBiNet 论文中的 SENET Layer 与 Bilinear Interaction Layer。

新的特征重要性和双线性特征交叉网络 FiBiNet 模型论文笔记。

Word2vec、EGES 负采样实现 By Keras。

Tensorflow N-Gram 采样与 Session 数据获取 For EGES。

阿里巴巴百亿级商品 Embedding 电子商务推荐之 EGES 算法。

Python - Huffman Tree 霍夫曼树实现与应用。

Python Gensim 库之word2vec 理论与实战。

DCN Deep Cross Network 模型结构分析与实现。

一.回调函数概述1.回调函数的功能回调是一种强大的工具，可以在训练，评估或推理期间自定义Keras模型的行为。我们可以在不同时期实现不同功能的回调函数，例如每次训练的开始或结束，每轮epoch的开始或结束，每一批batch的开始或结束等，并实现以下行为：1.在训练过程中的不同时间点进行验证（除了内置的按时间段验证）2.定期或在超过特定精度阈值时对模型进行检查3.当训练似乎停滞不前时，更改模型的学习率4.当训练似乎停滞不前时，对顶层进行微调5.在训练结束或超出特定性能阈值时发送电子邮件或即

tf 常用矩阵计算方法，包括 multiply、matmul、tensordot、dot、batch_dot 与 einsum

CTR 推荐场景下常用推荐算法 FM、DeepFM、FwFM、FmFM keras 实现。

一.引言前面介绍了 DeepWalk，Node2vec，通过不同游走方法获取游走序列，然后通过 word2vec 进行 embedding 训练， 在 word2vec 训练中，所有向量共用了同一个 embedding 空间即同一个 Variable，Line 提出了一阶和二阶相似度的概念，从而丰富了 embedding 空间。二.Line 算法1.Line 简介如上是一个信息网络的例子，在上例中 6 和 7 存在直连关系，可以判定为有较强联系，按照传统方法， 5 和 6 没有相连一

一.引言Alias Sample 即别名采样应用于离散采样，假设有一个随机事件包含 N 中情况，每种情况发生的概率为 P1,P2,...Pn 且其和为1，我们希望采样得到的事件能够符合随机事件的原始概率分布，这时候就需要 Alias 采样， Alias 是一个通过空间复杂度换取时间复杂度的算法，构造采样表的复杂度为 O(n)，而采样的复杂度为 O(1)。在Graph Embedding 中，本质上节点用户对不同邻居节点的权重大多是不一致的，但之前提到的 DeepWalk 对用户的权重没有考虑或者默认节点

一.引言通过最基础的 DeepWalk 已经可以获取关注关系图中节点的 embedding，除了通过 embedding 计算内积获取两个节点的语义是否相近之外，还可以通过可视化的方式观测得到的 embedding。下面通过几种基本的降维方法获取降维后的向量与其对应的分布图，可以更好的分析和评估 embedding 质量。Tips:CSDN-BITDDD要降维的向量可以使用自己提前准备好的高维向量，也可以结合上一节DeepWalk生成的随机向量进行测试。上图为 DeepWal...

一.引言上一篇文章讲到了如何使用networkx 获取图，通过networkx 获得的图我们可以通过获取节点的邻居开始随机游走，从而获得游走序列，进而结合 word2vec 进行节点向量化操作。二.DeepWalk 原理1.获得关注关系图通过节点之间的关系生成图，在DeepWalk算法中，各个节点之间的权重默认为1。2.在图中游走获取序列DeepWalk 涉及到的随机游走是一种可重复访问已访问节点的深度优先遍历(DFS)算法。给定起始节点，从该节点的邻居中随机选取访问..

一.引言GraphEmbedding 基于各种图结构获取游走序列，通过游走序列 + word2vec 模型，获取图中节点的 embedding，本文主要聚焦于如何生成 Graph 以及 Graph 的相关操作。主要使用了 python 的 networkx 库，可以 pip install 提前安装。import networkx as nx二.生成图1.构造图生成图主要有 nx.DiGraph 有向图和 nx.Graph 无向图两种，除了图的不同外，边可以区分为有权重和无权重，下

一.引言使用 mean-std 归一化数值型 Tensor 时，出现 Nan 值，导致训练时出现 Nan Loss:CSDN-BITDDD通过下面几种方法简单处理下 Nan 值。二.情景再现出现 Nan 值是因为归一化时原始 Tensor 为全0导致 variance 为 0，从而 x - mean / std 得到 Nan # 初始化全0 Tensor tensor = tf.constant(np.zeros(shape=(5, 3)), dtype..

一.引言上一篇文章Tensorflow - 一文搞懂 TF2.x tf.feature_column讲到了 tensorflow 如何构建特征工程，本文继续反向探索，构造特征工程之前需要处理源数据构造原始样本，下面主要介绍 DataSet 的使用与优化技巧。二.基础使用这里以 tf.data.TextLineDataset 生成 DataSet 为例。最基本的处理方法：1.读取对应文件夹文件 file_names = "./tr" field_size = 100..

一.引言上一篇文章Tensorflow - TF1.x VS TF2.x tf.feature_column介绍了 feature_column 在 TF1.x 与 TF 2.x 在使用上的区别，这里介绍一下 feature_column 中用到的特征列以及对应方法。二.feature_column 整体介绍1.整体关系feature_column 模块中包含下述9个函数，除 buketized_column 函数外，其他函数只能返回 Categorical Column 或 D....