qq_42902997的博客

原创 CS5346 - AXES and SCALES（轴和刻度）

原创 CS5346 - CHARTS: Chart with Point / Bar / Line / Box

展示 两个定量变量。

原创 CS5346 - Improving and Evaluating Effectiveness of Visualizations（提高和评估可视化的效果）

dK/dtdS/dt。

原创 CS5346 - Text Visualization 文本可视化

下述展示了词袋模型（Bag of Words）中“Term Vector” 的构建过程与示例，是文本向量化（vectorising text）的关键步骤之一。Stemming（词干提取）是指将词语还原为其词干（stem）或基础形式的过程，用于在文本处理中统一词的表达形式，以便更有效地进行分析、统计或建模。尤其是文本中元素的“重复”、“共现”或“对称结构”，它非常擅长帮助你发现隐藏在文本序列中的模式或结构性线索。，是为了让计算机能够理解和处理文本，因为：计算机只能处理数字，不能直接理解文本的“意思”。

原创 CS5346 - Visualizing Time 可视化时间

时间数据是指随时间变化的数据，具有时间顺序性，可为连续或离散记录。典型示例包括股票价格、气温变化、网站访问量、COVID-19病例趋势等。时间通常作为X轴，向右表示时间推移，Y轴展示其他数值量（如温度、销售额）。

原创 CS5346 - Annotation in Visualization (可视化中的注释)

annotation 之所以重要，是因为他可以帮助提高图表清晰度、提高图表的 storytelling 能力以及 user 的参与度通过类似于 footnote 这些信息，使得图表的来源更透明，更让读者和使用者信任annotation 使用的原则了解您的受众：根据他们的知识水平和需求定制注释。定义目的：设定正确的基调并引导用户体验。保持清晰简洁：避免不必要的混乱，突出关键见解。

原创 CS5346 - Interactivity in Visualization 可视化中的交互

展示更多或更少的细节；

原创 CS5346 - Task Abstraction and Task Taxonomy 任务抽象和分类

Domain Tasks（领域任务）与具体应用情境相关，依赖领域知识。示例：“找出 ICU 暴露时间超过一个月的病人预后差异”（流行病学）“比较 LL-37 处理与未处理的组织样本”（生物学）Abstract Tasks（抽象任务）不依赖具体领域语境，可广泛应用。比较两个数值查找异常值过滤符合条件的数据。

原创 CS5346 - Visualization Design Process

Channel effectiveness 是指用于可视化数据的视觉通道在 **“传达数据价值”**上的表现能力，它包括多个维度，如感知准确性、可区分性、可分离性和视觉突出性等。在图表中，你看到的颜色、位置、大小、形状、角度等都是 channels（通道），它们是我们用来表达数据数值或类别的“视觉语言”。👉 假设左图用来表示不同行业的收入，（e.g., 收入 vs 行业）收入用位置来表示，而颜色则表示不同行业。通道决定了 marks（标记） 的外观，比如一个点的颜色或一个条形图的高度。

原创 from notebook.nbextensions import BaseNBExtensionApp ModuleNotFoundError: No module named ‘notebook.

【代码】from notebook.nbextensions import BaseNBExtensionApp ModuleNotFoundError: No module named 'notebook.

原创 javascript 学习之：异步和 promise 的使用

在JavaScript中，异步行为通常是指那些不会立即完成的操作，比如网络请求、文件操作或任何需要等待的操作。为了管理这种异步行为，JavaScript 提供了几种机制，其中 Promise 是非常核心的一个。Promise是一个代表了异步操作最终完成或失败的对象。它可以让你组织异步代码的方式更加清晰，避免所谓的“回调地狱”。这里面涉及了三个概念：promise 是一个对象这个对象代表了异步操作的 ”完成” 或者 “失败”

原创 Vue学习之：在 vue2 中引入 pdf.js 并配置使其能工作

安装不同版本的 pdfjs 在 node_modules 中的目录不太一样，如果你想让他正常运行就按照我下面的来确保你的 nvm 版本是 18.17 如果不是的话，建议你配置跟我调成一样的，否则很容易出问题nvm install 18.17.0nvm use 18.17.0安装 pdfjs，指定版本号 @2 如果你默认下的话会下载 4 开头的版本，会有各种问题npm install pdfjs-dist@2运行以下命令以安装处理类私有方法的 Babel 插件：npm inst

原创 Kafka 学习之：基于 flask 框架通过具体案例详解生产消费者模型，这一篇文章就够了

假设我的网站需要高并发地处理 user 注册这个简单的功能。前端会发送的信息到后端完成创建前端用postman来模拟后端用flask框架来简单演示下面我用一张大致的图来表示代码的架构：前端的原始数据进入后端之后，后端要用kafka的架构在有序地处理 user 的请求，在这个任务中所有 user 的请求都是 register，因此我们就创建一个kafka的 topic 专门用来处理 user 的这类请求同时由于 kafka 是通过队列的方式异步地处理 user 的请求。

原创 Kafka学习之：mac 上基础使用 python 来使用 kafka 的生产者和消费者进行数据处理

python 中 kafka 的基础用法，基于 macbook m1 芯片

原创 Kafka学习之：mac 上安装 kafka

kafka 在 mac 上的配置和安装

原创 解决：selenium web browser 的版本适配问题

【代码】解决：selenium web browser 的版本适配问题。

原创 django heroku 部署问题汇总

检查环境变量配置：确保所有在 Heroku 环境中所需的环境变量都已正确设置。这包括任何数据库 URL、密钥、或其他您的应用可能依赖的服务的凭证。这可以帮助确保当您的自定义应用尝试访问模型或其他 Django 功能时，Django 已经完全初始化。请确保在 Heroku 上也正确地配置了这些，特别是如果正在使用像。静态文件配置：在 Heroku 上部署时，静态文件的处理方式与本地开发不同。运行迁移：在部署到 Heroku 之前，确保已经运行了所有的数据库迁移。配置适用于 Heroku 的数据库。

原创 django 访问后台数据库管理程序报错：CSRF verihcation failed. Request aborted.

【代码】django 访问后台数据库管理程序报错：CSRF verihcation failed. Request aborted.

原创 日常学习之：前端传到后端的文件直接上传 chrome cloud 的存储桶（bucket）

（原生的 html 表单上传，如果是 vue 的 element-ui 组件，则是用 file 字段）从请求对象中获取上传的文件夹。代码片段是一个用于将文件夹中的文件上传到Google Cloud Storage（GCS）的Django视图函数。的过程，确保进行了必要的身份验证，并正确地将文件上传到指定的存储桶中。最后，它返回一个包含成功消息的JSON响应，指示文件夹上传到。总体而言，该视图函数处理了将文件夹中的文件上传到。获取指定的GCS存储桶。它遍历上传文件夹中的每个文件，并使用。

原创 第九章：Code-Coverage-Guided Fuzzing

• 在执行多字节相等性测试的程序中，覆盖范围仍然可能受限（例如比较两个4字节整数），因为这样的比较不会提供增量反馈给模糊器，以使其发现通过测试所需的输入。根据类似的论证，只需要对输入“bood”进行约700次变异，就能使生成输入**“baod”**的概率超过50%，揭示第二个分支并添加第三个有趣的输入。但是现在，与之前的程序不同，它只有两条路径（允许覆盖引导模糊器逐字节地增量发现所需输入），• 对于已知输入格式的程序来说，生成-模糊和类似技术可能表现更好，因为它们可以避免覆盖引导模糊的缺点。

原创 第七章：计算failure概率

随着时间越来越长，有 failure 的操作的总体数量还在增多，但是增长率会放缓，因为更多的 fault 被排除，例如第一次检验这个 operation 的时候有 10 个错误，把错误都修好了之后，到了第二轮可能找到了 2 个，那么这就是虽然总体的 P 在上升，但是斜率放缓（slope slows down.）记录的标准是：当预期的 result 和真实的 result 发生偏离，就记录当时的 time，以及这个 failure，然后移走这个错误。以最大化观察到的故障强度的可能性。

原创 第八章：security testing

缓冲区溢出是一种未定义行为：程序执行某些操作导致其未来的行为变得不可预知。它可能继续工作，也可能做一些完全无法预测的事情，比如在成功进行远程代码执行攻击时执行攻击者提供的代码。在大多数编程语言中，尝试在运行时除以0将导致运行时错误。例如，在C和C++中，这通常会导致程序崩溃或抛出异常（如果使用了异常处理机制）。NULL 指针表示它不指向内存中的任何有效位置。尝试解引用（即访问其指向的内容）一个NULL指针将导致未定义行为。在实践中，这通常会导致程序崩溃，因为操作系统阻止程序访问那些没有授权的内存区域。

原创 第九章：Dynamic Symbolic Execution

可以计算出z14z=14z14并且 z 的 state 应该是2∗y02*y_02∗y0​。

原创 第六章：Property-based Testing and Test Oracles

这对于复杂领域特别有用，在这些领域中，自动推导预期输出所需的过程与程序本身一样复杂，并且手动推导需要具备测试工程师不太可能具备的专业知识。例如，数据库的一个简单启发规则是，当向表中插入新记录时，**该表中记录的数量应增加1。solved samples 指的是那些已知结果的测试案例，这些结果通常是由专家提供的，或者是通过可靠方法获得的，以确保其准确性。为了进行变态测试，我们生成一个程序输入，并执行此输入，然后生成另一个与第一个输入相关联的输出。相关联，它们通过我们的程序运行后，它们的输出将由另一种属性。

原创 第五章：Testing Modules

所以，不能孤立地测试 push 这个操作，要测试 push 这个 function，我们就必须借助其他的 funciton 或者模块（例如 isFull, isEmpty）为 push 的行为提供可观察性，来提高 testability.按照之前的知识，如果我们要测试一个 funciton 或者模块，我们根据其输入的参数设计等价类，并选用合适的 test case，然后我们可以根据预期的输出来观察 funciton 运行的结果。从封装在模块中数据子集派生出来的自动机的状态以及自动机的转换即为该模块的操作。

原创 第四章：Coverage-based testing

从一个值 x 的定义（即变量的赋值操作）到该值的使用（即变量被读取或进一步操作的地方），路径上不会再有对这个值的重新定义。换句话说，变量的值在这条路径上没有被修改过。对于All-Defs准则，我们要求从变量的所有定义到该变量的单个使用之间存在一条。例如，考虑以上数据流图为了满足All-Defs标准，测试套件需要至少测试一条从 x 的单个定义到至少一个使用的路径。每个新的定义(x) 到至少一次调用的路径。一个测试用例就足够了。路径1、2、4、6或者路径1、3、4、5都是可以接受的。

原创 第三章：boundary-value analysis

这是因为按照正常的情况，两个 on point 都应该在 boundary 上（在黑色的直线上），但是粉色偏移发生后，棕色的点并未穿过粉红色的线，因此可以检测出偏移。同样的，这种基于等式的 boundary 仍然需要两个 off point 的点来检测这个 boundary 的平行移动，由于在不等式中， off point 只负责在 D1 变大 的情况下检测到偏移（单侧的情况）因此在不等式中只需要一个 off point，而在等式中，需要。例如，如果字符串变量的等价类为“不包含空格”，则测试。

原创 第二章：input partitioning

input partitioning 分为 domain testing (白盒测试，主要注重边界情况) 和 equivalence partitioning （黑盒测试方法）当等价类划分有重叠的情况，有两种方法：将重叠的等价类部分单独构建等价类采用 combining partition 的方法单独将重叠的等价类划分出来通常并不是最好的做法，因为这会导致测试用例的数量急剧增加，许多测试用例可能会对相同的代码路径进行测试，从而浪费资源。

原创 第一章 introduction to software testing

一旦准备好可执行的测试用例，下一步是在被测程序上执行测试输入，**并记录软件的实际行为。**例如，记录功能测试输入产生的输出，或者测量执行性能测试输入所需的时间。也就是说 testing 是为了发现 difference between specification and implementation。问题在于大多数程序员和质量保证人员没有具备证明程序正确性所需技能。testing 和 debug 是不同的。这句引语表明测试的目的是为了。并且不能用来证明实现是正确的。，并消除或修复它们。

原创 日常学习之：如何基于 OpenAI 构建自己的向量数据库

下图来源于博客。

原创 mac os M1 安装并启动 postgreSQL 的问题

【代码】mac os M1 安装并启动 postgreSQL 的问题。

原创 本地 Django 部署 Heroku的时候某个 / 某些数据库显示总是无法创建成功 relation “nnsh_backend_new_userinfo“ does not exist LINE

一个最粗暴的方法，也是我采用的方法（因为我的数据还在测试阶段，所以不重要），就是直接删除 Heroku 上的项目数据库，然后重新 makemigrations 和 migrate。这里的 userinfo 就是我说的 table3，在 admin 界面能看到，但是你就是无法操作。你之前部署了项目 A，里面包含了两个数据库的表 table1 和 table2，他们都顺利部署。然后你相加一些功能，于是又创建了一张表 table3。假设你有一个项目 A。

原创 Heroku 部署有关 opencv 的 Django 后端应用（pdf2docx)

滚动到 “Buildpacks” 部分，然后点击 “Add buildpack”。我使用 heroku 部署了一个 Django 后端项目，里面使用了。表示你的应用试图加载一个动态链接库（shared library）在你的应用页面，点击 “Settings” 标签。登录到你的 Heroku 账户并打开你的应用。按键创建的 application 的名称。然后点击 “Save changes”。是你在 Heroku 上通过。，但是在运行环境中没有找到。库，通常由显卡驱动提供。这个问题发生在试图导入。

原创 Django中如何正确使用 redis & 如何在 Heroku 部署 Django时使用 Redis

你需要在你的配置中指定一个。作为后端来实现此功能。首先确保电脑中安装了。

原创 如何在 Django框架下完成 websocket 连接 & 在 Heroku 上部署 websocket 应用

基于 HTTP 握手： 创建 Websocket 连接需要通过 HTTP 协议进行一次握手。支持多种协议： Daphne 支持 HTTP/1.1、HTTP/2 和 WebSocket 这三种协议，对于需要实时通信的 web 应用来说这是非常重要的。对长连接和 WebSocket 有良好的支持： ASGI 支持异步 IO，因此非常适合处理长连接、WebSocket 连接，以及其他需要并发处理的场景。在 Django 中，默认是使用 WSGI 的应用，因此为了配置 ASGI 应用，我们需要进行以下文件的改变。

原创 Heroku 实践：如何成功将 Vue.js 的前端内容部署到 Heroku

命令后，Vue CLI 会让你选择一个预设。如果你需要更复杂的配置，例如包含Vuex或Vue Router，你可以选择"Manually select features"然后手动选择Vue 2以及你需要的其他选项。如果在Heroku部署成功没有显示任何页面，并且没有任何错误信息，可能是由于几个原因导致的。查看Heroku日志： 即使Heroku没有直接在应用页面上显示错误，也可能在它的日志中有更多的信息。当你推送到 Heroku时，Heroku会自动运行这个构建命令来创建你的Vue.js应用。

原创 避坑指南：当你将 Django 项目部署到 Heroku 你需要避多少坑？

跨域问题，用解决，要对应修改中的部分Procfile注意没有后缀，是部署的程序启动文件，也可以负责 heroku 端数据库的迁移操作一定写全，指定好python版本跟着官网指导的写，但是注意数据库部分的定义；同时记得首先在 heroku 的Overview中把Postgres数据库手动设置好，要不然数据库调用失败。

原创 如何搭建一个实时对话转录应用（类似zoom中的文本转录功能）并部署到 Heroku

【代码】日常学习之：如何搭建一个实时对话转录应用（类似zoom中的文本转录功能）并部署到 Heroku。

原创 NLP——Ethics伦理

数据偏见：NLP系统通常通过学习大量的语言数据来训练，如果这些数据包含偏见，如性别、种族、年龄、宗教等方面的偏见，那么这些偏见可能会被NLP系统学习并放大，从而影响系统的决策和推荐。偏见和歧视：对于语言的标签可能引发和加强偏见和歧视。误解和误分类：工具可能无法完全准确地理解和分类语言，这可能导致误解和误分类，从而引发一系列的问题，如误导研究，引发误会，或者伤害到被误分类的人。隐私保护：在NLP中，用户的语言数据通常被用来训练模型，如果没有得到适当的处理和保护，可能会泄露用户的隐私信息。

原创 NLP——Summarization

为了训练这些模型，我们使用的数据的类型也不同，其中一种就是： 将文章的第一句话作为 document，summary 就是文章的题目G 是A 是生成的summary。