网络爬虫与数据采集-自动获取IMDB Top 250电影信息
该爬虫采集的是IMDb(Internet Movie Database)上的数据“https://www.imdb.com/chart/top/”,该网站无需登陆帐号,以及较弱的反爬机制使其能作为上手实现简单爬虫程序的案例。程序中使用Selenium进行网页自动化,确保能获取到动态加载的内容,以及包含了完整的错误处理机制,最终能将爬取的网页数据按Excel格式导出。—— 补充:如果想用自己浏览器的headers信息,可以打开任意网页后,通过F12打开网页的开发者工具,然后点击“Network”,接着在“Name”标签页点击任意项,然后在弹出的右端标签页中点击“Headers”即可看到自己的电脑浏览器像服务器发送请求时的请求头。
利用Gurobi求解供应网络设计问题代码
利用Gurobi求解供应网络设计问题,在已有条件下,设计能满足客户需求的最低成本流网络,更进一步的,为了能实现更好的网络性能,网络设计问题需要考虑到网络节点的选址问题。该资源通过 jupyter notebook 文件展示,适用于运筹学和Gurobi的入门学习。
利用Gurobi求解人员配置规划问题代码
人员配置规划问题是在制造业和服务业中很常见的规划问题,需要在多种实际条件下最小化整个规划期内的总裁员人数或最小化总成本。考虑的因素包括:对不同熟练程度的劳动力的需求预测、不同工作年限的员工的自然流失率、可外聘的不同熟练程度的劳动力数量、可投成本对员工进行重新培训或者遣散、为了保证队伍稳定性可以花费额外成本雇佣多余员工等等。该资源通过 jupyter notebook 文件展示,适用于运筹学和Gurobi的入门学习。
利用Gurobi求解农场生产规划问题代码
利用Gurobi求解农场生产规划问题,在一定约束条件下最大化生产利润。该资源通过 jupyter notebook 文件展示,适用于运筹学和Gurobi的入门学习。
利用Gurobi求解工厂生产规划问题代码
利用Gurobi求解工厂生产规划问题,通过运筹模型决策生产计划,如必须生产哪些产品,以及投入哪些资源生产多少这些产品,以便最大化利润或最小化成本;而实际的生产作业是复杂的,在示例2中,为保证生产设备持续安全运作,为设备维护提出要求,在满足维护要求最优化目标。该资源通过 jupyter notebook 文件展示,适用于运筹学和Gurobi的入门学习。
利用Gurobi求解设施选址问题(也被称为位置分析)代码
利用Gurobi求解设施选址问题(也被称为位置分析),这是运筹学和计算几何的一个重要分支,此类问题的常见目标是最大限度地降低运输成本。该资源通过 jupyter notebook 文件展示,适用于运筹学和Gurobi的入门学习。
利用Gurobi求解发电需求覆盖(机组投入)问题代码
利用Gurobi求解发电问题(也称为机组投入问题),选择一组最佳发电站来满足24小时内的预期电力需求,并扩展添加了使用水力发电厂来满足需求的问题。该资源通过 jupyter notebook 文件展示,适用于运筹学和Gurobi的入门学习。
结合k-means聚类算法和Gurobi求解含需求分配的设施选址问题代码
该资源利用Gurobi求解含需求分配的设施选址问题,由于分配问题对解空间的影响极大,因此考虑用k-mean先对需求进行聚类,并默认需求集群中的所有需求点由该集群对应的设施提供服务。资源通过 jupyter notebook 文件展示,适用于运筹学和Gurobi的入门学习。
利用Gurobi求解手机信号塔 cell-tower 最优覆盖问题代码
基于Gurobi求解手机信号塔覆盖问题,通过 jupyter notebook 文件展示,适用于运筹学和Gurobi的入门学习。
利用Gurobi求解三维井字棋游戏优化问题代码
基于Gurobi求解三维井字棋游戏的约束规划问题,通过 jupyter notebook 文件展示,适用于运筹学和Gurobi的入门学习。
CLUENER2020 细粒度命名实体识别数据集
CLUENER2020数据集,是在清华大学开源的文本分类数据集 THUCTC 基础上,选出部分数据进行细粒度命名实体标注,原数据来源于Sina News RSS。数据包含10个标签类别,训练集共有10748条语料,验证集共有1343条语料。
NER命名实体识别任务:Boson 数据集
Boson数据集是玻森数据提供的命名实体识别数据,标注形式为BMEO,共有2000条语料。
NER命名实体识别任务:MSRA 简体中文数据集
MSRA 数据集由训练集 msra_train_bio 和测试集组成 msra_test_bio,没有提供验证集。训练样本有45000个,测试样本有3442个。数据集包含三类实体:人员、组织、地点和其他,对应的缩写标签为PER、ORG、LOC、O。
批量重命名文件夹下的文件
该代码展示如何读取文件夹下的文件以及如何对文件名进行修改,具体的修改逻辑可以自定义配置。
无水印录制电脑屏幕的Python代码
通过python无水印录制电脑录屏,同时还能调节录制视频的清晰程度和录制范围,以及录制时长等。
模拟退火算法求解旅行商问题-TSP最短路问题-Python代码
模拟退火算法(Simulated Annealing,SA)加入了Metropolis函数,该函数值决定了算法接受一个更劣解的概率,这个机制能帮助算法跳出局部最优。
本案例中以31个节点的测试数据做演示,基于简单的邻域搜索策略实现模拟退火,并将最终结果画图展示,本案例非常适合初学者学习,欢迎下载
约束求解器的测试问题库CSPLib
CSPLib是约束规划求解器的测试问题库,截至2024年5月,该库按主题领域收录了133个约束规划的测试案例,CSPLib 的现任主编和维护者是Chris Jefferson和Özgür Akgün。
基于Python的图搜索算法实现:广度优先搜索BFS,Dijkstra 算法,贪心最佳优先搜索,A*搜索
该代码实现了广度优先搜索BFS,Dijkstra 算法,贪心最佳优先搜索,A*搜索,并提供了将搜索结果画图展示的接口。
在入口文件处,提供了如何调用各类算法的例子以及演示了使用画图接口的方法。
Python调用COPT实现列生成算法求解切割下料问题
本代码通过Python调用COPT,实现了列生成求解下料问题。模型是常见的列生成的案例模型,本代码的价值在于构建了清晰易复用的CG框架,能够根据具体的问题(修改主问题、子问题)而直接套用求解。
Python调用Gurobi实现列生成算法求解切割下料问题
本代码通过Python调用Gurobi,实现了列生成求解下料问题。模型是常见的列生成的案例模型,本代码的价值在于构建了清晰易复用的CG框架,能够根据具体的问题(修改主问题、子问题)而直接套用求解。
SMT-2020:半导体制造测试模型 Semiconductor Manufacturing Testbed
该资源包含了SMT2020的半导体制造测试数据,以及基于该测试数据衍生的测试模型文件(需要自行导入到 AutoSched AP 仿真软件当中才能输出仿真结果)。
内含两个维度(容量的高低、混合加工的产品数的多少)的四份不同模型,以及独立于仿真之外的Excel数据文件,可以进行学习研究。
基于贪心随机自适应搜索算法(GRASP)解决TSP问题(Python)
此代码包用贪心随机自适应搜索(Greedy Randomized Adaptive Search,GRASP)解决TSP问题(附带实验数据),返回的结果包括TSP的访问城市的序列,以及求解方案的总路程(欧式举例,可自定义),输出的结果图中,红色点代表初始城市,橙色点代表第二个城市,用以标识TSP的出发方向。
适合于学习自适应搜索算法,以及研究路径问题。
圣诞主题的贺卡程序(基于Python代码)
运行主程序"ChristmasFinal.py",进入用户界面,可以选择画圣诞树、画冰墩墩、给”snow.jpg“加雪花特效(自行更换图片)。
三个圣诞礼物的生成代码分别为”ChristmasTree.py“,”DrawBDD.py“,”drawSnow.py“,修改相应的参数可以到这些文件下修改,保存后重启进入用户界面。
混合整数规划测试问题集:MIPLIB 2017
该测试问题集包含了多个标准问题的mps文件,由德国科研机构 Zuse Institute Berlin 维护,是混合整数规划领域最重要的问题集,常常被作为求解器性能评测的标杆。
JSP测试数据集:Demirkol数据集(Ebru Demirkol, Sanjay Mehta, Reha Uz, 1998)
JSP的标准测试数据集,包含80个算例。数据来源:Ebru Demirkol, Sanjay Mehta, Reha Uzsoy. "Benchmarks for shop scheduling problems", European Journal of Operational Research, 109(1), 1998, pp. 137-141.
JSP测试数据集:TA数据集(E. Taillard, 1993)
JSP的标准测试数据集,包含80个算例(ta01~80)。数据来源:E. Taillard. "Benchmarks for basic scheduling problems", European Journal of Operational Research, Vol. 64, Issue 2, pp. 278-285, 1993.
JSP测试数据集:YN数据集(. Yamada, R. Nakano, 1992)
JSP的标准测试数据集,包含4个算例(yn01~04)。数据来源:T. Yamada, R. Nakano. "A genetic algorithm applicable to large-scale job-shop problems.", Proceedings of the Second international workshop on parallel problem solving from Nature (PPSN'2). Brussels (Belgium), pp. 281-290, 1992.
JSP测试数据集:SWV数据集(R.H. Storer, S.D. Wu, R. Vaccari, 1992)
JSP的标准测试数据集,包含20个算例(swv01~20)。数据来源:R.H. Storer, S.D. Wu, R. Vaccari. "New search spaces for sequencing problems with applications to job-shop scheduling.", Management Science Vol. 38, Issue 10, pp. 1495-1509, 1992.
JSP测试数据集:ORB数据集(D. Applegate, W. Cook, 1991)
JSP的标准测试数据集,包含10个算例(orb01~10)。数据来源:D. Applegate, W. Cook. "A computational study of job-shop scheduling.", ORSA Journal on Computer, Vol. 3, Isuue 2, pp. 149-156, 1991.
JSP测试数据集:LA数据集(S. Lawrence, 1984)
JSP的标准测试数据集,包含40个算例(la01~40)。数据来源:S. Lawrence. "Resource constrained project scheduling: an experimental investigation of heuristic scheduling techniques (Supplement).", Graduate School of Industrial Administration. Pittsburgh, Pennsylvania, Carnegie-Mellon University, 1984.
JSP测试数据集:FT数据集(J.F. Muth, G.L. Thompson, 1963)
JSP的标准测试数据集,包含3个算例。数据来源:J.F. Muth, G.L. Thompson. "Industrial scheduling.", Englewood Cliffs, NJ, Prentice-Hall, 1963.
JSP测试数据集:ABZ数据集(Adams, E. Balas, D. Zawack, 1988)
JSP的标准测试数据集,包含5个算例(ABZ5~9)。数据来源:Adams, E. Balas, D. Zawack. "The shifting bottleneck procedure for job shop scheduling.", Management Science, Vol. 34, Issue 3, pp. 391-401, 1988.
FJSP测试数据集:Hurink数据集(Hurink, B. Jurisch, & M. Thole, 1994)
FJSP的标准测试数据集,内部包含4个子数据集(edata/rdata/sdata/vdata),每个子数据集分别包含66个算例,这些子数据集由JSP标准测试数据集修改而来(ABZ/FT/LA/ORB)。数据来源:Hurink, B. Jurisch, and M. Thole, “Tabu search for the job-shop scheduling problem with multi-purpose machines,” Operations-Research-Spektrum, vol. 15, no. 4, pp. 205–215, 1994.
其中,sdata算例中每个工序只能分配一台机器;edata算例中有少量工序可以分配给多台机器;rdata算例中许多工序都可以分配给多台机器;vdata算例中每个工序都可以分配给多台机器。
FJSP测试数据集:Dauzere数据集(S. Dauzère-Pérès & J. Paulli, 1994)
FJSP的标准测试数据集,包含18个算例。数据来源:S. Dauzère-Pérès and J. Paulli. Solving the General Multiprocessor Job-Shop Scheduling Problem. Technical report, Rotterdam School of Management, Erasmus Universiteit Rotterdam, 1994.
FJSP测试数据集:Brandimarte数据集(P. Brandimarte, 1993)
FJSP的标准测试数据集,包含10个算例。数据来源:P. Brandimarte. Routing and Scheduling in a Flexible Job Shop by Tabu Search. Annals of Operations Research, 41(3):157–183, 1993.
FJSP测试数据集:Barnes数据集(B. Chambers & J. W. Barnes, 1996)
FJSP的标准测试数据集,包含21个算例。数据来源:B. Chambers and J. W. Barnes. Flexible Job Shop Scheduling by Tabu Search. The University of Texas, Austin, TX, Technical Report Series ORP96-09, Graduate Program in Operations Research and Industrial Engineering, 1996.
CVRP测试数据集:Augerat Set-P(1995)
CVRP问题的经典测试数据。
数据文件名形如 P-n16-k8,其中 n 后跟着测试问题的节点数,k 后跟着问题的最大车辆数。
CVRP测试数据集:Christofides, Mingozzi, Toth Set-M(1979)
CVRP问题的经典测试数据。
数据文件名形如 M-n101-k10,其中 n 后跟着测试问题的节点数,k 后跟着问题的最大车辆数。
CVRP测试数据集:Fisher Set-F(1994)
CVRP问题的经典测试数据。
数据文件名形如 F-n45-k4,其中 n 后跟着测试问题的节点数,k 后跟着问题的最大车辆数。