pandas groupby to csv

功能

张表有两列字段,site和月份,现在需要根据这两个字段把csv拆成不同的csv,放到对应的文件夹中,比如site=4001/date=2017-01-01/下面只放对应数据的csv

文本格式 test_dome.csv

date,site
2017-01-01,4001
2017-01-01,4001
2017-01-01,4001
2017-01-01,4001
2017-01-01,4001
2017-01-01,4001
2017-01-01,4001
2017-01-01,4001
2017-01-01,4001
2017-01-01,5001

代码实现

#!/usr/bin/env python
# -*- coding: utf-8 -*-
'''
@File  : ReadExcel.py
@Author: piepis
@Date  : 2022/8/2
@Desc  :
'''


if __name__ == '__main__':
    input_filePath ="test_model.csv"  #读取表路径
    import pandas as pd
    import os
    data= pd.read_csv(input_filePath)
    groups = data.groupby(['data', 'site'])
    for group_key, group_value in groups:
        group = groups
如果你想把分组后的数据保存为CSV文件而不是Excel文件,你可以使用pandas的`to_csv`函数代替`to_excel`。以下是相应的修改版本: ```python import os import pandas as pd split_key = '外部ID' # 按照指定的key列进行分组 grouped = df_resultE.groupby(split_key) # 用于记录拆分后文件的序号 file_index = 1 # 用于记录每个文件已写入的行数 row_count = 0 # 每个文件的最大行数限制 max_rows_per_file = 25000 # 拆分后文件保存的目录,若不存在则创建 output_dir = 'split_files' if not os.path.exists(output_dir): os.makedirs(output_dir) csv_writer = None for key, group in grouped: # 如果当前文件的行数已经超过最大限制,则新建一个文件 if row_count >= max_rows_per_file: file_index += 1 row_count = 0 # 构造输出文件名 output_file = os.path.join(output_dir, f'split_{file_index}_{key}.csv') # 如果是新文件,关闭之前的CSV写入器(如果存在的话),然后初始化一个新的 if row_count == 0 and csv_writer is not None: csv_writer.close() csv_writer = open(output_file, 'w', newline='', encoding='utf-8') # 将分组数据写入CSV文件 group.to_csv(csv_writer, index=False) # 更新已写入的行数 row_count += len(group) # 最后别忘了关闭最后一个CSV文件 if csv_writer is not None: csv_writer.close() ``` 在这个版本中,我们使用了`open`函数创建一个CSV文件,然后在每次开始新文件前关闭之前打开的文件,并用`to_csv`将数据写入新的CSV。最后记得在循环结束后关闭最后一个文件。
评论
添加红包

请填写红包祝福语或标题

红包个数最小为10个

红包金额最低5元

当前余额3.43前往充值 >
需支付:10.00
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包

打赏作者

piepis

你的鼓励将是我创作的最大动力

¥1 ¥2 ¥4 ¥6 ¥10 ¥20
扫码支付:¥1
获取中
扫码支付

您的余额不足,请更换扫码支付或充值

打赏作者

实付
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值