将文本数据分组，并一次放入不同文件

发表于： 分类于：
字数： 1266 阅读：≈ 3分钟 浏览： 评论： 0
温馨提醒
🚀 注意啦！这篇文章来自6 年 3 天 以前，可能已跟不上时代的步伐。阅读时请自备时光机，小心穿越哦！
总结摘要
python处理文本数据

场景

现在手头有这样的一个任务：

  • 一个文本文件内，每一行有一串 16进制 数字，一共有577行；
  • 某程序会用到这些16进制数字，但是只能一次从一个文本文件中，读取100行，才能保证稳定和效率；
  • 保证数据没有重复，并且按照降序排列；
  • 所以，我们需要把这些数字，分组放置到多个个文件中去，这样程序才能正确的处理；

要处理的577行数据

 1
 2
 3
 4
 5
 6
 7
 8
 9
10
11
12

ffffffffffff
000000000000
a0a1a2a3a4a5
b0b1b2b3b4b5
c0c1c2c3c4c5
d0d1d2d3d4d5
--- skip ---
d3f7d3f7d3f7
5a1b85fce20a
714c5c886e97
587ee5f9350f
... ...

思路

也就是说，每一个新的文本文件内，只含有100行数据 接下来，我们需要让 python 脚本作如下的事情

  1. 打开要处理的文件，先把内容用 readlines()，数据被组织成列表，去重排序；
  2. 创建新的文件,用到 open(“file”, ‘w’)；
  3. 文件名称的最后，加上不同的数字，按顺序增加；
  4. 每创建一个新文件，写入100行；然后把在列表中，删除掉已经写入的部分；

代码实例

① 将要处理的数据，读取出来； 

1
2
3

#!python3
with open("stds.keys") as file: 
	all_keys = file.readlines()

② 根据任务需要，我要先去除重复数据,降序排列，再交给接下来的函数去写入不同的新文件； 

1
2
3

tmp = list(sorted(set(all_keys), reverse=True))
>>> 交给写好的 separate() 函数去处理，
separate(tmp, 100)

③ 函数中的代码，会根据列表的中的数据多少，每个文件写入多少数据，生成合理新文件数量； 

 1
 2
 3
 4
 5
 6
 7
 8
 9
10
11
12
13
14
15
16
17
18
19
20
21
22
23

>>> 这里我用了logging模块来调试
logging.basicConfig(level=logging.DEBUG, format="%(asctime)s - [%(levelname)s] - %(message)s")
#logging.disable(logging.CRITICAL)
def separate(key_list, write_key_num):
	logging.info("开始处理")
	logging.debug("密钥数量： %d " % (len(key_list)))

	>>>  根据密钥总数 / 每个文件写入的行数，向上取整，得到生成文件的数量 num
    >>> 现在 num = 6
	num = math.ceil(len((key_list)) / write_key_num)
    logging.debug("生成文件数量: %d" % (num))
	for fileNum in range(num):
		with open("extend_%s.keys" % (fileNum + 1), 'w') as key_file:
			key_file.write("#keys\n")
			
			for key in key_list[:99]:
				key_file.write(key)

			try:
				del key_list[:99]
				logging.debug("剩余 %d 密钥未写入文件", len(key_list))
			except Exception as e:
				raise e

这里需要注意的是，range(num) 会生成 0~5 的数字 所以，会依次生成 6 个新文件，为了保证文件名的不同 每个新文件名字里，都加入了一个序号

with open(“extend_%s.keys” % (fileNum + 1), ‘w’) as key_file:

要记得给 fileNum + 1 ，不然文件名的后缀，就会从 0 开始 ，一直到 5，而我们需要的是 6.

最后整理&效果 

 1
 2
 3
 4
 5
 6
 7
 8
 9
10
11
12
13
14
15
16
17
18
19
20
21
22
23
24
25
26
27
28
29
30
31
32
33
34
35
36
37
38
39
40

#!python3
#filter.py - 把文件中的内容分割，然后分别保存到几个文件中

import logging
import math
logging.basicConfig(level=logging.DEBUG, format="%(asctime)s - [%(levelname)s] - %(message)s")
#logging.disable(logging.CRITICAL)

def separate(key_list, write_key_num):
	logging.info("开始处理")
	logging.debug("密钥数量： %d " % (len(key_list)))
	
	num = math.ceil(len((key_list)) / write_key_num)
	logging.debug("生成文件数量: %d" % (num))
	for fileNum in range(num):
		with open("extend_%s.keys" % (fileNum + 1), 'w') as key_file:
			key_file.write("#keys\n")

			for key in key_list[:99]:
				key_file.write(key)
			try:
				del key_list[:99]
				logging.debug("剩余 %d 密钥未写入文件", len(key_list))
			except Exception as e:
				raise e
			
	logging.info("Done!")
def main():
	#打开要处理的文件
	with open("stds.keys") as file:
		#到 all_keys 
		all_keys = file.readlines()
	tmp = list(sorted(set(all_keys), reverse=True))

	#交给函数处理，根据密钥数量，保存到多个文件中
	separate(tmp, 100)
	print("处理完成！")

if __name__ == '__main__':
	main()

运行调试

好了，数据组织好了。 最然真实的数据不会这么整齐，简单； 我主要的总结的方法，是如何一次生成多个文件，并且保证文件名有序 也许还可以把文件名，放到一个列表中，然后用 random 模块，随机命名 在某些场景下也许用的到。