需要阐明：将单个或者多个 Excel 文件数据进行去重操作，去重的列能够通过自定义制订。
【浏览全文】
开始源码阐明之前，先阐明一下工具的应用过程。
1、筹备须要去重的数据文件。
2、应用工具执行去重操作。
3、解决实现后的后果文件。
PyQt5 界面 UI 相干的模块援用
from PyQt5.QtWidgets import *
from PyQt5.QtGui import *外围组件
from PyQt5.QtCore import *主题款式模块援用
from QCandyUi import CandyWindow在这个利用中应用一个默认的杨氏模块 QCandyUi，能够扭转整个利用的主题色彩设计不必一个控件一个控件的去批改款式。有一个不好的中央就是利用自身设置的题目和利用图标不能失效，必须利用这个款式控件 CandyWindow 来批改，就像上面这样须要将咱们本人写的 UI 空间放到外面。
# w = CandyWindow.createWindow(EDataDel(), theme='blueGreen', title='Excel 批数据去重器 公众号：[Python 集中营]',
# ico_path='数据去重.ico')
# w.show()利用操作相干模块
import sys
import osExcel 数据处理模块
import pandas as pd
import openpyxl as pxlUI 界面布局设计、信号量槽函数绑定实现
class EDataDel(QWidget):
def __init__(self):
super(EDataDel, self).__init__()
self.init_ui()
def init_ui(self):
self.brower = QTextBrowser()
self.brower.setReadOnly(True)
self.brower.setFont(QFont('微软雅黑', 8))
self.brower.setPlaceholderText('解决过程展现区域...')
self.brower.ensureCursorVisible()
form = QFormLayout()
self.file_paths = QLineEdit()
self.file_paths.setReadOnly(True)
self.file_paths_btn = QPushButton()
self.file_paths_btn.setText('加载批文件')
self.file_paths_btn.clicked.connect(self.file_paths_btn_click)
self.colums_label = QLabel()
self.colums_label.setText('自定义去反复列')
self.colums_text = QLineEdit()
self.colums_text.setPlaceholderText('列名 1, 列名 2, 列名 3,...')
form.addRow(self.file_paths, self.file_paths_btn)
form.addRow(self.colums_label, self.colums_text)
self.work = DataWork(self)
self.work.trigger.connect(self.update_log)
self.work.finished.connect(self.finished)
vbox = QVBoxLayout()
self.start_btn = QPushButton()
self.start_btn.setText('开始执行')
self.start_btn.clicked.connect(self.start_btn_click)
vbox.addLayout(form)
vbox.addWidget(self.start_btn)
hbox = QHBoxLayout()
hbox.addWidget(self.brower)
hbox.addLayout(vbox)
self.setLayout(hbox)
def file_paths_btn_click(self):
paths = QFileDialog.getOpenFileNames(self, '抉择文件', os.getcwd(), 'Excel Files(*.xlsx)')
files = paths[0]
path_strs = ''
for file in files:
path_strs = path_strs + file + ';'
self.file_paths.setText(path_strs)
if self.file_paths.text().strip() != '':
self.update_log('曾经实现批文件门路加载！')
else:
self.update_log('没有抉择任何文件！')
def save_dir_btn_click(self):
directory = QFileDialog.getExistingDirectory(self, '抉择文件夹', os.getcwd())
self.save_dir.setText(directory)
def update_log(self, text):
cursor = self.brower.textCursor()
cursor.movePosition(QTextCursor.End)
self.brower.append(text)
self.brower.setTextCursor(cursor)
self.brower.ensureCursorVisible()
def start_btn_click(self):
self.start_btn.setEnabled(False)
self.work.start()
def finished(self, finished):
if finished is True:
self.start_btn.setEnabled(True)创立子线程，解决业务逻辑（清理 Excel 反复文件）
class DataWork(QThread):
trigger = pyqtSignal(str)
finished = pyqtSignal(bool)
def __init__(self, parent=None):
super(DataWork, self).__init__(parent)
self.parent = parent
self.working = True
def __del__(self):
self.working = False
self.wait()
def run(self):
self.trigger.emit('启动批量解决子线程...')
file_paths = self.parent.file_paths.text().strip()
colums_text = self.parent.colums_text.text().strip()
colums = []
if ',' in colums_text:
colums = colums_text.split(',')
else:
colums.append(colums_text)
self.trigger.emit('获取配置项实现！')
for file in file_paths.split(';'):
if file.strip() != '':
web_sheet = pxl.load_workbook(file)
sheets = web_sheet.sheetnames
print(file)
new_file = file.split('.')[0] + '_已去重.' + file.split('.')[1]
print(new_file)
writer = pd.ExcelWriter(new_file)
for sheet in sheets:
sheet_name = sheet.title()
print(sheet_name)
self.trigger.emit('筹备解决工作表名称：' + str(sheet.title()))
data_frame = pd.read_excel(file, sheet_name=sheet_name)
print(data_frame)
repe = data_frame.duplicated(subset=colums)
repe = repe[repe]
print(data_frame.iloc[repe.index])
res = data_frame.drop_duplicates(subset=colums)
print(res)
self.trigger.emit(str(sheet.title()) + '：已革除')
res.to_excel(writer, sheet_name, index=False)
writer.save()
else:
self.trigger.emit('以后文件门路为空，持续...')
self.trigger.emit('数据处理实现...')
self.finished.emit(True)应用主函数启动整个利用
if __name__ == '__main__':
app = QApplication(sys.argv)
w = CandyWindow.createWindow(EDataDel(), theme='blueGreen', title='Excel 批数据去重器 公众号：[Python 集中营]',
ico_path='数据去重.ico')
w.show()
sys.exit(app.exec_())
【往期精彩】
再见 XShell，这款国人开源的终端命令行工具更 nice！
python 表情包下载器，轻松下载上万个表情包、斗图不必愁 …
Python 主动清理电脑垃圾文件，一键启动即可 …
有了 jmespath，解决 python 中的 json 数据就变成了一种享受 …
解锁一个新技能，如何在 Python 代码中应用表情包 …
万能的 list 列表，python 中的堆栈、队列实现全靠它！
该怎么用 pyqt5 来实现数据的增、删、改、查性能 …
python 批量主动整顿文件
介绍一个文本语音神器，几行代码就能搞定！
初学者福利：分享五个收费的 Python 学习网站，放松珍藏吧！
乏味的控制台玩法：一行代码绘制控制台图像！
数据处理小工具：Excel 批量数据文件拆分 / 整合器 …