Sanpu_Surface/report.py

import pandas as pd
import numpy as np
import time
import public as pb
import openpyxl
import matplotlib.pyplot as plt
from scipy.stats import spearmanr
# import tkinter as tk
# from tkinter import ttk
from tkinter import filedialog
from tkinter import messagebox
from openpyxl import load_workbook
from openpyxl.drawing.image import Image as OImage
import os
import re
import ttkbootstrap as ttk
from ttkbootstrap.constants import *
from PIL import Image, ImageTk
from ttkbootstrap.dialogs import Messagebox
import plotly.graph_objects as go
import plotly.io as pio
from sklearn.linear_model import LinearRegression
from openpyxl.worksheet.hyperlink import Hyperlink
from scipy.ndimage import gaussian_filter1d
from scipy.stats import norm
from plotly.subplots import make_subplots
import docx
from docx import Document
from docx.shared import Inches
from docx.oxml import OxmlElement, ns
from docx.shared import Pt, RGBColor
from docx.oxml.ns import nsdecls, nsmap
from docx.oxml import parse_xml
from docx.enum.dml import MSO_THEME_COLOR_INDEX
from docx import Document
from docx.opc.constants import RELATIONSHIP_TYPE as RT
from docx.enum.table import WD_TABLE_ALIGNMENT, WD_CELL_VERTICAL_ALIGNMENT
from docx.oxml.ns import qn
from docx.enum.text import WD_ALIGN_PARAGRAPH
# 显示所有数据
pd.set_option('display.width', 10000) # 设置字符显示宽度
pd.set_option('display.max_rows', None) # 设置显示最大行
pd.set_option('display.max_columns', None) # 设置显示最大列，None为显示所有列

# 设置字体
# 设置字体 微软雅黑 新罗马 加粗
plt.rcParams['font.family'] = ['Times New Roman', 'Microsoft YaHei']
# 设置字体加粗
font = {'weight': 'bold'}
plt.rc('font', **font)  # 应用字体设置


indexClassificationList = {
    '物理指标': ['pH', '土壤质地', '土壤容重1（g/cm³）', '土壤容重2（g/cm³）', '土壤容重3（g/cm³）',	'土壤容重4（g/cm³）',	'土壤容重平均值（g/cm³）',
                 '2~0.2mm颗粒含量', '0.2~0.02mm颗粒含量',	'0.02~0.002mm颗粒含量',	'0.002mm以下颗粒含量', '水稳>5mm（%）',	'水稳3mm~5mm（%）',
                 '水稳2mm~3mm（%）',	'水稳1mm~2mm（%）',	'水稳0.5mm~1mm（%）',	'水稳0.25mm~0.5mm（%）',	'水稳性大团聚体总和（%）', '洗失量（吸管法需填）', '风干试样含水量（分析基）'],
    '常规养分指标': ['有机质', '全氮', '全磷', '全钾', '有效磷', '速效钾', '有效硫', '有效硼', '有效铁', '有效锰', '有效铜', '有效锌', '有效钼', '有效硅', '缓效钾'],
    '一般化学性指标': ['阳离子交换量', '交换性盐基总量', '交换性钙', '交换性镁', '交换性钠', '交换性钾', '全盐量', '电导率',
                       '水溶性Na⁺含量', '水溶性K⁺含量',	'水溶性Ca²⁺含量',	'水溶性Mg²⁺含量',	'水溶性Cl⁻含量', '水溶性CO₃²⁻含量','水溶性HCO₃⁻含量',
                       '水溶性SO₄²⁻含量', '离子总量', '碳酸钙',
                       '游离铁', '全硫', '全锰', '全锌', '全铜', '全钼', '全硼', '全硒', '全铝', '全硅', '全铁', '全钙', '全镁'],
    '重金属指标': ['总汞', '总砷', '总铅', '总镉', '总铬', '总镍']
}

# 可交互绘图函数
def getInteractiveImg(x,y,label,x1,y1,label1,x2,y2,label2,url,name,xLabel,YLabel,numArr):
    # coef, p_value = spearmanr(x, y)
    # 绘制数据散点图
    fig = go.Figure(data=go.Scatter(
        x=x,
        y=y,
        text=numArr.to_numpy(),
        mode='markers', name=label,
        marker=dict(
            size=4,  # 点的大小
            color='blue',  # 点的颜色
        ))
    )
    # 设置图表布局
    fig.update_layout(
                      title={
                          'text': f"{name}",
                          'xanchor': 'center',  # 控制水平对齐，可选'left', 'center', 'right'
                          'yanchor': 'bottom',  # 控制垂直对齐，可选'top', 'middle', 'bottom'
                          'x': 0.5,  # 控制标题的水平位置，0.5代表中心，可以是小数（相对位置）或整数（像素位置）
                          'y': 0.9  # 控制标题的垂直位置，0.9代表底部，可以是小数或整数
                      },
                      xaxis_title=xLabel,
                      yaxis_title=YLabel)
    if label == 'pH':
        ph_y_f = [7.5 for _ in x]
        ph_y_s = [8.0 for _ in x]
        fig.add_trace(go.Scatter(x=x, y=ph_y_f, mode='lines', name='pH = 7.5', line=dict(
            width=1.5,
            color='#339933',
            dash='dash'  # 设置虚线样式
        )))
        fig.add_trace(go.Scatter(x=x, y=ph_y_s, mode='lines', name='pH = 8.0', line=dict(
            width=2.5,
            color='#339933',
            dash='dash'  # 设置虚线样式
        )))
    if len(x1) > 0 and len(y1) > 0:
        fig.add_trace(go.Scatter(x=x1, y=y1, mode='markers', name=label1, text=numArr.to_numpy(),
                                 marker=dict(
                                    size=4,        # 点的大小
                                    color='red',    # 点的颜色
                                    symbol='hourglass'
                                )))
    if len(x2) > 0 and len(y2) > 0:
        fig.add_trace(go.Scatter(x=x2, y=y2, mode='markers', name=label2, text=numArr.to_numpy(),
                                marker=dict(
                                    size=4,        # 点的大小
                                    color='green',    # 点的颜色
                                    symbol='triangle-up'  # 点的形状，这里设置为正方形
                                )))
    # model = LinearRegression()
    # model.fit(x.to_numpy().reshape(-1, 1), y)  # 用x的平方作为特征值
    # y_pred = model.predict(x.to_numpy().reshape(-1, 1))
    # fig.add_trace(go.Scatter(x=x, y=y_pred, mode='lines', name='拟合直线'))

    html_file_path = f"{url}/{name}.html"
    pio.write_html(fig, file=html_file_path, auto_open=False)
    # 同时保存一份图片
    try:
        print(pio.kaleido.scope.plotlyjs)
        print(f"图片将保存至 " + f"{url}/{name}.png")
        fig.write_image(f"{url}/{name}.png",scale=3, width=800, height=600)
        print(f"图片已成功保存至 "+f"{url}/{name}.png")
    except Exception as e:
        print(f"保存图片时出现错误: {str(e)}")
    # 在文档中中插入html
    # workbook = load_workbook(filename=fileUrl)
    # # 选择一个工作表
    # ws = workbook[sheetName]
    # # 将 HTML 内容作为富文本写入单元格
    # ws[loc] = '=HYPERLINK("file:///{0}","点击查看统计图")'.format(html_file_path)
    # workbook.save(fileUrl)



# 循环确定数据属于哪一个类型
def getDataType(data, list):

    for item in list:
        if str(str(data['原样品编号'])[6:10]) in list[item]:
           data['土地类型归类'] = item

    return data

# 1. 统计样品数量 分类统计：耕地：0101 0102 0103 园地：0201 0202 0203 0204  林地：0301 0302 0303 0304 0305 0306 0307 草地：0401 0402 0403 0404
def getSimpleNum(data):
    """
    :param simpleData: 样品数据
    :return:
    """
    typeList = {
        '耕地园地': ['0101', '0102', '0103', '0201', '0202', '0203', '0204'],
        '林地草地': ['0301', '0302', '0303', '0304', '0305', '0306', '0307', '0401', '0402', '0403', '0404'],
        '商服用地': ['0501', '0502', '0503', '0504', '0505', '0506', '0507'],
        '工矿仓储用地': ['0601', '0602', '0603', '0604'],
        '住宅用地': ['0701', '0702'],
        '公共管理与公共服务用地': ['0801', '0802', '0803', '0804', '0805', '0806', '0807', '0808', '0809', '0810'],
        '特殊用地': ['0901', '0902', '0903', '0904', '0905', '0906'],
        '交通运输用地': ['1001', '1002', '1003', '1004', '1005', '1006', '1007', '1008', '1009'],
        '水域及水利设施用地': ['1101', '1102', '1103', '1104', '1105', '1106', '1107', '1108', '1109', '1110'],
        '其他土地': ['1201', '1202', '1203', '1204', '1205', '1206', '1207']
    }
    # 根据耕地园地、林地草地分类数据，统计不同类型数据数量，生成表格
    newData = pd.DataFrame({})
    for index, row in data.iterrows():
        newRow = getDataType(row, typeList)
        newData =newData._append(newRow)

    # 按照土地类型归类 分类计数
    grouped_df = newData.groupby('土地类型归类')
    counts = grouped_df.size()
    resData = pd.DataFrame({})

    for group_name, group_data in grouped_df:
        # 附表：数量总体统计数据
        res = {
            '类型': group_name,
            '样品编号': group_data['样品编号'].to_list(),
            '数量': counts[group_name],
            '合计': counts.sum()
        }
        newRes = pd.DataFrame(res)
        resData = resData._append(newRes)

    return {
        'sData': counts, # 统计数量
        'allData': resData # 附表总数
    }

# 2.小数修改：进行中
def is_one_decimal_place(num): # 判断是否保留一位小数
    print('检测小数1', num, str(num).count('.') == 1 and len(str(num).split('.')[1]) == 1)
    return (str(num).count('.') == 1 and len(str(num).split('.')[1]) == 1)

def has_two_decimals(num): # 判断是否保留了两位小数
    print('检测小数2', num, str(num).count('.') == 1 and len(str(num).split('.')[1]) == 2)
    return  (str(num).count(".") == 1 and len(str(num).split(".")[1]) == 2)

def three_decimal(num):
    # 不超过三位有效数字
    num = str(num)
    num = num.replace('.', '')
    numLen = 0
    stripped_s = num.lstrip('0')
    if stripped_s and stripped_s[0].isdigit():
        index = num.index(stripped_s[0])  # 加上去除的0的个数
        numLen = len(num[index:])
      # 字符串全为0或不包含数字时
    return numLen

def is_less_than_three_decimals(number): # 不超过3位小数
    # 转换为字符串
    number_str = str(number)
    # 分离整数部分和小数部分
    integer_part, decimal_part = number_str.split('.') if '.' in number_str else (number_str, '')
    # 判断小数部分是否不超过三位
    return len(decimal_part) <= 3

# 保留3位小数
def is_three_decimal(number):
    number_str = str(number)
    # 分离整数部分和小数部分
    integer_part, decimal_part = number_str.split('.') if '.' in number_str else (number_str, '')
    # 判断小数部分是否不超过三位
    return len(decimal_part) == 3

def highlight_condition(s):
    if s['数据审核结果'] != '' and not pd.isna(s['数据审核结果']):
        return ['background-color: #99CC99']*len(s)
    else:
        return ['']*len(s)


def filter_number(arr):
    """
    :param arr:
    :return:
    """
    return pd.to_numeric(arr, errors='coerce')
def getNum(data, url):
    # 读取数据 处理每一项小数保留问题
    oneData = ['2~0.2mm颗粒含量','0.2~0.02mm颗粒含量','0.02~0.002mm颗粒含量','0.002mm以下颗粒含量', '洗失量（吸管法需填）',
               '水稳>5mm','水稳3mm~5mm','水稳2mm~3mm','水稳1mm~2mm','水稳0.5mm~1mm','水稳0.25mm~0.5mm','水稳性大团聚体总和'
               ]
    twoData = ['土壤容重1（g/cm³）','土壤容重2（g/cm³）','土壤容重3','土壤容重4','土壤容重平均值','pH']
    threeData = ['电导率','水溶性钠离子','水溶性钾离子','水溶性钙离子','水溶性镁离子','水溶性碳酸根','水溶性碳酸氢根','水溶性硫酸根','水溶性氯根','离子总量'] # 3位有效数字
    twoDataToThree = ['有机质','全氮','全磷','全钾','全硫','全硼','全硒','全铁'] #保留2位小数，最多不超过3位有效数字
    threeDataToThree = ['有效钼', '总汞']
    changeDataList = ['阳离子交换量', '交换性盐基总量', '交换性钙', '交换性镁', '交换性钠', '交换性钾'] # <10 2位小数 >=10 3位有效数字
    cationDataList = ['全锰', '全铜', '全锌', '速效钾', '缓效钾', '有效硅', '总铅', '总镉', '总铬', '总镍'] # <1000 2位小数 不超过3位有效数字 >=1000 保留整数
    needData = data.iloc[:, 7:]
    if '土壤质地' in needData.columns:
        del needData['土壤质地']
    # needData = needData.apply(pd.to_numeric, errors='coerce')
    checkDataRes = []
    for index, row in needData.iterrows():
        str = ''
        for item in row.index:
            if item in oneData and (not pd.isna(row[item])) and not is_one_decimal_place(row[item]):
                str += f"{item}应保留一位小数。"
            if (item in twoData) and (not pd.isna(row[item])) and not has_two_decimals(row[item]):
                str += f"{item}应保留两位小数。"
            if item in threeData and (not pd.isna(row[item])) and three_decimal(row[item]) != 3:
                str += f"{item}应保留三位有效数字。"
            if item in twoDataToThree and (not pd.isna(row[item])) and (not has_two_decimals(row[item]) or three_decimal(row[item]) > 3):
                str += f"{item}应保留两位小数且不超过三位有效数字。"
            if item in threeDataToThree and (not pd.isna(row[item])) and (not is_less_than_three_decimals(row[item]) or three_decimal(row[item]) != 3 ):
                str += f"{item}应保留三位有效数字且不超过三位小数。"
            if item in changeDataList and (not pd.isna(row[item])) and (filter_number(row[item]) < 10) and not has_two_decimals(row[item]):
                str += f"{item}应保留两位小数。"
            if item in changeDataList and (not pd.isna(row[item])) and (filter_number(row[item]) >= 10) and three_decimal(row[item]) != 3:
                str += f"{item}应保留三位有效数字。"
            if item == '碳酸钙' and (not pd.isna(row[item])) and not isinstance(row[item], int):
                str += f"{item}应为整数。"
            if item == '全盐量' and (not pd.isna(row[item])) and not is_three_decimal(row[item]):
                str += f"{item}应保留3位小数。"
            if item in cationDataList and (not pd.isna(row[item])) and (filter_number(row[item]) < 1000) and (not has_two_decimals(row[item]) or three_decimal(row[item]) > 3):
                str += f"{item}保留2位小数且不超过三位有效数字。"
            if item in cationDataList and (not pd.isna(row[item])) and (filter_number(row[item]) >= 1000) and not isinstance(row[item], int):
                str += f"{item}应为整数。"
        checkDataRes.append(str)
    data['数据审核结果'] = checkDataRes
    # 对审核结果有问题的数据进行标绿
    resData = data.style.apply(highlight_condition, axis=1)
    # 数据写入表格
    with pd.ExcelWriter( f'{url}/数值修约审核.xlsx', engine='openpyxl') as writer:
        resData.to_excel(writer, index=False, sheet_name='数值修约')

# getNum('')
# 3.计算所有指标的频度信息 已完成
def getFrequencyInformation(data, url):
    if '数据审核结果' in data.columns:
        del data['数据审核结果']
    if '母岩' in data.columns:
        del data['母岩']
    #统计样品数量 计算最大值 最小值 中位数 平均值 标准差
    needData = data.iloc[:, 7:]
    if '土壤质地' in needData.columns:
        del needData['土壤质地']

    needData = needData.apply(pd.to_numeric, errors="coerce")
    resData = pd.DataFrame({})
    for item in needData.columns:
        if item == '总砷':
            print(needData[item])
        min_value = needData[item].min() # 最大值
        max_value = needData[item].max() # 最小值
        median_value = needData[item].median()  # 中位数
        mean_value = needData[item].mean()  # 平均数
        std_value = needData[item].std()  # 标准差
        resData[item] = [min_value, max_value, median_value, mean_value, std_value]

    index_value = ['最小值', '最大值', '中位数', '平均数', '标准差']
    # 汇总数据
    resData.index = index_value
    data_res = round(resData, 2)
    data_res = data_res.rename_axis('频度分析')
    # data_res = data_res.transpose()
    # data_res = data_res.reset_index()
    # data_res.columns = ['指标名称', '最小值', '最大值', '中位数', '平均数', '标准差']
    print('频度分析---', data_res)
    return data_res
    # 数据写入表格
    # with pd.ExcelWriter(f'{url}/频度信息.xlsx', engine='openpyxl') as writer:
    #     data_res.to_excel(writer, sheet_name='频度信息')

# getFrequencyInformation('')
# 4. 绘制每个指标的累积频率图
def getMap(data, title, unit, url):
    data = data.dropna()
    if len(data) != 0: # 指标无数据 不进行绘图
        min = data.min()
        max = data.max()
        # 计算直方图
        bins = np.linspace(min - 1, max + 1, 30, endpoint=True)
        hist, bin_edges = np.histogram(data, bins=bins)
        cumulative_hist = np.cumsum(hist)
        # 计算拟合曲线
        p1 = np.polyfit(bin_edges[1:], hist, 2)
        p2 = np.poly1d(p1)
        # 计算累计频率
        cumulative_freq = cumulative_hist / cumulative_hist.max()
        # fig, ax1 = plt.subplots()
        fig = make_subplots(specs=[[{"secondary_y": True}]])
        if title == 'pH':
            fig.add_trace(go.Histogram(x=data, name="频数", nbinsx = 17, xbins = dict(start=0, end=8.5, size=0.5)), secondary_y=True)
        else:
            fig.add_trace(go.Histogram(x=data, name="频数"), secondary_y=True)
        # 绘制直方图 color="#ffc798" #a4464b #b1a9ab
        # fig = go.Figure(data=[go.Histogram(x=data, name="频数")])
        # 设置标题和其他格式
        fig.update_layout(
            title={
                'text': f"{title}统计图",
                'xanchor': 'center',  # 控制水平对齐，可选'left', 'center', 'right'
                'yanchor': 'bottom',  # 控制垂直对齐，可选'top', 'middle', 'bottom'
                'x': 0.5,  # 控制标题的水平位置，0.5代表中心，可以是小数（相对位置）或整数（像素位置）
                'y': 0.9  # 控制标题的垂直位置，0.9代表底部，可以是小数或整数
            },
            xaxis_title=f"{title}{unit}",
            yaxis_title='频次',
            bargap=0.2,  # 相邻位置坐标的钢筋之间的间隙
            bargroupgap=0.1
        )
        # ax1.hist(data, bins=bins, rwidth=0.8, zorder=1, label="频数")
        # ax2 = ax1.twinx()
        # ax2.plot(bin_edges[1:], cumulative_freq, zorder=10, color="#a4464b", label="累积频率 ")
        fig.add_trace(go.Scatter(x=bin_edges[1:], y=cumulative_freq *100, mode='lines', name='累积频率',line=dict(width=2), yaxis='y2',
                                 marker=dict(
                                     color='red',  # 点的颜色
                                     symbol='hourglass'
                                 )), secondary_y=False)
        # 绘制正态分布曲线
        # 估计正态分布参数
        mu = data.mean()
        sigma = data.std()
        # 创建正态分布对象
        dist = norm(mu, sigma)
        # 计算要绘制的x值
        x = np.linspace(bin_edges.min(), bin_edges.max(), 100)
        p = norm.pdf(x, mu, sigma)
        # ax3 = ax1.twinx()
        # # ax3.plot(bin_edges[1:], y_smoothed, label='拟合曲线', color="#333")
        # #label = 'N({:.2f}, {:.2f}^2)'.format(mu, sigma)
        # ax3.plot(x, dist.pdf(x), color="#333", label='拟合曲线')

        fig.add_trace(go.Scatter(x=x, y=p*100, mode='lines', yaxis='y2', name='拟合曲线', line=dict(width=2)), secondary_y=False)
        fig.update_layout(
            title={
                'text': '指标频度统计图',
                'xanchor': 'center',  # 控制水平对齐，可选'left', 'center', 'right'
                'yanchor': 'bottom',  # 控制垂直对齐，可选'top', 'middle', 'bottom'
                'x': 0.5,  # 控制标题的水平位置，0.5代表中心，可以是小数（相对位置）或整数（像素位置）
                'y': 0.9  # 控制标题的垂直位置，0.9代表底部，可以是小数或整数
            },
            yaxis_title='累积频率(%)',  # 设置Y1轴标签
            yaxis2_title='频数'
                          )
        maxData = 110
        if p.max()*100 >100:
            maxData = p.max()*100
        fig.update_yaxes(range=[0, maxData], row=1, col=1, secondary_y=False)
        html_file_path = f"{url}/{title}频度统计图.html"
        html_file_path = html_file_path.replace('（g/cm³）','')
        html_file_path = html_file_path.replace('（%）', '')
        html_file_path = html_file_path.replace('>', '')
        pio.write_html(fig, file=html_file_path, auto_open=False)
        title = title.replace('（g/cm³）', '')
        title = title.replace('（%）', '')
        title = title.replace('>', '')
        pio.write_image(fig, f"{url}/{title}频度统计图.png")


def getFrequencyImage(data, url):
    unitList = {
        'g/cm3': ['土壤容重1（g/cm³）','土壤容重2（g/cm³）',	'土壤容重3（g/cm³）',	'土壤容重4（g/cm³）','土壤容重平均值（g/cm³）'],
        '%': ['土壤机械组成','全铝', '全硅', '全铁', '全钙', '全镁', '水稳>5mm（%）','水稳3mm~5mm（%）',	'水稳2mm~3mm（%）',	'水稳1mm~2mm（%）',	'水稳0.5mm~1mm（%）',	'水稳0.25mm~0.5mm（%）',	'水稳性大团聚体总和（%）'],
        'g/kg': ['有机质', '全氮', '全磷', '全钾', '水溶性盐总量', '离子总量', '碳酸钙', '游离铁', '全硫'],
        'mg/kg': ['有效磷', '速效钾', '有效硫', '有效硼', '有效铁', '有效锰', '有效铜', '有效锌', '有效钼', '有效硅', '缓效钾', '全锰',
                '全锌', '全铜', '全钼', '全硼', '全硒', '总汞', '总砷', '总铅', '总镉', '总铬', '总镍'],
        'cmol/kg': ['阳离子交换量', '交换性盐基总量', '交换性钙', '交换性镁', '交换性钠', '交换性钾']
    }
    # 绘制图形
    needData = data.iloc[:, 7:] #这里有可能需要修改
    if '土壤质地' in needData.columns:
        del needData['土壤质地']
    needData = needData.apply(pd.to_numeric, errors="coerce")
    for item in needData.columns:
        # newData = needData[item].dropna()
        if len(needData) > 0:
            label = ''
            for i in unitList:
                if item in unitList[i]:
                    label = i
            getMap(needData[item], item, label, url)

# 公共函数 判断指标完整性
# def checkAllNames(data, list):

    # for item in list:
    #     if data[item] != '未检测' and data[item] != '/': # 未检测的值可以忽略 空值
    #         if pd.isna(data[item]): # 表示值缺失


# 5. 检测指标完整性
def getDataComplete(data):
    # 根据类型：耕地园地表层土壤样品，耕地园地剖面土壤样品，林地草地表层土壤样品，林地草地剖面土壤样品，水稳定性大团聚体样品
    # 耕地园地样品列表  有效硅（水田才有）
    cultivatedLandandfieldList = ['风干试样含水量（分析基）', '洗失量（吸管法需填）', '土壤质地', '土壤容重1（g/cm³）',	'土壤容重2（g/cm³）',	'土壤容重3（g/cm³）',	'土壤容重4（g/cm³）',	'土壤容重平均值（g/cm³）'
        , '2~0.2mm颗粒含量',	'0.2~0.02mm颗粒含量',	'0.02~0.002mm颗粒含量', 	'0.002mm以下颗粒含量'
        , '水稳>5mm（%）',	'水稳3mm~5mm（%）','水稳2mm~3mm（%）',	'水稳1mm~2mm（%）','水稳0.5mm~1mm（%）','水稳0.25mm~0.5mm（%）',	'水稳性大团聚体总和（%）'
        , 'pH', '阳离子交换量', '交换性盐基总量', '交换性钙', '交换性镁', '交换性钠', '交换性钾',
        '全盐量', '电导率', '水溶性Na⁺含量', '水溶性K⁺含量', '水溶性Ca²⁺含量', '水溶性Mg²⁺含量', '水溶性Cl⁻含量', '水溶性CO₃²⁻含量',
        '水溶性HCO₃⁻含量', '水溶性SO₄²⁻含量', '离子总量', '有机质', '全氮', '全磷', '全钾', '有效磷', '速效钾', '缓效钾', '有效硫', '有效铁',
        '有效锰', '有效铜', '有效锌', '有效硼', '有效钼', '总汞', '总砷', '总铅', '总镉', '总铬', '总镍']
    # 林地草地样品列表
    woodlandandGrassList = ['风干试样含水量（分析基）', '洗失量（吸管法需填）', '土壤质地', '土壤容重1（g/cm³）',	'土壤容重2（g/cm³）',	'土壤容重3（g/cm³）',	'土壤容重4（g/cm³）',	'土壤容重平均值（g/cm³）', '2~0.2mm颗粒含量','0.2~0.02mm颗粒含量',	'0.02~0.002mm颗粒含量', '0.002mm以下颗粒含量', 'pH', '阳离子交换量', '交换性盐基总量', '交换性钙', '交换性镁', '交换性钠', '交换性钾', '有机质',
                    '全氮', '全磷', '全钾', '有效磷', '速效钾',]


    # 其他样品列表 剖面
    # '耕地': ['0101', '0102', '0103'],
    # '园地': ['0201', '0202', '0203', '0204'],
    # '林地': ['0301', '0302', '0303', '0304', '0305', '0306', '0307'],
    # '草地': ['0401', '0402', '0403', '0404'],
    # 根据土地利用类型 判断指标是否完整 不完整的数据提取出来 这里规则无法确定 先放着吧

    # 统计所有数据中 各指标的数量
    resData = getSimpleNum(data)
    yxg = 0
    for index, row in data.iterrows():
        if str(str(row['原样品编号'])[6:10]) == '0101':
            yxg += 1
    data = data.replace('未检测', np.nan)
    if '序号' in data.columns:
        del data['序号']
    if '原样品编号' in data.columns:
        del data['原样品编号']
    if '样品编号' in data.columns:
        del data['样品编号']
    if '地理位置' in data.columns:
        del data['地理位置']
    if '母质' in data.columns:
        del data['母质']
    if '土壤类型' in data.columns:
        del data['土壤类型']
    if '土地利用类型' in data.columns:
        del data['土地利用类型']
    # 根据指标排序
    counts = data.count()
    # 根据土地类型统计样本数
    countData = {
        '耕地园地': resData['sData']['耕地园地'] if '耕地园地' in resData['sData'].index else 0,
        '林地草地': resData['sData']['林地草地'] if '林地草地' in resData['sData'].index else 0,
        '其他': 0,
        '有效硅': yxg
    }
    needNumList = []
    for item in data.columns:
        # 判断指标是否属于耕地园地、林地草地数组
        if item == '有效硅':
            needNumList.append(countData['有效硅'])
        elif (item in cultivatedLandandfieldList) and (item in woodlandandGrassList):
            needNumList.append(countData['耕地园地'] + countData['林地草地'])
        elif (item in cultivatedLandandfieldList) and (item not in woodlandandGrassList):
            needNumList.append(countData['耕地园地'])
        elif (item not in cultivatedLandandfieldList) and (item in woodlandandGrassList):
            needNumList.append(countData['林地草地'])
        elif (item not in cultivatedLandandfieldList) and (item not in woodlandandGrassList):
            needNumList.append(0)
        else:
            needNumList.append(0)
    counts = counts.to_frame()
    counts['应测数量'] = needNumList
    return counts



# 6.指标名称与实际检测样品数量统计表，统计样品数量和指标检测数量
def getCheckNum():
    # 统计每个指标的有值的数量，水溶性盐分总量大于1g/kg的 统计八大离子的检测量
    resData = ''
    return resData


# 过滤特殊字符
def filter_special_characters(s):
    s = str(s)
    return re.sub(r'[^a-zA-Z\u4e00-\u9fa5\d]', '', s)

# 7.检测方法
def checkMethod(data, url):
    # 各指标的检测标准方法
    checkData = {
        '土壤容重' : '《土壤检测 第4部分：土壤容重的测定》(NY/T 1121.4—2006) 环刀法',
        '机械组成' : '《土壤分析技术规范》（第二版）, 5.1 吸管法',
        '土壤水稳性大团聚体': '《土壤检测 第19部分：土壤水稳定大团聚体组成的测定》(NY/T 1121.19—2008)筛分法',
        'pH检测方法': '《土壤检测 第2部分：土壤pH的测定》(NY/T 1121.2—2006) 电位法',
        '水溶性盐类(水溶性盐总量、电导率、水溶性钠离子、钾离子、钙离子、镁离子、碳酸根、碳酸氢根、硫酸根、氯根)': '《森林土壤水溶性盐分分析》（LY/T 1251—1999）（浸提液中钙、镁、钾、钠离子的测定采用等离子体发射光谱法，硫酸根和碳酸根的测定增加离子色谱法） 质量法',
        '全氮': '《土壤检测 第24部分：土壤全氮的测定 自动定氮仪法》(NY/T 1121.24—2012) 自动定氮仪法',
        '全磷': '《森林土壤磷的测定》(LY/T 1232—2015)(详见本规范培训教材) 酸消解—电感耦合等离子体发射光谱法',
        '全钾': '《森林土壤钾的测定》(LY/T 1234—2015) 酸消解一电感耦合等离子体发射光谱法',
        '全铁': '《固体废物22种金属元素的测定》(HJ 781—2016) 酸消解—电感耦合等离子体发射光谱法',
        '全锰': '《固体废物22种金属元素的测定》(HJ 781—2016) 酸消解—电感耦合等离子体发射光谱法',
        '全钼': '《固体废物 金属元素的测定 电感耦合等离子体质谱法》(HJ 766—2015) 酸消解—电感耦合等离子体质谱法',
        '全铝': '《固体废物 22种金属元素的测定 电感耦合等离子体发射光谱法》(HJ 781—2016) 酸消解-电感耦合等离子体发射光谱法',
        '全硅': '《土壤和沉积物 11种元素的测定 碱熔—电感耦合等离子体发射光谱法》(HJ 974—2018) 碱熔一电感耦合等离子体发射光谱法	',
        '全钙': '《固体废物 22种金属元素的测定 电感耦合等离子体发射光谱法》(HJ 781—2016) 酸消解—电感耦合等离子体发射光谱法',
        '全镁': '《固体废物 22种金属元素的测定 电感耦合等离子体发射光谱法》(HJ 781—2016) 酸消解—电感耦合等离子体发射光谱法',
        '速效钾': '《土壤 速效钾和缓效钾含量的测定》(NY/T 889—2004) 乙酸铵浸提—火焰光度法',
        '缓效钾': '《土壤 速效钾和缓效钾含量的测定》(NY/T 889—2004) 热硝酸浸提—火焰光度法',
        '有效硅': '《土壤检测第15部分:土壤有效硅的测定》(NY/T 1121.15-2006) 柠檬酸浸提-硅钼蓝比色法',
        '有效硼': '土壤样品制备与检测技术规范培训教材 沸水提取-电感耦合等离子体发射光谱法',
        '有效钼': '《土壤检测 第9部分:土壤有效钼的测定》(NY/T 1121.9-2023) 草酸-草酸铵浸提-电感耦合等离子体质谱法',
        '游离铁': '《土壤分析技术规范》(第二版)，19.1游离铁(Fed)的测定(DCB法) 连二亚硫酸钠-柠檬酸钠-重 碳酸提-邻菲罗啉比色法',
        '总砷': '《土壤质量 总汞、总砷、总铅的测定 原子荧光法第2部分:土壤中总砷的测定》(GB/T22105.2-2008) 原子荧光法',
        '总铅': '《固体废物 金属元素的测定电感耦合等离子体质谱法》(HJ766-2015) 酸消解-电感耦合等离子体质谱法',
        '总镉': '《固体废物 金属元素的测定电感耦合等离子体质谱法》(HJ766-2015) 酸消解-电感耦合等离子体质谱法',
        '总铬': '《固体废物 金属元素的测定电感耦合等离子体质谱法》(HJ766-2015) 酸消解-电感耦合等离子体质谱法',
        '总镍': '《固体废物 金属元素的测定电感耦合等离子体质谱法》(HJ766-2015) 酸消解-电感耦合等离子体质谱法'
    }
    checkDBData = {
        '有机质': ['《土壤检测 第6部分：土壤有机质的测定》(NY/T 1121.6—2006) 重铬酸钾氧化—容量法',
                   '土壤中总碳和有机质的测定元素分析仪法(农业行业标准报批稿) 元素分析仪法'],  # 两种方法都可以
        '全硫': ['《土壤检测 第2部分：土壤全硫的测定》(NY/T 1104—2006) 硝酸镁氧化-硫酸钡比浊法',
                 '燃烧红外光谱法（本规范培训教材）'],
        '全硼': ['《土壤分析技术规范》(第二版)，18.1土壤全硼的测定 碱熔-姜黄素-比色法',
                 '《土壤分析技术规范》(第二版)，18.1土壤全硼的测定 碱熔-等离子体发射光谱法'],
        '全铜': ['《固体废物 金属元素的测定电感耦合等离子体质谱法》(HJ766-2015) 酸消解-电感耦合等离子体质谱法',
                 '《固体废物 22种金属元素的测定电感耦合等离子体发射光谱法》(HJ781-2016) 酸消解-电感耦合等离子体发射光谱法'],
        '全锌': ['《固体废物 金属元素的测定电感耦合等离子体质谱法》(HJ766-2015) 酸消解一电感耦合等离子体质谱法',
                 '《固体废物 22种金属元素的测定 电感耦合等离子体发射光谱法》(HJ 781—2016) 酸消解—电感耦合等离子体发射光谱法'],
        '可交换酸度': '《土壤分析技术规范》（第二版）, 11.2 土壤交换性酸的测定 氯化钾交换—中和滴定法',  # ph<6
        '碳酸钙': '《土壤分析技术规范》（第二版）, 15.1 土壤碳酸盐的测定 气量法',  # ph>7
        '总汞': ['《土壤质量 总汞、总砷、总铅的测定原子荧光法 第1部分:土壤中总汞的测定》(GB/T22105.1-2008) 原子荧光法',
                 '《土壤和沉积物总汞的测定 催化热解/冷原子吸收分光光度法》(HJ923-2017) 催化热解-冷原子吸收分光光度法'],
        '有效铁': [
            '《土壤有效态锌、锰、铁、铜含量的测定 二乙三胺五乙酸(DTPA)浸提法》(NY/T8902004) DTPA 浸提-原子吸收分光光度法',
            '《土壤有效态锌、锰、铁、铜含量的测定 二乙三胺五乙酸(DTPA)浸提法》(NY/T8902004) DTPA 浸提-电感耦合等离子体发射光谱法'],
        '有效锰': [
            '《土壤有效态锌、锰、铁、铜含量的测定 二乙三胺五乙酸(DTPA)浸提法》(NY/T8902004) DTPA 浸提-原子吸收分光光度法',
            '《土壤有效态锌、锰、铁、铜含量的测定 二乙三胺五乙酸(DTPA)浸提法》(NY/T8902004) DTPA浸提-电感耦合等离子体发射光谱法'],
        '有效铜': [
            '《土壤有效态锌、锰、铁、铜含量的测定 二乙三胺五乙酸(DTPA)浸提法》(NY/T8902004) DTPA 浸提-原子吸收分光光度法',
            '《土壤有效态锌、锰、铁、铜含量的测定 二乙三胺五乙酸(DTPA)浸提法》(NY/T8902004) DTPA 浸提-电感耦合等离子体发射光谱法'],
        '有效锌': [
            '《土壤有效态锌、锰、铁、铜含量的测定 二乙三胺五乙酸(DTPA)浸提法》(NY/T8902004) DTPA 浸提-原子吸收分光光度法',
            '《土壤有效态锌、锰、铁、铜含量的测定 二乙三胺五乙酸(DTPA)浸提法》(NY/T8902004) DTPA 浸提-电感耦合等离子体发射光谱法'],
    }
    checkPHData = {
        '阳离子交换量': ['《土壤分析技术规范》（第二版）, 12.2 乙酸铵交换法',
                         '《土壤分析技术规范》（第二版）, 12.1 EDTA—乙酸铵盐交换法'],  # ph<=7.5 ph>7.5
        '交换性盐基总量、交换性钾、交换性钠、交换性钙、交换性镁': [
            '《土壤分析技术规范》（第二版）, 13.1 酸性和中性土壤交换性盐基组分的测定（乙酸铵交换法）（交换性钙、镁、钾、钠离子的测定增加等离子体发射光谱法） 乙酸铵交换法等',
            '《石灰性土壤交换性盐基及盐基总量的测定》(NY/T 1615-2008)(交换液中钾、钠、钙、镁离子的测定增加等离子体发射光谱法) 氯化铵-乙醇交换法等'],
        # ph<=7.5 ph>7.5
        '有效磷': ['《土壤检测 第7部分：土壤有效磷的测定》(NY/T 1121.7—2014) 氟化铵-盐酸溶液浸提一钼锑抗比色法',
                   '《土壤检测 第7部分：土壤有效磷的测定》(NY/T 1121.7—2014) 碳酸氢钠溶液—钼锑抗比色法'],  # ph<6.5 ph>=6.5
        '有效硫': ['《土壤检测第14部分:土壤有效的测定》NY/T 1121.14-2023) 磷酸盐-乙酸溶液浸提-电感耦合等离子体发射光谱法',
                   '《土壤检测第14部分:土壤有效的测定》(NY/T 1121.14-2023) 氯化钙浸提一电感耦合等离子体发射光谱法'],
        # ph<7.5 ph>=7.5

    }
    checkDataKey =  [key for key in checkData]
    checkDBDataKey = ['有机质', '全硫', '全硼', '全铜', '全锌', '可交换酸度', '碳酸钙', '总汞', '有效铁', '有效锰', '有效铜', '有效锌']
        # [key for key in checkDBData]
    checkPHDataKey = ['阳离子交换量', '交换性盐基总量、交换性钾、交换性钠、交换性钙、交换性镁', '有效磷', '有效硫']
        # [key for key in checkPHData]
    # print('list',checkDBDataKey)
    # print('list', checkPHDataKey)

    checkDataRes = []
    for index, row in data.iterrows():
        str = ''
        for item in row.index:
            if row[item] == '未检测':
                str = ''
            elif row[item] == '未填写' or pd.isna(row[item]):
                str += f"{item}未填写。"
            elif not pd.isna(row[item]) and (item in checkDataKey) and (not pd.isna(checkData[item])): # 指标不为空 且 在通用指标列表中
                if filter_special_characters(row[item]) != filter_special_characters(checkData[item]):
                    str += f"{item}检测方法填报有误。"
            elif (not pd.isna(row[item]) and (item in checkDBDataKey)):
                if filter_special_characters(row[item]) != filter_special_characters(checkDBData[item][0]) and filter_special_characters(row[item]) != filter_special_characters(checkDBData[item][1]):
                    str += f"{item}检测方法填报有误。"
                # 指标在两种方法指标列表中
            elif (not pd.isna(row[item]) and (item in checkPHDataKey)):
                # 指标在区分ph值列表中
                if item == '阳离子交换量' and row['pH'] <= 7.5:
                    if filter_special_characters(row[item]) != filter_special_characters(checkPHData[item][0]):
                        str += f"{item}检测方法填写有误。"
                if item == '阳离子交换量' and row['pH'] > 7.5:
                    if filter_special_characters(row[item]) != filter_special_characters(checkPHData[item][1]):
                        str += f"{item}检测方法填写有误。"
                if item == '交换性盐基总量、交换性钾、交换性钠、交换性钙、交换性镁' and row['pH'] <= 7.5:
                    if filter_special_characters(row[item]) != filter_special_characters(checkPHData[item][0]):
                        str += f"{item}检测方法填写有误。"
                if item == '交换性盐基总量、交换性钾、交换性钠、交换性钙、交换性镁' and row['pH'] > 7.5:
                    if filter_special_characters(row[item]) != filter_special_characters(checkPHData[item][0]):
                        str += f"{item}检测方法填写有误。"
                if item == '有效磷' and row['pH'] < 6.5:
                    if filter_special_characters(row[item]) != filter_special_characters(checkPHData[item][0]):
                        str += f"{item}检测方法填写有误。"
                if item == '有效磷' and row['pH'] >= 6.5:
                    if filter_special_characters(row[item]) != filter_special_characters(checkPHData[item][0]):
                        str += f"{item}检测方法填写有误。"
                if item == '有效硫' and row['pH'] < 7.5:
                    if filter_special_characters(row[item]) != filter_special_characters(checkPHData[item][0]):
                        str += f"{item}检测方法填写有误。"
                if item == '有效硫' and row['pH'] >= 7.5:
                    if filter_special_characters(row[item]) != filter_special_characters(checkPHData[item][0]):
                        str += f"{item}检测方法填写有误。"
        checkDataRes.append(str)
    data['数据审核结果'] = checkDataRes
    resData = data.style.apply(highlight_condition, axis=1)
    # 数据写入表格
    with pd.ExcelWriter(f'{url}/检测方法审核结果.xlsx', engine='openpyxl') as writer:
        resData.to_excel(writer, index=False, sheet_name='检测方法审核')
    return data[data['检测方法审核结果'] !='']


# 8.数据填报审核
def dataReportResult(data, url):
    # 未检出项填报，空值填报，错误值处理
    # 检测值有*号、/、未检测、空值、数值 为合理情况，
    resData = []
    for index, row in data.iterrows():
        str = ''
        for item in row.index:
            if row[item] == '-' or row[item] == 0:
                str = f"{item}数据填报错误。"
        resData.append(str)
    data['数据审核结果'] = resData
    finData = data.style.apply(highlight_condition, axis=1)
    # 数据写入表格
    with pd.ExcelWriter(f'{url}/数据填报项审核结果.xlsx', engine='openpyxl') as writer:
        finData.to_excel(writer, index=False, sheet_name='数据填报审核')


# 9.土壤质地类型判断 这个之前已有，将土壤质地类型不一致的样本数据提取出来
# 使用resData数据，判断土壤类型和土壤类型判断是否一致，不一致提取出不一致数据写入表格


# 10.土壤检测数据超阈值样品统计表，将之前统计的超阈值的数据提取出来，显示原因
# def getOverLineData(data, url):  # 所有阈值判断
    # 提取数据项，异常原因，增加一列外业保持空值
    # 提取每个表格审核结果不为空的数据，最后将所有数据合并
    # resData =
    # 数据写入表格
    # with pd.ExcelWriter(f'{url}/超阈值样品统计表.xlsx', engine='openpyxl') as writer:
    #     resData.to_excel(writer, index=False, sheet_name='超阈值数据')

# 11.ph值统计 频度计算、历年数据统计、ph异常数据提取
def getPHData(data, url):
    resData = pd.DataFrame({})
    # 计算频度
    min_value = data['pH'].min()  # 最大值
    max_value = data['pH'].max()  # 最小值
    median_value = data['pH'].median()  # 中位数
    mean_value = round(data['pH'].mean(),2) # 平均数
    std_value = round(data['pH'].std(), 2)  # 标准差
    resData['PH'] = [min_value, max_value, median_value, mean_value, std_value]
    index_value = ['最小值', '最大值', '中位数', '平均数', '标准差']
    resData.index = index_value
    # 绘制分布图
    x = np.arange(0, len(data['pH']), 1) # 横坐标数据
    data = data.sort_values(by='pH', ascending=True)
    y = data['pH']
    getInteractiveImg(x, y, 'pH', [], [], '', [], [], '', url,
                      'pH值分布图', '样品序号', 'pH', data['原样品编号'])

    # 提取异常数据
    abnormalData = pd.DataFrame({})
    for index, row in data.iterrows():
        if not pd.isna(row['pH']) and (row['pH'] < mean_value-3*std_value or row['pH'] > mean_value+3*std_value):
            newRow = row[['原样品编号', '样品编号', '土地利用类型', 'pH']]
            soilType = ''
            if isinstance(row['土壤类型'], str):
                if len(row['土壤类型'].split('_')) > 1:
                    soilType = row['土壤类型'].split('_')[1]
            newRow['土壤类型'] = soilType
            newRow['外业情况'] = ''
            abnormalData = abnormalData._append(newRow)
    return {
        '异常数据': abnormalData,
        '频度分析': resData
    }
    # resData写进文档表格
    # 异常数据写入表格
    # 生成也可以写入文档表格
    # with pd.ExcelWriter( './img/ph异常数据.xlsx', engine='openpyxl') as writer:
    #     abnormalData.to_excel(writer, index=False, sheet_name='ph异常数据')
    #     resData.to_excel(writer, sheet_name='频度分析')


# 12.有机质和全氮 计算比值、绘制相关性图、提取异常数据形成表格
def getNAndC(data, url):
    # 去掉nan的值
    data = data.dropna(subset=['有机质', '全氮'])
    # 绘制散点图 拟合直线 计算方差
    x = data['有机质']
    y = data['全氮']
    plt.scatter(x, y)
    fig = go.Figure(data=go.Scatter(
        x=x,
        y=y,
        text=data['原样品编号'].to_numpy(),
        mode='markers', name='有机质与全氮',
        marker=dict(
            size=4,  # 点的大小
            color='blue',  # 点的颜色
        ))
    )

    # 使用sklearn的LinearRegression进行最小二乘法拟合
    model = LinearRegression()
    model.fit(x.to_numpy().reshape(-1, 1), y)
    # 计算拟合直线的斜率和截距
    slope = model.coef_[0]
    intercept = model.intercept_
    r, _ = np.corrcoef(y, slope * x + intercept)
    # 绘制拟合直线
    fig.add_trace(go.Scatter(x=x, y=slope * x + intercept,mode='lines', name='拟合直线'))
    # plt.plot(x, slope * x + intercept, color='red', label='拟合直线',  linewidth=2)
    # 设置图表布局
    fig.update_layout(
                      title={
                          'text': f"有机质与全氮相关性散点图，y={round(slope,2)}x + {round(intercept,2)},R²={round(r[1], 2) ** 2},R={round(r[1],1)}",
                          'xanchor': 'center',  # 控制水平对齐，可选'left', 'center', 'right'
                          'yanchor': 'bottom',  # 控制垂直对齐，可选'top', 'middle', 'bottom'
                          'x': 0.5,  # 控制标题的水平位置，0.5代表中心，可以是小数（相对位置）或整数（像素位置）
                          'y': 0.9  # 控制标题的垂直位置，0.9代表底部，可以是小数或整数
                      },
                      xaxis_title='有机质（g/kg）',
                      yaxis_title='全氮（g/kg）')
    html_file_path = f"{url}/有机质与全氮相关性散点图.html"
    pio.write_html(fig, file=html_file_path, auto_open=False)
    # 同时保存一份图片
    pio.write_image(fig, f"{url}/有机质与全氮相关性散点图.png")
    # plt.savefig('./img/审核报告图形/' + '有机质与全氮相关性散点图.png', dpi=500, bbox_inches='tight')
    # plt.show()
    abnormalData = pd.DataFrame({})
    for index, row in data.iterrows():
        if not pd.isna(row['有机质']) and not pd.isna(row['全氮']):
            if row['有机质']/row['全氮'] <13 or row['有机质']/row['全氮'] > 20:
                newRow = row[['原样品编号', '样品编号', '土地利用类型', '有机质', '全氮']]
                soilType = ''
                resStr = ''
                if row['有机质']/row['全氮'] < 13:
                    resStr = '偏低'
                if row['有机质']/row['全氮'] > 20:
                    resStr = '偏高'
                if isinstance(row['土壤类型'], str):
                    if len(row['土壤类型'].split('_')) > 1:
                        soilType = row['土壤类型'].split('_')[1]
                newRow['土壤类型'] = soilType
                newRow['碳氮比'] = round(row['有机质']/row['全氮'], 2)
                newRow['审核结果'] = resStr
                newRow['外业情况'] = ''
                abnormalData = abnormalData._append(newRow)
    return abnormalData
    # with pd.ExcelWriter('./img/碳氮比异常数据.xlsx', engine='openpyxl') as writer:
    #     abnormalData.to_excel(writer, index=False, sheet_name='碳氮比异常数据')

def getImg(x,y,label):
    plt.scatter(x, y)
    plt.xlabel('样品数量')
    plt.ylabel(label)
    # plt.savefig('./img/' + label + '数据分布图.png', dpi=500, bbox_inches='tight')
    plt.show()


# 13.全磷和有效磷,绘图，统计异常值,绘图绘制在同一个图中
def getPData(data, url):
    # 提取异常数
    abnormalData = pd.DataFrame({})
    # abnormalData.columns = ['原样品编号', '样品编号', '土地利用类型', '全磷', '有效磷', '土壤类型', '有效磷比', '外业情况']
    for index, row in data.iterrows():
        if not pd.isna(row['有效磷']) and not pd.isna(row['全磷']):
            if row['有效磷'] /(1000 * row['全磷']) >= 0.15:
                newRow = row[['原样品编号', '样品编号', '土地利用类型', '全磷', '有效磷']]
                soilType = ''
                if isinstance(row['土壤类型'], str):
                    if len(row['土壤类型'].split('_')) > 1:
                        soilType = row['土壤类型'].split('_')[1]
                newRow['土壤类型'] = soilType
                newRow['有效磷比'] = round(row['有效磷'] / (row['全磷']*10), 2)
                newRow['外业情况'] = ''
                abnormalData = abnormalData._append(newRow)

    with pd.ExcelWriter(f'{url}/有效磷占全磷比异常数据.xlsx', engine='openpyxl') as writer:
        abnormalData.to_excel(writer, index=False, sheet_name='有效磷占全磷比比异常数据')
    if not data['全磷'].empty and not data['有效磷'].empty:
        x1 = np.arange(0, len(data['全磷']), 1)
        x2 = np.arange(0, len(data['有效磷']), 1)
        x3 = np.arange(0, len(data['有效磷']/data['全磷']), 1)
        #data1 = data.sort_values(by='全磷', ascending=True)
        #data2 = data.sort_values(by='有效磷', ascending=True)
        data['有效磷占比'] = data['有效磷']/10*data['全磷']
        #data3 = data.sort_values(by='有效磷占比', ascending=True)
        y1 = data['全磷']
        y2 = data['有效磷']
        y3 = data['有效磷占比']
        # getImg(x1, y1,'全磷(g/kg)')
        # getImg(x2, y2, '有效磷（mg/kg）')
        # getImg(x3, y3, '有效磷占全磷比(%)')
        getInteractiveImg(x1, y1,'全磷(g/kg)',[], [], '', [], [], '', url,
                          '全磷分布图', '样品序号', '全磷(g/kg)', data['原样品编号'])
        getInteractiveImg(x2, y2, '有效磷（mg/kg）', [], [], '', [], [], '', url,
                          '有效磷分布图', '样品序号', '有效磷（mg/kg）', data['原样品编号'])
        getInteractiveImg(x3, y3, '有效磷占全磷比(%)', [], [], '', [], [], '', url,
                          '有效磷占全磷比分布图', '样品序号', '有效磷占全磷比(%)', data['原样品编号'])
        del data['有效磷占比']
    return abnormalData



# 14. 全钾、速效钾和缓效钾，绘图
def getKData(data, url):
    data = data.replace(np.nan,0)
    x1 = np.arange(0, len(data['全钾']), 1)
    y1 = data['全钾']
    x2 = np.arange(0, len(data['速效钾'] + data['缓效钾']), 1)
    y2 = data['速效钾']/1000 + data['缓效钾']/1000

    getInteractiveImg(x1, y1, '全钾', x2, y2,'速效钾与缓效钾之和', [],[],'', url,'全钾与速效钾缓效钾之和关系统计图','样品序号','g/kg', data['原样品编号'])
    x = np.arange(0, len(data['速效钾']), 1)
    y = data['速效钾']
    x_1 = np.arange(0, len(data['缓效钾']), 1)
    y_1 = data['缓效钾']
    getInteractiveImg(x, y, '速效钾', x_1, y_1, '缓效钾', [], [], '', url,
                      '速效钾与缓效钾散点图', '样品序号', 'mg/kg', data['原样品编号'])

# 15.重金属 已有 提取重金属异常数据即可
def getMetal(simpleData):
    # resData_14 数据中提取重金属超标的数据，提取相应的指标形成表格
    resData = ''
    return resData
# 16.阳离子交换量与交换性盐基总量
def cationExchangeCapacity(data, url):
    # 绘图
    x1 = data['阳离子交换量']
    y1 = data['交换性盐基总量']
    fig = go.Figure(data=go.Scatter(
        x=x1,
        y=y1,
        text=data['原样品编号'].to_numpy(),
        mode='markers', name='阳离子交换量与交换性盐基总量相关性散点图',
        marker=dict(
            size=4,  # 点的大小
            color='blue',  # 点的颜色
        ))
    )
    print(3.43)
    # 使用sklearn的LinearRegression进行最小二乘法拟合
    model = LinearRegression()
    model.fit(x1.to_numpy().reshape(-1, 1), y1)
    # 计算拟合直线的斜率和截距
    slope = model.coef_[0]
    intercept = model.intercept_
    r, _ = np.corrcoef(y1, slope * x1 + intercept)
    # 绘制拟合直线
    fig.add_trace(go.Scatter(x=x1, y=slope * x1 + intercept, mode='lines', name='拟合直线'))
    # plt.plot(x, slope * x + intercept, color='red', label='拟合直线',  linewidth=2)
    # 设置图表布局
    fig.update_layout(
        title={
            'text': f"阳离子交换量与交换性盐基总量相关性散点图，y={round(slope, 2)}x + {round(intercept, 2)},R²={round(r[1], 2) ** 2},R={round(r[1],1)}",
            'xanchor': 'center',  # 控制水平对齐，可选'left', 'center', 'right'
            'yanchor': 'bottom',  # 控制垂直对齐，可选'top', 'middle', 'bottom'
            'x': 0.5,  # 控制标题的水平位置，0.5代表中心，可以是小数（相对位置）或整数（像素位置）
            'y': 0.9  # 控制标题的垂直位置，0.9代表底部，可以是小数或整数
        },
        xaxis_title='阳离子交换量（g/kg）',
        yaxis_title='交换性盐基总量（mS/cm）')
    html_file_path = f"{url}/阳离子交换量与交换性盐基总量相关性散点图.html"
    pio.write_html(fig, file=html_file_path, auto_open=False)
    # 同时保存一份图片
    pio.write_image(fig, f"{url}/阳离子交换量与交换性盐基总量相关性散点图.png")


# 17.交换性盐基：二者之差 交换性盐基总量cmol(+)/kg 交换性钙镁钠钾之和 区分ph>7.5 和ph值<7.5
def changeCation(data,url):
    hightData = data[data['pH'] > 7.5]
    lowData = data[data['pH'] <= 7.5]
    hightData = hightData.apply(pd.to_numeric, errors="coerce")
    lowData = lowData.apply(pd.to_numeric, errors="coerce")
    x_h = np.arange(0, len(hightData['交换性盐基总量']), 1)

    y_h = hightData['交换性盐基总量']
    y1_h = (hightData['交换性钙'] + hightData['交换性镁'] + hightData['交换性钾'] + hightData['交换性钠'])
    y2_h = (y_h-y1_h)
    # 绘图
    getInteractiveImg(x_h, y_h, '交换性盐基总量', x_h, y1_h, '钙镁钾钠之和', x_h, y2_h, '交换性盐基总量与钙镁钾钠和之差', url,
                      '交换性盐基总量与交换性盐相关关系(pH大于7.5)', '样品序号', 'cmol/kg', hightData['原样品编号'])

    x_l = np.arange(0, len(lowData['交换性盐基总量']), 1)
    y_l = lowData['交换性盐基总量']
    y1_l = (lowData['交换性钙'] + lowData['交换性镁'] + lowData['交换性钾'] + lowData['交换性钠'])
    y2_l = (y_l - y1_l)

    getInteractiveImg(x_l, y_l, '交换性盐基总量', x_l, y1_l, '钙镁钾钠之和', x_l, y2_l,
                      '交换性盐基总量与钙镁钾钠和之差', url,
                      '交换性盐基总量与交换性盐相关关系(pH小于等于7.5)', '样品序号', 'cmol/kg', lowData['原样品编号'])

# 18.水溶性盐总量、电导率、离子总量全盐量分布图，全盐量和电导率相关性分析，水溶性盐与离子总量关系
def manyTypes(data,url):
    # data = data.replace('未检测', np.nan)
    data = data.dropna(subset=['全盐量', '电导率'])

    print(3.41)
    # 全盐量分布图
    x = np.arange(0, len(data['全盐量']), 1)
    data_1 = data.sort_values(by='全盐量', ascending=True)
    y = data_1['全盐量']
    getInteractiveImg(x, y, '全盐量', [], [], '', [], [],
                      '', url,
                      '全盐量分布图', '样品序号', '全盐量(g/kg)', data_1['原样品编号'])
    # 电导率分布图
    # x1 = np.arange(0, len(data['电导率']), 1)
    # y1 = data['电导率'].sort_values()
    # getInteractiveImg(x1, y1, '电导率', [], [], '', [], [],
    #                   '', './img/审核报告图形',
    #                   '电导率分布图', '样品序号', '电导率(mS/cm)', data['原样品编号'], 'fileUrl',
    #                   'loc')
    print(3.42)
    x1 = data['全盐量'].dropna()
    y1 = data['电导率'].dropna()
    print('电导率', y1)
    # plt.scatter(x, y)
    fig = go.Figure(data=go.Scatter(
        x=x1,
        y=y1,
        text=data['原样品编号'].to_numpy(),
        mode='markers', name='全盐量与电导率相关关系',
        marker=dict(
            size=4,  # 点的大小
            color='blue',  # 点的颜色
        ))
    )
    print(3.43)
    # 使用sklearn的LinearRegression进行最小二乘法拟合
    model = LinearRegression()
    model.fit(x1.to_numpy().reshape(-1, 1), y1)
    # 计算拟合直线的斜率和截距
    slope = model.coef_[0]
    intercept = model.intercept_
    r, _ = np.corrcoef(y1, slope * x1 + intercept)
    # 绘制拟合直线
    fig.add_trace(go.Scatter(x=x1, y=slope * x1 + intercept, mode='lines', name='拟合直线'))
    # plt.plot(x, slope * x + intercept, color='red', label='拟合直线',  linewidth=2)
    # 设置图表布局
    fig.update_layout(
                      title={
                          'text':f"全盐量与电导率相关性散点图，y={round(slope, 2)}x + {round(intercept, 2)},R²={round(r[1], 2) ** 2},R={round(r[1], 2)}",
                          'xanchor': 'center',  # 控制水平对齐，可选'left', 'center', 'right'
                          'yanchor': 'bottom',  # 控制垂直对齐，可选'top', 'middle', 'bottom'
                          'x': 0.5,  # 控制标题的水平位置，0.5代表中心，可以是小数（相对位置）或整数（像素位置）
                          'y': 0.9  # 控制标题的垂直位置，0.9代表底部，可以是小数或整数
                      },
                      xaxis_title='全盐量（g/kg）',
                      yaxis_title='电导率（mS/cm）')
    html_file_path = f"{url}/全盐量与电导率相关性散点图.html"
    pio.write_html(fig, file=html_file_path, auto_open=False)
    # 同时保存一份图片
    pio.write_image(fig, f"{url}/全盐量与电导率相关性散点图.png")
    print(3.44)


    # 离子总量 水溶性盐总量及差值
    filterData = data.dropna(subset=['全盐量', '离子总量'])
    x2 = np.arange(0, len(filterData['离子总量']), 1)
    print(x2)
    print(3.441)
    print(filterData['离子总量'])
    y2 = filterData['离子总量']
    print(y2)
    print(3.442)
    y3 = filterData['全盐量']
    print(y3)
    print(3.443)

    y4 = (y2-y3)
    if not filterData.empty:
        #要增加对指标值是否缺失进行判断，都不缺失绘图
        getInteractiveImg(x2, y2, '离子总量', x2, y3, '全盐量', x2, y4,
                      '离子总量与全盐量之差', url,
                      '全盐量与离子总量相关性散点图', '样品数量', '离子总量/全盐量(g/kg)', data['原样品编号'])