乐趣区

关于javascript:在前端使用-JS-进行分类汇总

最近遇到一些同学在问 JS 中进行数据统计的问题。尽管数据统计个别会在数据库中进行,然而后端遇到须要应用程序来进行统计的状况也十分多。.NET 就为了对内存数据和数据库数据进行对立地数据处理,创造了 LINQ (Language-Integrated Query)。其实 LINQ 语法自身没什么,要害是为了实现 LINQ 而设计的表达式树、IEnumerable 和 IQueryable 的各种扩大等。

提出问题

不扯远了,先来看问题。依据上面的样例数据,要求失去

  1. 先按业务,再按部门分组的数据;
  2. 不按部门,间接按业务别离统计每年的数据
[
  {
    name: "部门 1",
    businesses: [
      {
        name: "产品销售",
        years: [{ name: "2021", value: 132}, {name: "2022", value: 183}, {name: "2023", value: 207}
        ]
      },
      {
        name: "原料洽购",
        years: [{ name: "2021", value: 143}, {name: "2022", value: 121}, {name: "2023", value: 120}
        ]
      }
    ]
  },
  {
    name: "部门 2",
    businesses: [
      {
        name: "产品销售",
        years: [{ name: "2021", value: 230}, {name: "2022", value: 112}, {name: "2023", value: 288}
        ]
      },
      {
        name: "原料洽购",
        years: [{ name: "2021", value: 168}, {name: "2022", value: 203}, {name: "2023", value: 115}
        ]
      }
    ]
  },
  {
    name: "部门 3",
    businesses: [
      {
        name: "产品销售",
        years: [{ name: "2021", value: 279}, {name: "2022", value: 163}, {name: "2023", value: 271}
        ]
      },
      {
        name: "原料洽购",
        years: [{ name: "2021", value: 129}, {name: "2022", value: 121}, {name: "2023", value: 226}
        ]
      }
    ]
  }
];

这个数据,如果用金山文档的轻维表(飞书多维表相似)来查看,会更直观

原数据(按部门再按业务)的轻维表出现
按业务再按部门分组的轻维表出现
按业务按年统计的轻维表出现

展平多级数据

原数据按部门再按业务进行了两级分类,所以它不是简略的二维表(行 / 列)数据,而是在二维表的根底上减少了两个维度(部门 / 业务)。从要求来看,咱们须要的是从另外的维度(业务 / 部门,业务 / 年度)来进行解决。所以须要先把这些数据降维开展成能够从新划分维度的水平,也就是二维表。

JS 中二维表的示意办法挺多,行对象汇合是最常见的一种,这里咱们也就采纳这种示意办法。

还有一种常见的形式是列汇合 + 行汇合,其中行汇合能够是对象示意(字段名对应)也能够是数组示意(索引号对应)。不过这种示意一会是用在 UI 中。单纯数据处理用行对象汇合就够了,不须要独自的列信息。

察看原数据的每一级,发现名称都命名为 name,然而子集命名各不相同,层级无限。因为对每一层须要去解决名称到列(对象属性名)的转换,也须要对不同名称的子集进行进一步解决,各层级之间不足不言而喻的共性,不太适宜递归的形式来解决。所以咱们定做一个开展函数。

上面是对原数据量身定做的开展函数,开展后会失去一个蕴含部门 (dept)、业务 (business)、年份 (year)、数值 (value) 四个属性的对象汇合。

function flatBusinesses(list) {return list.flatMap(({ name: dept, businesses}) => {return businesses.flatMap(({ name: business, years}) => {return years.map(({ name: year, value}) => ({
                dept,
                business,
                year,
                value
            }));
        });
    });
}
升级:如果想用递归该怎么解决?

并不是多级开展就肯定会用到递归。比方规定的数组构造,比方规定的树结构,是能够应用递归遍历开展的。然而像这个案例的数据,每一层的子级属性名称都不同,层级无限,须要逐级解决。

如果切实想用递归的话,也能够通过一个参数来定义每一级的解决规定。以这个例子来说,每一级要解决两件事:① 找到子级节点属性名;② 将 name 解决成适当的名称用在开展的数据中。

function flatMultiLevelList(list, rules) {return flatList(list, 0);

    function flatList(list, level) {const rule = rules[level];
        if (!rule) {return [{}]; }
        // 获得 field(子级属性名)和 convert(属性处理器)// 如果没有 convert 则指定一个默认的 it => it,即不做转换
        const {field, convert = it => it} = rule;
        if (field) {
            // 如果存在子级,则持续 flatMap,展平。// ❶ {fff, ...others} 能够将 fff 属性从原对象中剥离进去
            // ❷ {[feild]: nodes } 解构能够将 field 的值所指向的属性取出来赋予一个叫 nodes 的变量
            return list.flatMap(({[field]: nodes, ...props }) => {return flatList(nodes, level + 1).map(it => ({ ...convert(props), ...it }));
            });
        } else {
            // 如果不存在子级,只须要对以后节点进行转换,间接返回即可
            return list.map(it => convert(it));
        }
    }
}

开展后会拿到这样的数据(假如赋值变量 table

[{ "dept": "部门 1", "business": "产品销售", "year": 2021, "value": 132},
    {"dept": "部门 1", "business": "产品销售", "year": 2022, "value": 183},
    {"dept": "部门 1", "business": "产品销售", "year": 2023, "value": 207},
    {"dept": "部门 1", "business": "原料洽购", "year": 2021, "value": 143},
    {"dept": "部门 1", "business": "原料洽购", "year": 2022, "value": 121},
    {"dept": "部门 1", "business": "原料洽购", "year": 2023, "value": 120},
    {"dept": "部门 2", "business": "产品销售", "year": 2021, "value": 230},
    {"dept": "部门 2", "business": "产品销售", "year": 2022, "value": 112},
    ...
]

拿到二维表之后,某些须要的数据或视图就能够通过电子表格来取得。比方问题一中须要的统计数据,应用电子表格的透视图性能就能实现,而金山文档的轻维表,或者飞书的多维表能够实现得更容易。不过咱们当初须要用代码来实现。

分类及分类汇总

第一个问题的需要是分类和分类汇总。说到分类,那首先想到的必定是 group 操作。很惋惜原生 JS 不反对 group,如果想用现成的,能够思考 Lodash,要本人写一个倒也不难。group 操作后面提到的开展操作的逆操作。

function groupBy(list, key) {
    // 这里简略地兼容一下传入 key 值和 keyGetter 的状况
    const getKey = typeof key === "function" ? key : it => it[key];
    return list.reduce((groups, it) => {(groups[getKey(it)] ??= []).push(it);
            return groups;
        },
        {}  // 空对象作为初始 groups);
}

按业务再按部门分组

有了 groupBy,能够先按业务进行分组

// 后面假如展平的数据寄存在变量 table 中
const groups = groupBy(table, "dept");

当初咱们拿到的 byDept 是一个 JS 对象(留神不是数组哦),其键是部门名称,值是一个数组,蕴含该部门下的所有数据。接下来进行第二层分组,是须要对 byDept 的每一个“值”进行分组解决。

for (const key in groups) {const list = groups[key];
    groups[key] = groupBy(list, "business");
}

解决之后的 groups 长得像这样

{
    "产品销售": {
        "部门 1": [{ dept: "部门 1", business: "产品销售", year: "2021", value: 132},
            ...
        ],
        "部门 2": [{ dept: "部门 2", business: "产品销售", year: "2021", value: 230},
            ...
        ],
        "部门 3": ...
    },
    "原料洽购": ...
}

后果是拿到了,然而和合乎原始的数据标准(原始层级每层是用 name 属性作为字段名,子级命名各不相同)所以还须要做一次转换。比方第一层的转换是这样:

const converted = Object.entries(groups)
    .map(([name, depts]) => ({name, depts}));

它会把第一层(对象)解决成数组,每个元素蕴含 namedepts 两个属性,name 属性是名称,depts 则是按部门分组的后果(目前还是对象)。那么第二、三层转换也相似。把后面的分组和前面的转换合并起来,是这样

const result1 = Object.entries(groupBy(table, "business"))
    .map(([name, list]) => ({
        name,
        depts: Object.entries(groupBy(list, "dept"))
            .map(([name, list]) => ({
                name,
                years: list.map(({year: name, value}) => ({name, value}))
            }))
    }));

失去最终后果

[
  {
    name: "产品销售",
    depts: [
      {
        name: "部门 1",
        years: [{name: "2021", value: 132}, {name: "2022", value: 183}, {name: "2023", value: 207}]
      },
      {
        name: "部门 2",
        years: [{name: "2021", value: 230}, {name: "2022", value: 112}, {name: "2023", value: 288}]
      },
      {
        name: "部门 3",
        years: [{name: "2021", value: 279}, {name: "2022", value: 163}, {name: "2023", value: 271}]
      }
    ]
  },
  ...
]

按业务分组再按年统计

对于第一个问题的第二个需要,要按年统计业务(疏忽部门),解决办法与下面的办法类型。第二层分组改为按年份,而不是按部门;同时第二层的数组转换时不再转换第三层的数据,而是对第三层数据进行汇总。

const result2 = Object.entries(groupBy(table, "business"))
    .map(([name, list]) => ({
        name,
        years: Object.entries(groupBy(list, "year"))
//      ^^^^^                               ^^^^^^ 按年分组
            .map(([name, list]) => ({
                name,
                value: list.reduce((sum, { value}) => sum + value, 0)
//              ^^^^^ 间接取值,应用 reduce 汇总
            }))
    }));

后果(用后面做的轻维表统计来核查一下,完全正确)

[
  {
    name: "产品销售",
    years: [{name: "2021", value: 641}, {name: "2022", value: 458}, {name: "2023", value: 766}]
  },
  {
    name: "原料洽购",
    years: [{name: "2021", value: 440}, {name: "2022", value: 445}, {name: "2023", value: 461}]
  }
]

如果用 Lodash 会怎么写

用 Lodash 来解决代码构造看起来更清晰一些,但代码量不见得少。

开展的局部用 Lodash 和应用原生办法没什么区别,都是应用 flatMap。Lodash 提供的 flatMapDeep 能够用来开展纯正的多级数组,但在这里不实用,因为每一级都不是单纯的开展,而是要进行独自的映射解决。Lodash 的 flatMapDeep 更像是原生的 map().flat(Number.MAX_SAFE_INTEGER)

const result1 = _(table)
    // groupBy 的后果是一个对象,属性名是组名,属性值是组内数据列表。.groupBy("business")
    // 第一种解决值集的办法,先把值解决了 (mapValues),再来解决键值对 (map)
    .mapValues(depts => _(depts)
        .groupBy("dept")
        // 第二种解决值集的办法,解决键值对的时候,同时解决值汇合
        .map((values, name) => ({
            name,
            years: values.map(({year: name, value}) => ({name, value}))
        }))
        .value())
    .map((depts, name) => ({name, depts}))
    .value();
const result2 = _(table).groupBy("business")
    .map((list, name) => ({
        name,
        years: _(list).groupBy("year")
            .map((list, name) => ({
                name,
                value: _.sumBy(list, "value")
            }))
            .value()}))
    .value();

小结

如果须要对某个数据进行分类或者分类汇总,首先得拿到这个数据的二维表,也就是齐全开展的数据列表。少数状况下从后端拿到的数据都是二维表,毕竟关系型数据库逻辑构造是表存储。接下来所谓的“分类”其实就是分组操作,而“汇总”就是把分类后的子列表拿来进行聚合计算(计数、共计、均匀、最大 / 小等都是聚合计算),失去最终的后果。

退出移动版