1 报错形容 1.1 零碎环境 ardware Environment(Ascend/GPU/CPU): CPUSoftware Environment:– MindSpore version (source or binary): 1.6.0– Python version (e.g., Python 3.7.5): 3.7.6– OS platform and distribution (e.g., Linux Ubuntu 16.04): Ubuntu 4.15.0-74-generic– GCC/Compiler version (if compiled from source):1.2 根本信息 1.2.1 脚本此案例将自定义数据集转化成 MindSpore Record 数据格式。
1.2.2 报错 RuntimeError: Syntax error. Invalid data, Page size: 1048576 is too small to save a blob row. Please try to use the mindrecord api‘set_page_size’to enable 64MB page size.Line of code : 1153
2 起因剖析依据报错信息提醒,Pagesize 设置太小导致无奈读取那么多数据。3 解决办法参考提供的 set_page_size API, 将 pagesize 设置大一点。
4 总结 1. 设置示意存储数据的区域的页面的大小,这些区域分为两种类型:row page 和 blob page。页面越大,能够存储的数据就越多。2. 不设置 pagesize 的时候,默认可储存样本大小为 32MB,如果样本的大小大于默认大小,用户须要调用 API 来设置适当的大小。3.pagesize 可调节范畴在 321024(32KB) 至 2561024*1024(256MB)。5 参考文档 mindspore 文档 ->API->mindspore.mindrecord->set_page_sizehttps://mindspore.cn/docs/zh-…