|
|
相关文章推荐
|
体贴的匕首 · objective-c和java下解析对象类 ...· 1 月前 · |
|
|
玩足球的烈马 · 广东省商务厅在日本东京、韩国首尔举办经贸合作 ...· 8 月前 · |
|
|
体贴的黄瓜 · 农业：人类史上最大的骗局 | ...· 1 年前 · |
|
|
要出家的签字笔 · 澳大利亚土著 - 知乎· 1 年前 · |
|
|
干练的墨镜 · 3·15|EQC电机缺陷危及安全，奔驰召回“ ...· 1 年前 · |
|
|
谈吐大方的硬盘 · 如何借助学术ChatGPT完成课题申报书写作 ...· 1 年前 · |
腾讯云
问
非常长的对象数组的NodeJS JSON.stringify错误“无效字符串长度”
非常长的对象数组的NodeJS JSON.stringify错误“无效字符串长度”
问
非常长的对象数组的NodeJS JSON.stringify错误“无效字符串长度”
EN
EN
Stack Overflow用户
提问于
2015-11-12 16:40:12
回答 2
查看 13K
关注 0
票数 9
我有一个非常长的对象数组，大小约为10万项，就在我将其写入文件之前，我将数据传递到JSON.stringify
我知道这个错误：
代码语言：
javascript
复制
JSON.stringify(
RangeError: Invalid string length如何成功地压缩一个非常大的json对象？
更新：
自从我最初写了这个问题以来，我对处理大量数据变得更加熟悉了，我更喜欢在这个过程中使用Apache。在Spark中，通常不使用大型JSON数组，而是使用包含长字符串JSON (每行一个对象)的流或文件。文件如下所示：
代码语言：
javascript
复制
{"name":"kristian", "favoriteSong":"enter sandman"}
{"name":"joshua", "favoriteSong":"penny lane"}
{"name":"susan", "favoriteSong":"all about that bass"}这很好，因为：
- 您可以任意处理太大的文件，也可以很容易地进行一些无逻辑的文件拆分，并将其转换为1000个较小的文件，如果逻辑是简单地在某个断行号N处破坏该文件。
- 更好的是，您永远不会遇到一个潜在的可怕问题，即在您的手上有一个损坏的数据文件，这是由一个未关闭的JSON数组引起的。
- 文件中的大型JSON数组往往没有换行，因此在VIM或其他编辑器中打开大型文件是很痛苦的，因为它试图将整个程序加载到内存中，而不是带有换行的文件，因为它可以轻松地将前10行左右的内容加载到屏幕上，而不会出现问题。
EN
回答 2
Stack Overflow用户
回答已采纳
发布于 2015-11-12 16:42:00
如何成功地压缩一个非常大的json对象？
分成几部分？例如，将数组分解为较小的部分，在较小的部分上使用
JSON.stringify
，并将每个段追加到文件中(您必须执行一些
[
、
,
和
]
处理)。
票数 6
EN
Stack Overflow用户
发布于 2017-03-25 01:42:13
我发现 JSON.stringify 是本机 JSONStream 的可靠替代品，它可以很好地处理大型对象。例如：
代码语言：
javascript
复制
var fileSystem = require( "fs" );
var JSONStream = require( "JSONStream" );
var records = [
{ id: 1, name: "Terminator" },
{ id: 2, name: "Predator" },
{ id: 3, name: "True Lies" },
{ id: 4, name: "Running Man" },
{ id: 5, name: "Twins" }
// .... hundreds of thousands of records ....
var transformStream = JSONStream.stringify();
var outputStream = fileSystem.createWriteStream( __dirname + "/data.json" );
transformStream.pipe( outputStream );
records.forEach( transformStream.write );
transformStream.end();
推荐文章
|
|
要出家的签字笔 · 澳大利亚土著 - 知乎 1 年前 |