|
|
相关文章推荐
|
另类的毛衣 · sql将select结果作为临时表 - ...· 9 月前 · |
|
|
干练的火柴 · Excel VBA ...· 11 月前 · |
|
|
贪玩的紫菜 · 如何使用 Pandas 删除 ...· 1 年前 · |
|
|
文质彬彬的斑马 · ORA-00933: SQL命令未正确结束 ...· 1 年前 · |
|
|
英俊的汤圆 · HstsBuilderExtensions. ...· 1 年前 · |
腾讯云
问
非常长的对象数组的NodeJS JSON.stringify错误“无效字符串长度”
非常长的对象数组的NodeJS JSON.stringify错误“无效字符串长度”
问
非常长的对象数组的NodeJS JSON.stringify错误“无效字符串长度”
EN
EN
Stack Overflow用户
提问于
2015-11-12 16:40:12
回答 2
查看 13K
关注 0
票数 9
我有一个非常长的对象数组，大小约为10万项，就在我将其写入文件之前，我将数据传递到JSON.stringify
我知道这个错误：
代码语言：
javascript
复制
JSON.stringify(
RangeError: Invalid string length如何成功地压缩一个非常大的json对象？
更新：
自从我最初写了这个问题以来，我对处理大量数据变得更加熟悉了，我更喜欢在这个过程中使用Apache。在Spark中，通常不使用大型JSON数组，而是使用包含长字符串JSON (每行一个对象)的流或文件。文件如下所示：
代码语言：
javascript
复制
{"name":"kristian", "favoriteSong":"enter sandman"}
{"name":"joshua", "favoriteSong":"penny lane"}
{"name":"susan", "favoriteSong":"all about that bass"}这很好，因为：
- 您可以任意处理太大的文件，也可以很容易地进行一些无逻辑的文件拆分，并将其转换为1000个较小的文件，如果逻辑是简单地在某个断行号N处破坏该文件。
- 更好的是，您永远不会遇到一个潜在的可怕问题，即在您的手上有一个损坏的数据文件，这是由一个未关闭的JSON数组引起的。
- 文件中的大型JSON数组往往没有换行，因此在VIM或其他编辑器中打开大型文件是很痛苦的，因为它试图将整个程序加载到内存中，而不是带有换行的文件，因为它可以轻松地将前10行左右的内容加载到屏幕上，而不会出现问题。
EN
回答 2
Stack Overflow用户
回答已采纳
发布于 2015-11-12 16:42:00
如何成功地压缩一个非常大的json对象？
分成几部分？例如，将数组分解为较小的部分，在较小的部分上使用
JSON.stringify
，并将每个段追加到文件中(您必须执行一些
[
、
,
和
]
处理)。
票数 6
EN
Stack Overflow用户
发布于 2017-03-25 01:42:13
我发现 JSON.stringify 是本机 JSONStream 的可靠替代品，它可以很好地处理大型对象。例如：
代码语言：
javascript
复制
var fileSystem = require( "fs" );
var JSONStream = require( "JSONStream" );
var records = [
{ id: 1, name: "Terminator" },
{ id: 2, name: "Predator" },
{ id: 3, name: "True Lies" },
{ id: 4, name: "Running Man" },
{ id: 5, name: "Twins" }
// .... hundreds of thousands of records ....
var transformStream = JSONStream.stringify();
var outputStream = fileSystem.createWriteStream( __dirname + "/data.json" );
transformStream.pipe( outputStream );
records.forEach( transformStream.write );
transformStream.end();
推荐文章
|
|
另类的毛衣 · sql将select结果作为临时表 - CSDN文库 9 月前 |