如何使用C语言实现大数据体的动态读取与处理

来源：百度知道 编辑：UC知道 时间：2024/06/07 14:00:24
如何使用C语言实现大数据体的动态读取与处理。
例如：数据体大小为9G，内存1G，整个数据体是无法全部读入内存的，如何合理的读取适当的数据，且同时对读入数据进行处理与输出，相互之间没有影响，输入输出数据体为三维数据体（X、Y、Z）。
应用C语言，不要C++，请高手指教，或给个链接。
万分感谢！

在内存中开辟两个缓存区，大小？比如每个缓存32M，然后将数据读入输入缓存处理，处理后的结果送输出缓存
这里的关键问题是如何对缓存进行管理？总体思路是，当缓存中有数据时，则取数据进行处理，处理好后放输出缓存，同时还必须检测，当输出缓存数据快满时，能够及时将数据送入硬盘。。。

上面是大体思路，实际中，一般运用多线程处理这种情况，即一个线程负责管理输入缓存，一个线程负责管理输出缓存，第三个线程负责数据处理。。。具体管理策略有很多，你需要综合各种因素（比如时间宽余度等）来决定。。。