目标数据库较大时,如何快速接收新数据?

来源:百度知道 编辑:UC知道 时间:2024/05/26 23:45:22
各位高手,我有一个问题请教:
VB编写的数据库程序,用单机版采集产生的数据转换成txt格式,向网络版的数据库移交集中,网络版把txt文件接收到数据库,要求数据不能重复,程序做好了,运行正常。
但是有一个棘手的问题:数据接收速度太慢,尤其是网络版的目标数据库数据量大的时候。
我的问题是:有没有快速接收txt数据的好方法?

先搞清楚时间都耗在哪里了。
不知道你再向数据库里写数据的具体实现方法。
如果是简单的通过一个循环逐个运行insert语句,效率肯定不高,如果是把数据取到客户端,然后经过append,最后再提交,那就每次少取点数据,比如用select top 1 * from ...。另外建议采用异步处理,让数据提交到数据库后,你的程序可以做其它事,这样就不会有程序运行的停顿了。

是不是txt格式数据向数据库中是实时插入的,如果是的话建议把这两部分开来做,第一步把txt以文件形式送过去,第二部在数据库端再处理数据
另外数据库数据量大导致插入速度慢有很多原因:
1、索引+校验太多
2、数据库没有及时索引更新
3、数据库空间
等方面,都查一下吧