求一个遍历数据库的编程方法或统计的算法,思路,海量数据?谢谢原始表---产品表ID产品ID零件名称零件数量0010001零件A100020001零件B200030001零件C10...0200001零件M50210002将产

Question

求一个遍历数据库的编程方法或统计的算法,思路,海量数据?谢谢
原始表---产品表
ID 产品ID 零件名称 零件数量
001 0001 零件_A 10
002 0001 零件_B 20
003 0001 零件_C 10
...
020 0001 零件_M 5
021 0002
将产品使用的零件及零件使用数量看做一个元素,即
零件_A 10
与
零件_A 15
看成两个不同的元素
对产品ID所示产品进行遍历,将每一产品使用的零件取零件3个,生成组合表如下
新生成----组合表
ID 组合ID 零件名称 零件数量
001 0001 零件_A 10
002 0001 零件_C 10
003 0001 零件_M 5
004 0002 零件_A 10
005 0002 零件_C 5
006 0002 零件_M 5
上表中组合ID 0001 与组合ID 0002 只有零件C的数量不同,被看做两个组合
然后用组合表对产品表进行遍历并进行统计,计算每个组合出现次数
新生成----统计表
ID 组合ID 统计
001 0001 X次
求算法或更好的思路实现不同组合的统计
海量数据,产品表有上千万条,运算量估计也是海量的,目前有将近300台客户端可以利用.就是不清楚应该如何实现
原始表已经在SQL Server数据库中有了
现在需要生成组合表和统计表
组合表取值范围是N-M个
整个库估计需要进行几亿次的遍历
海量海量啊...

Answer 1

海量数据,产品表有上千万条,运算量估计也是海量的,目前有将近300台客户端可以利用
对产品表进行遍历并进行统计,计算每个组合出现次数