Google Interview - 从海量数据中找出中位数 - 我的博客 - ITeye技术网站

Google Interview - 从海量数据中找出中位数 - 我的博客 - ITeye技术网站
有几百亿的整数，分布的存储到几百台通过网络连接的计算机上，你能否开发出一个算法和系统，找出这几百亿数据的中值？就是在一组排序好的数据中居于中间的数。显然，一台机器是装不下所有的数据，也尽量少用网络带宽。
我的算法训练挺少的，只能自己谈些自己的心得。

1.获得题目，要仔细研读，迅速转化为数学模型。
混乱 -->有序 ， 局部-->整体。
大问题化解为小问题来求解。
这时，我们的思路 大概就是出来了：如果每一台机器上的数据都是无序的，我们需要排序，排好序了从这些局部中
综合到整体， 然后获得一个正确答案。

2. 举例归纳。确立问题的边界。
1    4    5    6   15   44    55
3     7  11   12  13  18   35   
总的顺序为 1  3  4   5   6  7  11  12  13   15  18  35  44 55.
总共 14个数，中值为 11 12 。
直白的想法，这是归并排序吗，带宽不允许。
当然，如果题目变成了，求任意个位置的数值，那么归并排序就是一个完全的解空间。
现在题目很特殊，就是一个中值，我们要充分利用这个内涵。

3. 发掘约束，削减解空间。
观察样本，利用直觉，第一排中间是6，第二是12，小于6的全部抛弃， 大于12的全部抛弃。
中值在 6   15   44    55，  3     7  11   12中寻找，可以吗？
答案好像是可以的，假设中值在问号位置，
  *  ？ *    6   15   44    55
3     7  11   12  13  18   35  
那么 ？ < 6 <12, 那么 ？ 排在整个序列中，那么它后面还有 4+4> (14/2)了，所以它的位置肯定不为中间，那么同样道理，中值也不肯出现在 下一排的 比较大的那部分，
反证法证完毕。
我们可以通过传送一个值，一下排除一半的数据，同样道理，我们继续总剩下的序列中，通过这个方式，
递归地排除好多数据，最后夹逼到中值，有点类似求极限，呵呵。

https://ask.julyedu.com/question/152

先假设数据都经过排序，意味着查询某个区间中位数数的时间复杂度为O(1)

100个集合是100个区间，我们有最大值max，和最小值min，我们得出区间的中间值mid=(min+max)/2，

然后我们统计mid左边(<mid)有多少个数，右边(>mid)有多少个数，哪边数多，中位数应该落在哪一边。

假设右边多，我们取mid=(mid+max)/2进行迭代，整个过程类似于二分查找，不过迭代过程是要平衡mid左右两边的数据的数量

迭代的最终结果就是整体的中位数

每次传输的数据量也相当小，最差结果迭代37次就可以求出中位数了2^37~137,438,953,472

考虑双向传输2x100x37，整体传输数据估计10KB以内

题目：在一个文件中有 10G 个整数，乱序排列，要求找出中位数。内存限制为 2G。只写出思路即可（内存限制为 2G的意思就是，可以使用2G的空间来运行程序，而不考虑这台机器上的其他软件的占用内存）。

关于中位数：数据排序后，位置在最中间的数值。即将数据分成两部分，一部分大于该数值，一部分小于该数值。中位数的位置：当样本数为奇数时，中位数=(N+1)/2 ; 当样本数为偶数时，中位数为N/2与1+N/2的均值（那么10G个数的中位数，就第5G大的数与第5G+1大的数的均值了）。

分析：明显是一道工程性很强的题目，和一般的查找中位数的题目有几点不同。
1. 原数据不能读进内存，不然可以用快速选择，如果数的范围合适的话还可以考虑桶排序或者计数排序，但这里假设是32位整数，仍有4G种取值，需要一个16G大小的数组来计数。

2. 若看成从N个数中找出第K大的数，如果K个数可以读进内存，可以利用最小或最大堆，但这里K=N/2,有5G个数，仍然不能读进内存。

3. 接上，对于N个数和K个数都不能一次读进内存的情况，《编程之美》里给出一个方案：设k<K,且k个数可以完全读进内存，那么先构建k个数的堆，先找出第0到k大的数，再扫描一遍数组找出第k+1到2k的数，再扫描直到找出第K个数。虽然每次时间大约是nlog(k)，但需要扫描ceil(K/k)次，这里要扫描5次。

解法：首先假设是32位无符号整数。
1. 读一遍10G个整数，把整数映射到256M个区段中，用一个64位无符号整数给每个相应区段记数。
说明：整数范围是0 - 2^32 - 1，一共有4G种取值，映射到256M个区段，则每个区段有16（4G/256M = 16）种值，每16个值算一段， 0～15是第1段，16～31是第2段，……2^32-16 ～2^32-1是第256M段。一个64位无符号整数最大值是0～8G-1，这里先不考虑溢出的情况。总共占用内存256M×8B=2GB。

2. 从前到后对每一段的计数累加，当累加的和超过5G时停止，找出这个区段（即累加停止时达到的区段，也是中位数所在的区段）的数值范围，设为[a，a+15]，同时记录累加到前一个区段的总数，设为m。然后，释放除这个区段占用的内存。

3. 再读一遍10G个整数，把在[a，a+15]内的每个值计数，即有16个计数。

4. 对新的计数依次累加，每次的和设为n，当m+n的值超过5G时停止，此时的这个计数所对应的数就是中位数。

总结：
1.以上方法只要读两遍整数，对每个整数也只是常数时间的操作，总体来说是线性时间。

2. 考虑其他情况。
若是有符号的整数，只需改变映射即可。若是64为整数，则增加每个区段的范围，那么在第二次读数时，要考虑更多的计数。若过某个计数溢出，那么可认定所在的区段或代表整数为所求，这里只需做好相应的处理。噢，忘了还要找第5G+1大的数了，相信有了以上的成果，找到这个数也不难了吧。

3. 时空权衡。
花费256个区段也许只是恰好配合2GB的内存（其实也不是，呵呵）。可以增大区段范围，减少区段数目，节省一些内存，虽然增加第二部分的对单个数值的计数，但第一部分对每个区段的计数加快了（总体改变？？待测）。

4. 映射时尽量用位操作，由于每个区段的起点都是2的整数幂，映射起来也很方便。

Read full article from Google Interview - 从海量数据中找出中位数 - 我的博客 - ITeye技术网站