局域网内点对点传输字符串与小型文件？

编程
#1

RT，我去年夏天的时候分布式系统课写了个 python 小程序，可以在一个局域网的电脑之间传输字符串和比较小的文件，目标是替代 U 盘和手工抄写字符串。

实现逻辑是用 Zeroconf + 一次性随机码来搜索目标及握手，再用 UDP 传输数据。

刚开始写的时候我想调用一个简单的多线程 http 服务器 + 接收端的 curl 或者 wget 来接收文件，但碍于课程要求（需要直接使用 socket）选择了手工 UDP 这种拉跨的方案。

我想让这个程序尽量的轻，本身不会占用太多内存和 CPU。

现在这套方案有如下问题：

  1. 传输速度上不去
    因为每台电脑的发 UDP 包的速度是固定的，而 UDP 包一个也不大，所以速度也很惨不忍睹。小的字符串还好，大一点的文件真的不如用 U 盘。临时的解决办法是增大 UDP 包大小。
  2. 过大的 UDP 包会造成兼容性问题
    已知 macOS 无法用过大的 UDP 包。
  3. 数据完整性欠佳
    UDP 包是没有顺序的，在理想情况下发送端按什么顺序发出去的包，接收端也会以同样的顺序收到，并写入文件即可。但现实是如果文件大小达到了 50M 左右的时候有几个 UDP 包的顺序会变，导致接收到的文件损坏。临时的解决办法是在每个包之间人为的加入一点间隔，但这种不治本的办法确实不行，文件损坏的问题还是有。

我目前有 2 个方案：

  1. 魔改当前 UDP 操作，加上多线程，手工给每个 UDP 包标号。接收端整个 buffer 按标号排序后写入文件。
    问题是这个 buffer 的大小控制不好容易把内存挤爆，尤其是文件过大的时候，而且自己造轮子非常麻烦而且质量不行。
  2. 把现有的 UDP 协议换成 http 服务器 + curl 的操作

现在的问题是：

  1. UDP 多线程传输文件有现成的库么？别的语言也可以
  2. 轻量又多线程的 HTTP 服务器推荐？

这个东西如果成了，我还想把它做到各个发行版里，写在简历上好看一点:joy:

1赞
openSUSE-Gossip-20201003-20210213
#2

多线程，UDP，现成的 py。

这好像就是 Python3 新出的自带的那个 Asyncio。里面有 UDP echo server/client 的例子。

轻量又多线程，大概就是基于 Asyncio 实现的 aiohttp (github 上 10k+ stars)

PS: :see_no_evil: 我在你隔壁的省

1赞
#3

仰望滑铁卢大佬

#4

试试 iptux？

#5

如果一定要自己实现传输功能，试试 kcp，局域网内应该没有问题。虽然我个人建议直接上 aiohttp 作服务器就是了。

#6

asyncio，不过这个是协程方式；py 自带 threadingsocketServer，上面套一层 http 协议，多线程，两个都不会阻塞 io，大差不差。
魔改 udp 的话，其实这个 buf 不一定在内存里，每个 udp 包大小可以固定的，就可以在没到的序号固定大小填 0，包到的时候在 seek 到对应位置写上数据，应该就不怕内存爆了。传的慢就在加上压缩，就成了 http 的 gzip 了。所以为啥不能直接在 nc 上套一层发现。哈哈

1赞
#7

为嘛不用 TCP？

#10

这个没有 iOS 软件

#11

我决定了，用socketserver来重写 socket 部分，改用 TCP，用aiohttp和curl来传输文件

#12

局域网里面一般直接用 tcp，别用 UDP. 如果是 python 的话，也犯不着用 aiohttp 那么麻烦，python 标准库内置的 http 服务器和 http 客户端足够了。

现在这种东东，麻烦的地方是写 GUI，有些人想要进度条，有些人想要断点续传，有些人想要自动发现或者 P2P，写 GUI 的时候特别麻烦。至于发送文件的协议千万种，根本不是问题。

还有功能之外的，有些人想要 100k 的可执行文件，超过了就觉得软件不绿色。你用 pyinstaller 打包出来几十 M，放出来肯定被喷死。还有些人既要支持 Mac 也要支持 LINUX，最好也支持 DOS，特别烦。做自己用的简单，做成产品太难了。

#13

如果觉得 pyinstaller 打包太大，可以试试 Nuitka，体积会小很多。

#14

我根本都没考虑过 gui，可能上了移动端或者 windows 才考虑一个，到时候就考虑用 C# 重写了
unix 下用 python 可以保持高可移植性，别的 C# 都能搞定
觉得安装包大就不用这种人建议让他有本事自己写一个，反正也不难

#15

c# 写也不容易。我自己写过一个，所以很了解这里面的坑。IM、文件传输表面看都是很简单的技术，实际挖下来，这两个领域非常的艰深。有非常非常多的需求可以做。