Python中文网 - 问答频道, 解决您学习工作中的Python难题和Bug
Python常见问题
我需要为我的项目设置一个流媒体环境。 下一个是数据集：http://research.microsoft.com/pubs/152883/User_guide_T-drive.pdf
我计划使用PostgreSQL和apachekafka作为源代码，然后使用apachespark或Flink连接到Kafka，但是问题是数据集大约有10000个文本文件。你知道吗
所以，问题是什么是将大约10000个文件（每个文件大约500行）导入一个表的最有效/最优雅的方法。你知道吗
目前，我已经尝试了python脚本和psycopg2和executemany方法（超慢）以及Apache FLink Job和JDBC connector（速度很快，但不知道如何在一个作业中迭代10000多个文件）。你知道吗
Tags： 文件数据项目方法comhttp环境pdf
热门问题
- 如何将Python中的列表复制到给定的目标中？
- 如何将python中的列表插入SQL表
- 如何将python中的列表转换为numpy数组以放入十位
- 如何将python中的列表输入javascript？
- 如何将python中的列表返回给dag？
- 如何将Python中的列表项重新排列成成对的元组/列表？
- 如何将Python中的初始化对象序列化为XML？
- 如何将python中的十进制字符串转换为数字？
- 如何将Python中的原始输入文本转换为Tkinter中的标签？
- 如何将python中的反斜杠命令转换为在Linux上运行
- 如何将python中的命令行参数转换为字典？
- 如何将python中的图像值传递到kivy中的kv文件？
- 如何将Python中的图像数组（枕头对象）上传到Google云
- 如何将Python中的图像编码为Base64？
- 如何将python中的图像调整为灰度低分辨率，如MNIST时尚数据？
- 如何将python中的多个html输出保存到单个文件（或多个）中？
- 如何将Python中的多个ifelse语句重构为一个函数？
- 如何将Python中的多处理与Django结合使用，从xml文件创建数千个模型实例？
- 如何将python中的多级API响应转换为dataframe
- 如何将python中的多线程编程模型转换为异步/等待模型？
热门文章
- Python覆盖写入文件
- 怎样创建一个 Python 列表？
- Python3 List append()方法使用
- 派森语言
- Python List pop()方法
- Python Django Web典型模块开发实战
- Python input() 函数
- Python3 列表(list) clear()方法
- Python游戏编程入门
- 如何创建一个空的set?
- python如何定义(创建)一个字符串
- Python标准库 [The Python Standard Library by Ex
- Python网络数据爬取及分析从入门到精通（分析篇）
- Python3 for 循环语句
- Python List insert() 方法
- Python 字典(Dictionary) update()方法
- Python编程无师自通 专业程序员的养成
- Python3 List count()方法
- Python 网络爬虫实战 [Web Crawler With Python]
- Python Cookbook（第2版）中文版
一个简单的解决方案是使用spark读取文件夹，打开每个分区的odbc连接，迭代并写入每一行。你知道吗
相关问题 更多 >
编程相关推荐