近日,微软宣布Visual Studio代码支持SQL Server 2019大数据群集PySpark开发和查询。它为Azure Data Studio提供了补充功能,可供数据工程师在数据科学家的数据探索和试验之后编写和生产PySpark作业.Visual Studio代码Apache火花和蜂巢扩展使您可以享受跨平台和增强的轻量Python级编辑功能,它涵盖了有关Python编写,调试,Jupyter笔记本集成以及类似于交互式查询的笔记型计算机的场景。
通过Visual Studio代码扩展,您可以享受本机Python编程体验,比如产品毛羽,调试支持,语言服务等。您可以为PY文件运行当前行,运行选定的代码行或全部运行,可以导入和导出一个。ipynb笔记本,并执行类似于“运行单元格”,“在上方运行”或“在下方运行”的查询笔记本,可以享受像笔记本电脑一样的交互式体验,其中包括您的源代码和标记注释以及运行结果和输出,可以在交互式结果窗口中删除不需要的部分,输入注释或键入其他代码。此外,您还可以通过matplotlib(如Jupyter笔记本)以图形格式可视化结果。与SQL Server 2019大数据集群的集成使您能够快速向大数据集群提交PySpark批处理作业并监视作业进度。
主要功能亮点
1,您可以链接到SQL服务器。该工具包使您可以连接PySpark作业并将其提交到SQL Server 2019大数据群集。
2, Python编辑。开发具有本地Python创作支持(例如智能感知、自动格式,错误检查等)的PySpark应用程序。
3, Jupyter笔记本集成。导入和导出。ipynb文件。
4, PySpark交互式。运行选定的代码行,或运行诸如PySpark单元格之类的笔记本,以及交互式可视化。
5, PySpark批处理将PySpark应用程序提交到SQL Server 2019大数据群集。
6, PySpark监视。与Apache火花历史记录服务器集成以查看作业历史记录,调试和诊断火花作业。
首先,安装Visual Studio代码,然后下载适用于Linux或Mac的Mono4.2。x,然后转到Visual Studio代码扩展存储库或Visual Studio代码市场并搜索火花,获取最新的Apache火花和蜂巢工具。
