阿里云安全

阿里云MaxCompute 2019-10 月刊

2019-11-01 00:00:00 mimukeji

您好,MaxCompute 2019.10月刊为您带来10月产品、技术最新动态,欢迎阅读。订阅 MaxCompute 月刊 >>


导读

【重要发布】10月产品重要发布

【文档更新】10月重要文档更新

【干货精选】10月精选技术文章

【技术活动】活动回顾与预告


【重要发布】10月产品重要发布

1. 支持新运算符     查看详情 >>>

支持新运算符,丰富MaxCompute计算场景,用户使用更加灵活。

适用客户
MaxCompute公共云客户

发布功能
1) IS [NOT] DISTINCT FROM:
例如:a IS DISTINCT FROM b,相当于not(a<=>b);a IS NOt DISTINCT FROM b相当于 a<=>b
2) A||B:字符串连接操作符(||) :
例如:a||b||c 相当于concat(a, b, c)


2. 支持自然连接NATURAL JOI     查看详情 >>>

支持自然连接NATURAL JOIN,提升了MaxCompute SQL引擎的JOIN能力,用户操作更加灵活。

适用客户
MaxCompute公共云客户

发布功能
支持自然连接(Natural Join) 即参与JOIN的两张表根据字段名字自动决定连接字段。支持 outer natural join,支持使用using字段执行join,输出字段中公共字段只出现一次。例如:表src的字段(key1, key2, a1, a2),表src2的字段(key1, key2, b1, b2),SELECT * FROM src NATURAL JOIN src2; 由于 src 和 src2 有两个同名字段 (key1, key2) ,所以相当于:SELECT src.key1 as key1, src.key2 as key2, src.a1, src.a2, src2.b1, src2.b2 FROM src INNER JOIN src2 ON src.key1 = src2.key1 AND src.key2 = src2.key2;


3. 支持LIMIT OFFSET     查看详情 >>>

支持LIMIT OFFSET,MaxCompute SQL引擎能力提升,用户操作更加灵活。

适用客户
MaxCompute公共云客户

发布功能
OFFSET 和 ORDER BY LIMIT语句配合,可以指定跳过OFFSET数目的行。例如:SELECT * FROM src ORDER BY key LIMIT 20 OFFSET 10;将 src 按照 key从小到大排序后,输出第11到第30行 (OFFSET 10 指定跳过前10行,LIMIT 20 指定最多输出20行)


4. 新增内置函数JSON_TUPLE和EXTRACT     查看详情 >>>

新增内置函数JSON_TUPLE和EXTRACT,MaxCompute SQL引擎能力提升,用户操作更加灵活。

适用客户
MaxCompute公共云客户

发布功能
新增字符串函数JSON_TUPLE、日期函数EXTRACT。格式说明:STRING JSON_TUPLE(STRING json,STRING key1,STRING key2,...),用于一个标准的JSON字符串中,按照输入的一组键(key1,key2,...)抽取各个键指定的字符串。INT EXTRACT( from ),提取日期的一部分。


5. JOIN与SETOP支持括号指定优先级     查看详情 >>>

JOIN与SETOP支持括号指定优先级,MaxCompute SQL引擎能力提升,客户操作更加灵活。

适用客户
MaxCompute公共云客户

发布功能
支持通过括号指定JOIN的优先级,括号内的JOIN优先级较高。如下JOIN语句中,先执行src2 JOIN src3得出结果后再执行与src的JOIN。例如:SELECT * FROM src JOIN (src2 JOIN src3 on xxx) ON yyy;


6. MaxCompute支持分区合并     查看详情 >>>

MaxCompute 有分区数量上限6万的限制,当分区数量过多时,可使用合并分区功能,对数仓数据进行归档。

适用客户
MaxCompute公共云客户

发布功能
MaxCompute支持合并分区,对数仓数据进行归档,将同一个表下多个分区数据快速合并成一个分区, 并删除之前分区, 把数据移动到指定的分区下。


7. MaxCompute支持VPC网络IP白名单设置     查看详情 >>>

MaxCompute支持VPC网络IP白名单设置,客户安全管理更加灵活。

适用客户
MaxCompute公共云客户

发布功能
MaxCompute支持VPC网络IP白名单设置。


8. 新增flag支持只grouy by / order by 字段序号,而不用写字段名     查看详情 >>>

新增flag支持只grouy by / order by 字段序号,而不用写字段名,SQL语法更丰富,书写更灵活。

适用客户
MaxCompute公共云客户

发布功能
1) 当sql语句set flagset hive.groupby.position.alias=true;时,GROUP BY 中的整形常量会被当做select的列序号处理。示例:set hive.groupby.position.alias=true; select region, sum(total_price) from sale_detail group by 1;(常量1代表select的列中第一列即region);
2) 当sql语句set flagset hive.orderby.position.alias=true;时,ORDER BY 中的整形常量会被当做select的列序号处理。例如:表src的列为(key BIGINT,value BIGINT) SELECT FROM src ORDER BY 2 limit 100; 等同于SELECT FROM src ORDER BY value limit 100。


9. 支持一次增加或删除多个分区     查看详情 >>>

支持一次增加或删除多个分区,使客户对分区管理更加灵活。

适用客户
MaxCompute公共云客户

发布功能
MaxCompute的DDL语义升级,支持一次增加或删除多个分区的操作,用户可执行批量的分区管理操作,提升了数仓管理操作的效率。


10. 支持指定表的列默认值     查看详情 >>>

支持指定表的列默认值,提升了MaxCompute DDL的能力,用户操作更加灵活。

适用客户
MaxCompute公共云客户

发布功能
DEFAULT value 指定列的默认值,当insert操作不指定该列时,该列写入默认值。[(col_name data_type [DEFAULT value] [COMMENT col_comment], ...)]

【文档更新】10月重要文档更新     更多文档 >>>

  1. 新增Hive迁移到MaxCompute最佳实践视频
  2. 新增成本优化最佳实践
  3. 新增PyODPS示例 PyDOPS的排序 > PyODPS的去重 > PyODPS的采样 > PyODPS的数据缩放 > PyODPS的空值处理 >
  4. 新增支持VPC网络IP白名单设置 项目空间操作 > 设置IP白名单 >

【干货精选】10月精选技术文章     更多详情 >>>

  1. 最全合集】[一文看尽 2019杭州云栖大会 MaxCompute 技术分享
  2. 如何有效降低大数据平台安全风险
  3. 丰富、连接、待集成—MaxCompute 生态再出发
  4. 混合云模式下 MaxCompute + Hadoop 混搭大数据架构实践
  5. 阿里巴巴大数据技术关键进展及展望

【技术活动】回顾和预告

【双11】MaxCompute 限时折扣,预付费标准版年付8折。活动时间:11月1日-11月11日

活动回顾

《技术直播 kafka 数据如何同步到 MaxCompute 》2019.10.22 19:00-19:40

<直播简介> 主要介绍Kafka产品的原理和使用方式,以及同步数据到MaxCompute的参数介绍、独享集成资源组与自定义资源组的使用背景和配置方式、Kafka同步数据到MaxCompute的开发到生产的整体部署操作等内容。

视频回放 >>>
分享资料下载 >>>

《Hadoop 数据如何同步至 MaxCompute》 2019.10.29 19:00-19:40

<直播简介> **云下Hadoop用户如何快速、平滑的迁移到阿里云MaxComute大数据生态?如何快速完成数据和业务的迁移以及生态系统的对接?MaxCompute提供了数据迁移工具-MMA,支持Meta、数据、作业和工作流的批量自动化迁移,帮助客户高效、低成本的上云,快速构建云上业务。

视频回放 >>>
分享资料下载 >>>

活动预告

《MySQL/RDS 数据如何同步到 MaxCompute》 2019.11.5 19:00-19:40

【直播简介】主要讲解MySQL/RDS业务数据如何通过DataWorks数据集成或DTS同步到MaxCompute。
【观看直播】MaxCompute开发者社区2群


《日志数据如何同步到 MaxCompute》 2019.11.12 19:00-19:40

【直播简介】主要讲解日志文件如何通过Loghub/Datahub同步数据到MaxCompute的参数介绍和详细同步过程等内容。
【观看直播】MaxCompute开发者社区2群

点击链接加入 MaxCompute开发者社区2群 https://h5.dingtalk.com/invite-page/index.html?bizSource=____source____&corpId=dingb682fb31ec15e09f35c2f4657eb6378f&inviterUid=E3F28CD2308408A8&encodeDeptId=0054DC2B53AFE745
或扫码加入
image

阿里云优惠新机+优惠券

本文转载自网络,如有侵权,请联系我们删除。

COPYRIGHT © 2018-2019,WWW.51MIMU.COM,ALL RIGHTS RESERVED版权所有 © 广州米姆信息科技有限公司 粤ICP备18145377号

地址:广州市天河区广园东路2191号时代新世界中心南塔21楼07、08单元 电话:020-22822863
14737363737