How we championed the CRM CI/CD framework integrating Salesforce DX, GIT, BUILDKITE and Vlocity for an enhanced, efficient and continuous delivery with high software quality.By: Sharda Kumari Pramod GavadeIntroductionThe CRM platform offers a robust suite of functionalities for building scalable applications with minimal reliance on complex coding. However, managing and deploying code and configurations within this ecosystem can be challenging, and the constantly evolving nature of the platform presents an extra layer of complexity. This can lead to slow deployment times, difficulty in balancing code and configuration (e.g. Apex classes and triggers vs. validation rules, page layouts), and …

By: Clark WrightIntroductionThese days, as the volume of data collected by companies grows exponentially, we’re all realizing that more data is not always better. In fact, more data, especially if you can’t rely on its quality, can hinder a company by slowing down decision-making or causing poor decisions.With 1.4 billion cumulative guest arrivals as of year-end 2022, Airbnb’s growth pushed us to an inflection point where diminishing data quality began to hinder our data practitioners. Weekly metric reports were difficult to land on time. Seemingly basic metrics like “Active Listings” relied on a web of upstream dependencies. Conducting meaningful data work required significant institutiona…

How Airbnb leverages ML/NLP to extract useful information about listings from unstructured text data to power personalized experiences for guests.By: Hongwei Li and Peng WangIntroductionAt Airbnb, it’s important for us to gather structured data about listings and better understand the data, so we can help Hosts provide great experiences for guests. For example, guests who work remotely need to know if a listing has a suitable workspace and reliable internet, while guests with children might need items like highchairs and cribs. However, not all listings clearly display these attributes, causing there to be a mismatch between what Hosts listings have and what guests are looking for.This is j…

My Journey to Airbnb — Helena ZarazuaGrowing from engineering apprentice to seasoned iOS developerLanguages have always come naturally to Helena Zarazua, who has used this skill to bring people together, whether by teaching English to Chinese businesspeople or by immersing American preschoolers in Spanish. Since then, Helena joined Airbnb through the Connect engineering apprenticeship program and has stayed on as a full-time engineer. She’s picked up new (programming) languages like Swift to specialize in iOS development, and works on features to create a world where anyone can belong anywhere.Read on to hear Helena’s story. from none other than Helena herself.And… action! Becoming my own m…

How Airbnb adopted SwiftUI in our iOS appBryn BodayleWhen constructing an app’s user interface (UI), the choice of framework is incredibly important. The right UI framework can make an app feel smooth, responsive, even delightful, while a UI framework that doesn’t match an app’s needs can make it feel sluggish and broken. This principle extends to developer experience as well; a UI framework with well-designed APIs can enable engineers to express themselves fluently, efficiently, and correctly, while one with the wrong abstractions or inconsistent APIs can make engineers’ jobs more difficult by slowing them down with unnecessary complexity.At Airbnb, we want our mobile apps to provide a wor…

An overview of Airbnb’s Data Framework for faster and more reliable read-heavy workloads.By: Sivakumar Bhavanari, Krish Chainani, Victor Chen, Yanxi Chen, Xiangmin Liang, Anton Panasenko, Sonia Stan, Peggy Zheng and Amre ShakimOverviewThe evolution of Airbnb and its tech stack calls for a scalable and reliable foundation that simplifies the access and processing of complex data sets. Enter Riverbed, a data framework designed for fast read performance and high availability. In this blog series, we will introduce Riverbed, highlighting its objectives, design, and features.Why was Riverbed CreatedThe growth of Airbnb has accelerated the number of databases we operate, the variety of data types…

Chronon — A Declarative Feature Engineering FrameworkA framework for developing production grade features for machine learning models. The purpose of the blog is to provide an overview of core concepts in Chronon.Nikhil Simha RaproluBackgroundAirbnb uses machine learning in almost every product, from ranking search results to intelligently pricing listings and routing users to the right customer support agents.We noticed that feature management was a consistent pain point for the ML Engineers working on these projects. Rather than focusing on their models, they were spending a lot of their time gluing together other pieces of infrastructure to manage their feature data, and still encounteri…

How Airbnb evolved our data catalog into a platform for managing and governing our data warehouse at scale.By: Erik Ritter, Jiaxin Ye, Sylvia Tomiyama, Woody Zhou, Xiaobin Zheng, Zuzana VejrazkovaIntroductionAt Airbnb, millions of data assets exist in a complex ecosystem to inform our business and improve our products. The Data Management team’s mission is to empower the company to manage its data ecosystem at scale.To do this, we need an accurate understanding of all of the assets in our ecosystem and how they relate to each other. In other words, it requires accurate metadata. Our data management platform Metis, named for the Greek goddess of good counsel, is our solution to ensure that t…

How HTTP Streaming can improve page performance and how Airbnb enabled it on an existing codebaseBy: Victor LinIntroductionYou may have heard a joke that the Internet is a series of tubes. In this blog post, we’re going to talk about how we get a cool, refreshing stream of Airbnb.com bytes into your browser as quickly as possible using HTTP Streaming.Let’s first understand what streaming means. Imagine we had a spigot and two options:Fill a big cup, and then pour it all down the tube (the “buffered” strategy)Connect the spigot directly to the tube (the “streaming” strategy)In the buffered strategy, everything happens sequentially — our servers first generate the entire response into a buffe…

Journey Platform: Low-code notification workflow platform that allows technical and non-technical users to create complex workflows through a simple drag and drop user interface.By: Arjun Raman, Ken Snyder, Mengting LiIntroductionEffective communication hinges on delivering the right message, to the right audience, at the right time. At Airbnb, our goal is to engage our users — both guests and hosts — by delivering inspirational and informational notifications through various channels, such as email or in-app messages.Historically at Airbnb, complex notification workflows have been solely managed by engineering teams, with each workflow requiring the deployment of code. As our platform evol…

How Airbnb leverages AWS, Packer, and Terraform to update macOS on hundreds of CI machines in hours instead of daysBy: Michael Bachand, Xianwen ChenAt Airbnb, we run a comprehensive suite of continuous integration (CI) jobs before each iOS code change is merged. These jobs ensure that the main branch remains stable by executing critical developer workflows like building the iOS application and running tests. We also schedule jobs that perform periodic tasks like reporting metrics and uploading artifacts.Many of our iOS CI jobs execute on Macs, which enables running developer tools provided by Apple. CI jobs for all other platforms at Airbnb execute in containers on Amazon EC2 Linux instance…

My Journey to Airbnb — Michael KinotiSaying no to med school and following a dream all the way to Silicon ValleyBecoming a doctor and trying to make it as a DJ have both crossed Michael Kinoti’s mind at one time or another. Instead, we’re lucky to have Michael (who goes by Kinoti) as Airbnb’s Director of Engineering for the Marketing Technology team. He brings with him over 15 years of industry experience at Microsoft and Uber, as well as a global perspective from his childhood in Kenya. Kinoti is passionate about travel and having a large-scale social impact, qualities that align nicely with Airbnb’s mission and vision. Here’s Kinoti’s story in his own words.Doctor, lawyer, or engineer?Any…

A case study in service mesh performance optimizationby: Ying ZhuIntroductionIn this article, we’ll showcase how we identified and addressed a service mesh performance problem at Airbnb, providing insights into the process of troubleshooting service mesh issues.BackgroundAt Airbnb, we use a microservices architecture, which requires efficient communication between services. Initially, we developed a homegrown service discovery system called Smartstack exactly for this purpose. As the company grew, however, we encountered scalability issues¹. To address this, in 2019, we invested in a modern service mesh solution called AirMesh, built on the open-source Istio software. Currently, over 90% of…

Airbnb Categories Blog Series — Part II : ML Categorizationby: Mihajlo Grbovic, Pei Xiong, Pratiksha Kadam, Ying Xiao, Sherry Chen, Weiping Peng, Shukun Yang, Chen Qian, Haowei Zhang, Sebastien Dubois, Nate Ney, James Furnary, Mark Giangreco, Nate Rosenthal, Cole Baker, Aaron Yin, Bill Ulammandakh, Shankar Shetty, Sid Reddy, Egor PakhomovAirbnb 2022 release introduced Categories, a browse focused product that allows the user to seek inspiration by browsing collections of homes revolving around a common theme, such as Lakefront, Countryside, Golf, Desert, National Parks, Surfing, etc. In Part I of our Categories Blog Series we covered the high level approach to creating Categories and showca…

How Airbnb leverages ML to derive guest interest from unstructured text data and provide personalized recommendations to HostsBy: Joy Jing and Jing XiaAt Airbnb, we endeavor to build a world where anyone can belong anywhere. We strive to understand what our guests care about and match them with Hosts who can provide what they are looking for. What better source for guest preferences than the guests themselves?We built a system called the Attribute Prioritization System (APS) to listen to our guests’ needs in a home: What are they requesting in messages to Hosts? What are they commenting on in reviews? What are common requests when calling customer support? And how does it differ by the home…

by Aditya Mavlankar, Zhi Li, Lukáš Krasula and Christos BampisHigh dynamic range (HDR) video brings a wider range of luminance and a wider gamut of colors, paving the way for a stunning viewing experience. Separately, our invention of Dynamically Optimized (DO) encoding helps achieve optimized bitrate-quality tradeoffs depending on the complexity of the content.HDR was launched at Netflix in 2016 and the number of titles available in HDR has been growing ever since. We were, however, missing the systematic ability to measure perceptual quality (VMAF) of HDR streams since VMAF was limited to standard dynamic range (SDR) video signals.As noted in an earlier blog post, we began developing an H…

Netflix was thrilled to be the premier sponsor for the 2nd year in a row at the 2023 Conference on Digital Experimentation (CODE@MIT) in Cambridge, MA. The conference features a balanced blend of academic and industry research from some wicked smart folks, and we’re proud to have contributed a number of talks and posters along with a plenary session.Our contributions kicked off with a concept that is crucial to our understanding of A/B tests: surrogates!Our first talk was given by Aurelien Bibaut (with co-authors Nathan Kallus, Simon Ejdemyr and Michael Zhao) in which we discussed how to confidently measure long-term outcomes using short term surrogates in the presence of bias. For example,…

A framework to identify the causal impact of successful visual components.By Billur Engin, Yinghong Lan, Grace Tang, Cristina Segalin, Kelli Griggs, Vi IyengarIntroductionAt Netflix, we want our viewers to easily find TV shows and movies that resonate and engage. Our creative team helps make this happen by designing promotional artwork that best represents each title featured on our platform. What if we could use machine learning and computer vision to support our creative team in this process? Through identifying the components that contribute to a successful artwork — one that leads a member to choose and watch it — we can give our creative team data-driven insights to incorporate into th…

by Jun He, Yingyi Zhang, and Pawan DixitIncremental processing is an approach to process new or changed data in workflows. The key advantage is that it only incrementally processes data that are newly added or updated to a dataset, instead of re-processing the complete dataset. This not only reduces the cost of compute resources but also reduces the execution time in a significant manner. When workflow execution has a shorter duration, chances of failure and manual intervention reduce. It also improves the engineering productivity by simplifying the existing pipelines and unlocking the new patterns.In this blog post, we talk about the landscape and the challenges in workflows at Netflix. We…

By Abhinaya Shetty, Bharath MummadisettyThis blog post will cover how Psyberg helps automate the end-to-end catchup of different pipelines, including dimension tables.In the previous installments of this series, we introduced Psyberg and delved into its core operational modes: Stateless and Stateful Data Processing. Now, let’s explore the state of our pipelines after incorporating Psyberg.Pipelines After PsybergLet’s explore how different modes of Psyberg could help with a multistep data pipeline. We’ll return to the sample customer lifecycle:Processing Requirement: Keep track of the end-of-hour state of accounts, e.g., Active/Upgraded/Downgraded/Canceled.Solution: One potential approach he…

By Abhinaya Shetty, Bharath MummadisettyIn the inaugural blog post of this series, we introduced you to the state of our pipelines before Psyberg and the challenges with incremental processing that led us to create the Psyberg framework within Netflix’s Membership and Finance data engineering team. In this post, we will delve into a more detailed exploration of Psyberg’s two primary operational modes: stateless and stateful.Modes of Operation of PsybergPsyberg has two main modes of operation or patterns, as we call them. Understanding the nature of the late-arriving data and processing requirements will help decide which pattern is most appropriate for a use case.Stateless Data Processing: …

By Abhinaya Shetty, Bharath MummadisettyAt Netflix, our Membership and Finance Data Engineering team harnesses diverse data related to plans, pricing, membership life cycle, and revenue to fuel analytics, power various dashboards, and make data-informed decisions. Many metrics in Netflix’s financial reports are powered and reconciled with efforts from our team! Given our role on this critical path, accuracy is paramount. In this context, managing the data, especially when it arrives late, can present a substantial challenge!In this three-part blog post series, we introduce you to Psyberg, our incremental data processing framework designed to tackle such challenges! We’ll discuss batch data …

Iroro Orife, Chih-Wei Wu and Yun-Ning (Amy) HungIntroductionWhen you enjoy the latest season of Stranger Things or Casa de Papel (Money Heist), have you ever wondered about the secrets to fantastic story-telling, besides the stunning visual presentation? From the violin melody accompanying a pivotal scene to the soaring orchestral arrangement and thunderous sound-effects propelling an edge-of-your-seat action sequence, the various components of the audio soundtrack combine to evoke the very essence of story-telling. To uncover the magic of audio soundtracks and further improve the sonic experience, we need a way to systematically examine the interaction of these components, typically catego…

Authors:Bruce Wobbe, Leticia KwokAdditional Credits:Sanford Holsapple, Eugene Lok, Jeremy KellyIntroductionAt Netflix, we strive to give our members an excellent personalized experience, helping them make the most successful and satisfying selections from our thousands of titles. We already personalize artwork and trailers, but we hadn’t yet personalized sizzle reels — until now.A sizzle reel is a montage of video clips from different titles strung together into a seamless A/V asset that gets members excited about upcoming launches (for example, our Emmys nominations or holiday collections). Now Netflix can create a personalized sizzle reel dynamically in real time and on demand. The order …

Boris Chen, Ben Klein, Jason Ge, Avneesh Saluja, Guru Tahasildar, Abhishek Soni, Juan Vimberg, Elliot Chow, Amir Ziai, Varun Sekhri, Santiago Castro, Keila Fong, Kelli Griggs, Mallia Sherzai, Robert Mayer, Andy Yao, Vi Iyengar, Jonathan Solorzano-Hamilton, Hossein Taghavi, Ritwik KumarIntroductionToday we’re going to take a look at the behind the scenes technology behind how Netflix creates great trailers, Instagram reels, video shorts and other promotional videos.https://medium.com/media/6aeb87fdbfe58a2396bda687552072c8/hrefSuppose you’re trying to create the trailer for the action thriller The Gray Man, and you know you want to use a shot of a car exploding. You don’t know if that shot ex…

Democratizing Stream Processing @ NetflixBy Guil Pires, Mark Cho, Mingliang Liu, Sujay JainData powers much of what we do at Netflix. On the Data Platform team, we build the infrastructure used across the company to process data at scale.In our last blog post, we introduced “Data Mesh” — A Data Movement and Processing Platform. When a user wants to leverage Data Mesh to move and transform data, they start by creating a new Data Mesh pipeline. The pipeline is composed of individual “Processors” that are connected by Kafka topics. The Processors themselves are implemented as Flink jobs that use the DataStream API.Since then, we have seen many use cases (including Netflix Graph Search) adopt D…

How Netflix’s Container Platform Connects Linux Kernel Panics to Kubernetes PodsBy Kyle AndersonWith a recent effort to reduce customer (engineers, not end users) pain on our container platform Titus, I started investigating “orphaned” pods. There are pods that never got to finish and had to be garbage collected with no real satisfactory final status. Our Service job (think ReplicatSet) owners don’t care too much, but our Batch users care a lot. Without a real return code, how can they know if it is safe to retry or not?These orphaned pods represent real pain for our users, even if they are a small percentage of the total pods in the system. Where are they going, exactly? Why did they go aw…

by David Vroom, James Mulcahy, Ling Yuan, Rob GulewichIn this post we discuss Netflix’s adoption of service mesh: some history, motivations, and how we worked with Kinvolk and the Envoy community on a feature that streamlines service mesh adoption in complex microservice environments: on-demand cluster discovery.A brief history of IPC at NetflixNetflix was early to the cloud, particularly for large-scale companies: we began the migration in 2008, and by 2010, Netflix streaming was fully run on AWS. Today we have a wealth of tools, both OSS and commercial, all designed for cloud-native environments. In 2010, however, nearly none of it existed: the CNCF wasn’t formed until 2015! Since there w…

By: Hamid Shahid, Laura Johnson, Tiffany LowSynopsisAt Netflix, we have created millions of artwork to represent our titles. Each artwork tells a story about the title it represents. From our testing on promotional assets, we know which of these assets have performed well and which ones haven’t. Through this, our teams have developed an intuition of what visual and thematic artwork characteristics work well for what genres of titles. A piece of promotional artwork may resonate more in certain regions, for certain genres, or for fans of particular talent. The complexity of these factors makes it difficult to determine the best creative strategy for upcoming titles.Our assets are often create…

By Arthur Gonigberg, Argha CPlaintext PastWhen Zuul was designed and developed, there was an inherent assumption that connections were effectively free, given we weren’t using mutual TLS (mTLS). It’s built on top of Netty, using event loops for non-blocking execution of requests, one loop per core. To reduce contention among event loops, we created connection pools for each, keeping them completely independent. The result is that the entire request-response cycle happens on the same thread, significantly reducing context switching.There is also a significant downside. It means that if each event loop has a connection pool that connects to every origin (our name for backend) server, there wo…

Improving Efficiency Of Goku Time Series Database at Pinterest (Part — 1)Monil Mukesh Sanghavi, Kapil Bajaj, Ming-May Hu, Xiao Li and Zhenxiao LuoIntroductionAt Pinterest, one of the pillars of the observability stack provides internal engineering teams (our users) the opportunity to monitor their services using metrics data and set up alerting on it. Goku is our in-house time series database providing cost efficient and low latency storage for metrics data. Underneath, Goku is not a single cluster but a collection of sub-service components including:Goku Short Term (in-memory storage for the last 24 hours of data and referred to as GokuS)Goku Long Term (ssd and hdd based storage for older …

Jeff Xiang | Software Engineer, Logging PlatformVahid Hashemian | Software Engineer, Logging PlatformJesus Zuniga | Software Engineer, Logging PlatformAt Pinterest, data is ingested and transported at petabyte scale every day, bringing inspiration for our users to create a life they love. A central component of data ingestion infrastructure at Pinterest is our PubSub stack, and the Logging Platform team currently runs deployments of Apache Kafka and MemQ. Over the years, operational experience has taught us that our customers and business would greatly benefit from a unified PubSub interface that the platform team owns and maintains, so that application developers can focus on application l…

Harry Zhang, Jiajun Wang, Yi Li, Shunyao Li, Ming Zong, Haniel Martino, Cathy Lu, Quentin Miao, Hao Jiang, James Wen, David Westbrook | Cloud Runtime TeamImage Source: https://unsplash.com/photos/ZfVyuV8l7WUOverviewModern compute platforms are foundational to accelerating innovation and running applications more efficiently. At Pinterest, we are evolving our compute platform to provide an application-centric and fully managed compute API for the 90th percentile of use cases. This will accelerate innovation through platform agility, scalability, and a reduced cost of keeping systems up to date, and will improve efficiency by running our users’ applications on Kubernetes-based compute. We ref…

IntroductionEach year, we host Makeathon, our annual internal version of a hackathon, where employees from across the business collaborate for three days to bring their dream passion projects to life. The ideas they pitch have a goal to improve our product, culture, internal processes or a combination of the three. This year, Makeathon was hosted from August 7–August 11. Groups connected from Monday through Wednesday, presentations were shared on Thursday in our Science Fair and we wrapped up the week with our Grand Awards Ceremony on Friday.Today, we’re going behind the curtains and interviewing two employees who will share more about Makeathon 2023. First up, we’ll interview Chief Hack Do…

Charles Wu | Software Engineer; Isabel Tallam | Software Engineer; Kapil Bajaj | Engineering ManagerOverviewIn this blog, we present a pragmatic way of integrating analytics, written in Python, with our distributed anomaly detection platform, written in Java. The approach here could be generalized to integrate processing done in one language/paradigm into a platform in another language/paradigm.BackgroundWarden is the distributed anomaly detection platform at Pinterest. It aims to be fast, scalable, and end-to-end: starting from fetching the data from various data sources to be analyzed, and ending with pushing result notifications to tools like Slack.Warden started off as a Java Thrift ser…

Each summer, Pinterest welcomes Software Engineering Pinterns who spend 12 weeks with us creating impact within our product and teams. While Pinterns are fully immersed in their teams throughout the summer, they also get to attend exciting activities and events hosted by the University Recruiting team and within the company.Here’s a quick recap from this summer:Social events were a hit with boba tea making, creating your own vision board, chocolate making and a virtual escape room.Our University Recruiting Team hosted professional development workshops to drive skill-building and discuss topics like imposter syndrome, time management and productivity.Pinterns attended executive coffee chats…

Sanchay Javeria | Software Engineer, Ads Data InfrastructureTo support metrics reporting for ads from external advertisers and real-time ad budget calculations at Pinterest, we run streaming pipelines using Apache Flink. These jobs have guaranteed an overall 99th percentile availability to our users; however, every once in a while some tasks get hit with nasty direct out-of-memory (OOM) errors on multiple operators that look something like this:As is the case with most failures in a distributed system, this often leads to cascading failures elsewhere leaving a trail of red herrings in its wake. Pinterest’s Flink platform supports automatic job retries when task failures exceed a configurabl…

Fan Jiang | Software Engineer, Closeup Candidate Retrieval; Liyao Lu | Software Engineer, Closeup Ranking & Blending; Laksh Bhasin | Software Engineer, Core ML Foundations; Chen Yang | Software Engineer, Core ML Foundations; Shivin Thukral | Software Engineer, Closeup Ranking & Blending; Travis Ebesu | Software Engineer, Closeup Ranking & Blending; Kent Jiang | Software Engineer, Core Serving Infra; Yan Sun | Engineering Manager, Closeup Ranking & Blending; Huizhong Duan | Engineering Manager, Closeup RelevanceIntroductionPinterest’s mission is- to bring everyone the inspiration to create a life they love. The closeup team helps with this mission by providing a feed of relevant and context-…

Pedro Silva | Sr. ML Engineer & Inclusive AI Tech Lead; Bhawna Juneja | Sr. Machine Learning Engineer; Rohan Mahadev | Machine Learning Engineer II; Sujay Khandagale | Machine Learning Engineer II; Abhay Varmaraja | Machine Learning Engineer IIPinterest’s mission as a company is to bring everyone the inspiration to create a life they love. “Everyone” has been the north star for our Inclusive AI and Inclusive Product teams. These teams work together to ensure algorithmic fairness, inclusive design, and representation are an integral part of our platform and product experience.Our commitment is evidenced by our history of building products that champion inclusivity. In 2018, Pinterest announc…

Raymond Lee | Software Engineer II; Qingxian Lai | Sr. Software Engineer; Karthik Anantha Padmanabhan | Manager II, Engineering; Se Won Jang | Manager II, EngineeringPhoto by Claudio Schwarz on UnsplashOur mission at Pinterest is to bring everyone the inspiration to create the life they love. Machine Learning plays a crucial role in this mission. It allows us to continuously deliver high-quality inspiration to our 460 million monthly active users, curated from billions of pins on our platform. Behind the scenes, hundreds of ML engineers iteratively improve a wide range of recommendation engines that power Pinterest, processing petabytes of data and training thousands of models using hundred…

Pong Eksombatchai | Principal Engineer; Karthik Anantha Padmanabhan | Manager II, EngineeringImage from https://unsplash.com/photos/w7ZyuGYNpRQPinterest’s mission is to bring everyone the inspiration to create a life they love. We rely on an extensive suite of AI powered products to connect over 460M users to hundreds of billions of Pins, resulting in hundreds of millions of ML inferences per second, hundreds of thousands of ML training jobs per month by just a couple of hundreds of ML engineers.In 2021, ML was siloed at Pinterest with 10+ different ML frameworks relying on different deep learning frameworks, framework versions, and boilerplate logic to connect with our ML platform. It was …

An interview with Behnam Rezaei | Pinterest VP, EngineeringAt Pinterest, we’re on a mission to bring everyone the inspiration to create a life they love. For our employees, this extends further to creating the life and career they love. The Pinterest Engineering Blog team sat down with Behnam Rezaei to get an inside scoop into the Monetization Engineering team, what makes Pinterest different and why now is a great time to join our team.Joining Pinterest in March 2023, Behnam Rezaei is Pinterest’s VP for Monetization — Machine Learning Engineering and Data Science based in San Francisco.Can you share more about your team at Pinterest?What’s the goal of the team? What are the biggest opportun…

Soam Acharya | Data Engineering Oversight; Keith Regier | Data Privacy Engineering ManagerBackgroundBusinesses collect many different types of data. Each dataset needs to be securely stored with minimal access granted to ensure they are used appropriately and can easily be located and disposed of when necessary. As businesses grow, so does the variety of these datasets and the complexity of their handling requirements. Consequently, access control mechanisms also need to scale constantly to handle the ever-increasing diversification. Pinterest decided to invest in a newer technical framework to implement a finer grained access control (FGAC) framework. The result is a multi-tenant Data Engi…

Brian Overstreet | Software Engineer, Observability; Humsheen Geo | Software Engineer, ObservabilityTime series is a critical part of Observability at Pinterest, powering 60,000 alerts and 5,000 dashboards. A time series is an identifier with values where the values are associated with a timestamp. Given the widespread use and critical nature of time series, it’s important to give engineers the ability to adequately express what operations to perform on the time series in a readable, understandable, and efficient manner. In this post, we will cover the background of time series at Pinterest, the goals of designing an expressive time series language, and some examples of how we are using thi…

Meta is building for the future of AI at every level — from hardware like MTIA v1, Meta’s first-generation AI inference accelerator to publicly released models like Llama 2, Meta’s next-generation large language model, as well as new generative AI tools like Code Llama. Delivering next-generation AI products and services at Meta’s scale also requires [...]

Read More...

The post Watch: Meta’s engineers on building network infrastructure for AI appeared first on Engineering at Meta.

Olivia Wu, Meta’s Technical Lead for Infra Silicon, discusses the design and development of Meta’s first-generation AI inference accelerator. [...]

Read More...

The post How Meta is creating custom silicon for AI appeared first on Engineering at Meta.

Meta presents Chakra execution traces, an open graph-based representation of AI/ML workload execution, laying the foundation for benchmarking and network performance optimization. Chakra execution traces represent key operations, such as compute, memory, and communication, data and control dependencies, timing, and resource constraints. In collaboration with MLCommons, we are seeking industry-wide adoption for benchmarking. Meta open [...]

Read More...

The post Using Chakra execution traces for benchmarking and network performance optimization appeared first on Engineering at Meta.

We’re introducing Arcadia, Meta’s unified system that simulates the compute, memory, and network performance of AI training clusters. Extracting maximum performance from an AI cluster and increasing overall efficiency warrants a multi-input system that accounts for various hardware and software parameters across compute, storage, and network collectively. Arcadia gives Meta’s researchers and engineers valuable insights [...]

Read More...

The post Arcadia: An end-to-end AI system performance simulator appeared first on Engineering at Meta.

[...]

Read More...

The post Code Llama: Meta’s state-of-the-art LLM for coding appeared first on Engineering at Meta.

[...]

Read More...

The post Meta Connect 2023: September 27 – 28 appeared first on Engineering at Meta.

Explore is one of the largest recommendation systems on Instagram. We leverage machine learning to make sure people are always seeing content that is the most interesting and relevant to them. Using more advanced machine learning models, like Two Towers neural networks, we’ve been able to make the Explore recommendation system even more scalable and [...]

Read More...

The post Scaling the Instagram Explore recommendations system appeared first on Engineering at Meta.

[...]

Read More...

The post MSVP is Meta’s first video processing ASIC appeared first on Engineering at Meta.

[...]

Read More...

The post Meta introduces its first-generation AI inference accelerator appeared first on Engineering at Meta.

Sometimes a shiny new feature brings more harm than good. The reason is simple — application size. Any addition to the application — be it code for a new feature, an image resource for a new button or even support for a new localization — contributes to the increase of the application’s size.

The post The What, Why, and How of Mastering App Size appeared first on Spotify Engineering.

This week at KubeCon + CloudNativeCon in Chicago, the Cloud Native Computing Foundation announced that Spotify won their Top End User Award. The post Spotify Wins CNCF Top End User Award for the Second Time! appeared first on Spotify Engineering.

Spotify runs paid marketing campaigns across the globe on various digital ad platforms. Being efficient with our marketing budget is critical for maximizing the return on ad spend.

The post How We Automated Content Marketing to Acquire Users at Scale appeared first on Spotify Engineering.

For the past decade, Spotify has used approximate nearest-neighbor search technology to power our personalization, recommendation, and search systems. These technologies allow engineers and researchers to build systems that recommend similar items (like similar tracks, artists, or albums) without needing to run slow and expensive machine learning algorithms in real time. Spotify led the pack [...]

The post Introducing Voyager: Spotify’s New Nearest-Neighbor Search Library appeared first on Spotify Engineering.

TL;DR It’s back! Last year, we created the Spotify FOSS Fund to help support the free and open source software projects we use at Spotify. We’re excited to announce that the fund has returned for 2023, and the recipients have been selected. This year, the fund’s 100,000 EUR are going to the following four projects: [...]

The post Announcing the Recipients of the 2023 Spotify FOSS Fund appeared first on Spotify Engineering.

What is “Exclude from your taste profile”? Are you a parent forced to put the Bluey theme song on repeat? Do you work from home and play lofi beats or ambient piano music? Do you fall asleep to peaceful ambient noises? Are you bummed out when these songs come up as your most listened to [...]

The post Exclude from Your Taste Profile appeared first on Spotify Engineering.

At Spotify, we have experimented with the Bazel build system since 2017. Over the years, the project has matured, and support for more languages and ecosystems have been added, thanks to the open source community and its maintainers at Google. In 2020, it became clear that the future of our client development required a unified [...]

The post Switching Build Systems, Seamlessly appeared first on Spotify Engineering.

How does Spotify manage a sprawling tech ecosystem made up of 500+ squads managing over 10,000 software components in production? Last November, Google Cloud distinguished engineer Kelsey Hightower met with Spotify chief architect Niklas Gustavsson at Spotify’s office in Gothenburg, Sweden, to talk about just that. Watch the video below to hear the two go [...]

The post Managing Software at Scale: Kelsey Hightower Talks with Niklas Gustavsson about Fleet Management appeared first on Spotify Engineering.

When we want to determine the causal effect of a product or business change at Spotify, A/B testing is the gold standard. However, in some cases, it’s not possible to run A/B tests. For example, when the intervention is an exogenous shock we can’t control, such as the COVID pandemic. Or when using experimental control [...]

The post How to Accurately Test Significance with Difference in Difference Models appeared first on Spotify Engineering.

At Spotify, we run a lot of A/B tests. Most of these tests follow a standard design, where we assign users randomly to control and treatment groups, and then observe the difference in outcomes between these two groups. Usually, the control group, also known as the “holdout” group, retains the current experience, while the treatment [...]

The post Encouragement Designs and Instrumental Variables for A/B Testing appeared first on Spotify Engineering.

As companies mature, it’s easy to believe that the core experience and most user needs have been resolved, and all that’s left to work toward are the marginal benefits, the cherries on top. Cherries on top might add delight and panache, but they rarely cause fundamental shifts in performance and success. And as a business, [...]

The post Experimentation at Spotify: Three Lessons for Maximizing Impact in Innovation appeared first on Spotify Engineering.

TL;DR: Spotify is releasing a new commercial product for software development teams: a version of our homegrown experimentation platform that we’re calling Confidence. Based on everything we’ve learned over the last 10+ years about what it takes to enable experimentation at scale, the platform makes it easy for teams to set up, run, coordinate, and [...]

The post Coming Soon: Confidence — An Experimentation Platform from Spotify appeared first on Spotify Engineering.

In Part 1 of this series, we introduced the within-unit peeking problem that we call the “peeking problem 2.0”. We showed that moving from single to multiple observations per unit in analyses of experiments introduces new challenges and pitfalls with regards to sequential testing. We discussed the importance of being clear about the distinctions between [...]

The post Bringing Sequential Testing to Experiments with Longitudinal Data (Part 2): Sequential Testing appeared first on Spotify Engineering.

Spotify’s approach to challenges in sequential testing with longitudinal data At Spotify, we’re constantly improving our data infrastructure, which means we can get feedback on experiments earlier and earlier. To allow for early feedback in a risk-managed manner, we use sequential tests to monitor regressions in the experiments. However, when moving toward smaller and smaller [...]

The post Bringing Sequential Testing to Experiments with Longitudinal Data (Part 1): The Peeking Problem 2.0 appeared first on Spotify Engineering.

Snowflake partner TCS offers tips for migrating historical data to Snowflake. The post Best Practices for Migrating Historical Data to Snowflake appeared first on Snowflake.

Snowflakes enables FAIR data in precision medicine

How the Data Cloud powers secure access to the world’s biomedical patient data

The post Snowflake and the Pursuit Of Precision Medicine appeared first on Snowflake.

Reinventing ERP Insights With Maxa and Snowflake Native Apps: Maxa’s native app redefines how companies access financial and operational data insights

The post Reinventing ERP Insights With Maxa and Snowflake Native Apps appeared first on Snowflake.

Welcome to Snowflake’s Startup Spotlight, where we learn about awesome companies building businesses on Snowflake. In this edition, find out how Hum is applying the power of AI and large language models (LLMs) to help publishers build stronger customer relationships, and how the mantra of “build what people want” helped their leadership team make the […]

The post Startup Spotlight: Hum Applies AI and LLMs to Help Publishers ‘Own’ Their Audiences appeared first on Snowflake.

Predictions for the Dawning AI Age

Advanced AI really will change everything. Here’s what to expect in 2024 and beyond.

The post Predictions for the Dawning AI Age: What to Expect in 2024 and Beyond appeared first on Snowflake.

Explore the benefits of building with these Snowflake innovations

The post Next-Level Apps with Snowpark Container Services and Snowflake Native Apps appeared first on Snowflake.

Top gen AI use cases and challenges in telecom.

The post Generative AI Is The Key To Transforming The Telecom Industry appeared first on Snowflake.

Learn why Snowflake’s dev conference BUILD 2023 is a must-attend event for application developers, data engineers, data architects, and data scientists.

The post 5 Reasons to Attend BUILD 2023: The Dev Conference for AI & Apps appeared first on Snowflake.

See why Snowflake’s healthcare customers rate the Data Cloud high in performance and cost savings. Each year, KLAS Research interviews thousands of healthcare professionals about the IT solutions and services their organizations use. Since 1996, the analyst firm has been leading the healthcare IT (HIT) industry in providing accurate, honest and impartial insights about vendor […]

The post Snowflake Customers Rank Cost-Effectiveness and Ease-of-Use as Top Benefits in New KLAS Research Report appeared first on Snowflake.

Atlan and Snowflake partner to quickly deliver seamless regulatory compliance solution

The post How Financial Platform Tide Automated GDPR Compliance With Atlan and Snowflake appeared first on Snowflake.

How Modern Automotive Companies Can Generate Value With Connected Mobility

Ways automotive companies are using connected mobility data to unlock new opportunities

The post How Modern Automotive Companies Can Generate Value With Connected Mobility appeared first on Snowflake.

Snowflake accomplishes CE+ certification, indicating its continued commitment to cybersecurity across regions. The post Snowflake Announces Cyber Essentials Plus Certification appeared first on Snowflake.

5 Reasons Why Retail Media Is the Smart Approach for Online Retailers

Use data to power your retail media campaigns

The post 5 Reasons Why Retail Media Is the Smart Approach for Online Retailers appeared first on Snowflake.

In the ever-evolving world of data management, Snowflake is at the forefront of empowering our customers to make informed decisions about data while ensuring cost efficiency and control. Admins know that managing and optimizing platform costs can be a complex and time-consuming task. To help them more intuitively understand, control and optimize spend from one […]

The post Better Manage and Optimize Your Snowflake Spend In One Place With the New Cost Management Interface appeared first on Snowflake.

Snowflake’s single, cross-cloud governance model has always been a powerful differentiator, enabling customers to manage their increasingly complex data ecosystems with simplicity and ease. As a result, Snowflake is enhancing its governance capabilities that thousands of customers already rely on through Snowflake Horizon. Snowflake Horizon is Snowflake’s built-in governance solution with a unified set of […]

The post Announcing New Innovations for Snowflake Horizon appeared first on Snowflake.

Bucket Layouts in Apache Ozone

The post Apache Ozone – A Multi-Protocol Aware Storage System appeared first on Cloudera Blog.

What is a dead letter queue (DLQ)? Cloudera SQL Stream builder gives non-technical users the power of a unified stream processing engine so they can integrate, aggregate, query, and analyze both streaming and batch data sources in a single SQL interface. This allows business users to define events of interest for which they need to […]

The post Using Dead Letter Queues with SQL Stream Builder appeared first on Cloudera Blog.

CDO Spotlight

The post Trusted Data: Alchemy For Misinformation appeared first on Cloudera Blog.

What are materialized views and how to configure them

The post Materialized Views in SQL Stream Builder appeared first on Cloudera Blog.

Developing and using custom User Defined Functions on SSB

The post Implementing and Using UDFs in Cloudera SQL Stream Builder appeared first on Cloudera Blog.

Special co-author credits: Adam Andras Toth, Software Engineer Intern With enterprises’ needs for data analytics and processing getting more complex by the day, Cloudera aims to keep up with these needs, offering constantly evolving, cutting-edge solutions to all your data related problems. Cloudera Stream Processing aims to take real-time data analytics to the next level. […]

The post Job Notifications in SQL Stream Builder appeared first on Cloudera Blog.

A study of the impact of suboptimal Spark code on performance

The post Spark Technical Debt Deep Dive appeared first on Cloudera Blog.

We have talked about some of the biggest changes that AI technology has created in recent years. Countless industries have been impacted by ChatGPT and other forms of AI technology. The healthcare sector is among the biggest impacted by advances in AI. Demand for AI in healthcare is growing around 40% a year. This is […]

Big data and AI technology have created a number of major changes in recent years. The proliferation of tools like MidJourney and ChatGPT have has disrupted the marketing profession in ways that were unimaginable just a year ago. In January, Reuters reported that ChatGPT had 100 million users, but that figure rose to 185 million […]

Anybody familiar with the nature of technology recognizes the contributions of artificial intelligence. AI technology has been instrumental in transforming the healthcare and financial industries, as well as many other sectors. Fewer people talk about the role that AI has played in the creative arts professions. However, there are a number of reasons that AI […]

One of the trickiest things for businesses to navigate in the age of social media is the customer complaint. On one hand, companies (especially startups) should take customer concerns into account when considering improvements or design changes to a product. Let’s take a look at why it matters and possible motivations for malicious complaints, and […]

AI technology has been one of the most disruptive technological changes of the past couple of years. One forecast reports that the market for AI will be worth over $594 billion by 2032. The growing number of people using AI services such as ChatGPT is a testament to how influential AI has become. Last month, […]

Data analytics technology has helped change the future of modern business. The ecommerce sector is among those most affected by advances in analytics. We have previously pointed out that a number of ecommerce sites are using data analytics to optimize their business models. Therefore, it should be no surprise that the market for data analytics […]

AI technology has been a gamechanger for the video streaming industry. Some of the largest video streaming services, such as Netflix and Hulu use AI to provide the highest quality video streaming benefits to their customers. Of course, there are still some limitations with using AI to create higher quality video streaming experiences. Last month, […]

AI technology plays a very important role in photo editing and manipulation. In June, The New York Times published a fascinating article on some of the many ways that AI can help create amazing photos and visuals. However, AI can be equally important in some less exciting ways. One of the other advantages of AI […]

Marketing analytics has become a dealmaker in the business world. Companies are projected to spend over $10 billion on marketing analytics technology in 2028. The digital marketing sector is among those most influenced by the benefits of analytics technology. Why Are More Companies Investing in Analytics to Bolster their Digital Marketing Strategies? Data analytics has […]

Data analytics offers a number of benefits for growing organizations. One of the biggest advantages is that it can bolster employee productivity. A highly productive team enables an organization to meet its goals and objectives. High-performing teams are usually more engaged in their professional associations and work, increasing the likelihood of producing better results. Productive […]

Description: Looking for a comparison between Jira Service Management and Zendesk? Discover the key differences between these two popular platforms in our comprehensive guide. Big data and technical support services are twin pillars of successful organizations. There are a growing number of platforms that help companies use analytics to offer better technical support. This is […]

AI poses a number of benefits and risks for modern businesses. One of the most striking examples is in the field of cybersecurity. One poll found that 56% of companies use AI to enhance their cybersecurity strategies. A number of hackers are using AI to exploit their targets more easily. On the other hand, many […]

There are a lot of articles on making presentations about AI technology, such as this article from Medium. However, AI can also be used to create powerful presentations on just about any topic. AI technology has turned the process for coordinating conventional business meetings on its head. More organizations are using sophisticated AI tools to […]

In the vast realm of technology, chatbots have emerged as a revolutionary tool, bridging the gap between humans and machines. These digital assistants, initially designed to follow pre-set scripts, have now evolved into sophisticated entities capable of understanding and responding to complex human emotions and queries. But what’s the secret behind their enhanced conversational abilities? […]

More companies are turning to data analytics technology to improve efficiency, meet new milestones and gain a competitive edge in an increasingly globalized economy. One of the many ways that data analytics is shaping the business world has been with advances in business intelligence. The market for business intelligence technology is projected to exceed $35 […]

Reading Time: 3 minutes Overview This Blog will see how we could use Spring WebFlux WebClient for making non-blocking HTTP requests. What Is the WebClient? Just put, the WebClient class which provides a common method for sending or receiving data from any local, intranet, or Internet resource which is identified by a URI. The WebClient class uses the WebRequest class which provides the access to resources. It is an interface that stands for Continue Reading

The post Spring WebFlux — WebClient – Duplicate – [#180397] appeared first on Knoldus Blogs.

Reading Time: < 1 minute The post An Introduction to Kafka’s Internals – Duplicate – [#159280] appeared first on Knoldus Blogs.

Reading Time: 5 minutes In a microservice architecture, There are multiple services connecting threw each other and there is always the possibility that the other service being called is unavailable or unable to respond. So, what can we do then? Here resilience4j circuit breaker comes into the picture INTRODUCTION Resilience is essential for any system that needs to function effectively, and the resilience4j Circuit Breaker is no exception. The Continue Reading

The post Introduction to Resilience4j Circuit Breaker appeared first on Knoldus Blogs.

Reading Time: 6 minutes In this blog, we will get the opportunity to come across what Kafka is, and explain how Kafka works from the inside out. How does it replicate data between nodes, what happens if replication fails, and how do consumers scale-out automatically? Insights of Apache Kafka Kafka is a statistics streaming system that permits builders to react to new activities as they arise in real-time. Kafka Continue Reading

The post An Introduction to Kafka’s Internals appeared first on Knoldus Blogs.

Reading Time: 3 minutes Overview This Blog will see how we could use Spring WebFlux WebClient for making non-blocking HTTP requests. What Is the WebClient? Just put, the WebClient class which provides a common method for sending or receiving data from any local, intranet, or Internet resource which is identified by a URI. The WebClient class uses the WebRequest class which provides the access to resources. It is an interface that stands for Continue Reading

The post Spring WebFlux — WebClient appeared first on Knoldus Blogs.

Reading Time: 9 minutes This is Part 2 of an ongoing series of blogs explaining the use cases of Apache HttpClient(Part-1). This blog is going to take you a step ahead and help you know more about the various use cases such as Authentication, Connection Pooling, Cookie Management, GZIP Compression, Multithreading, Content-Encoding, Redirection, and Retries 1. Authentication It’s important to use secure connections (HTTPS) when sending sensitive information over Continue Reading

The post Use-Cases of Apache HttpClient appeared first on Knoldus Blogs.

Reading Time: 3 minutes Introduction Spring Boot is a popular Java-based framework that provides a rapid development environment for building web applications. One of the most important components of any web application is a database. In this blog, we will discuss how to establish an SQL connection in Spring Boot with JPA. SQL Connection with Spring Boot Spring Boot provides support for the Java Persistence API (JPA), which is Continue Reading

The post MySql connection with Spring boot using JPA appeared first on Knoldus Blogs.

Reading Time: 6 minutes What is Zio? ZIO is a functional programming library for building concurrent and asynchronous applications in Scala. It provides a set of composable and type-safe abstractions for managing side effects, such as IO, error handling, and concurrency primitives like fibers, promises, and queues. ZIO is designed to make it easier to write correct and performant concurrent code by providing a more expressive and composable API Continue Reading

The post Getting started with Zio-Http appeared first on Knoldus Blogs.

Reading Time: 6 minutes Design thinking is a problem-solving approach that places the needs and experiences of the end-user at the center of the process. It is a human-centered approach to innovation and problem-solving that involves empathy, creativity, and experimentation. In project management, design thinking is used to develop innovative solutions to complex problems, with the goal of creating products or services that meet the needs of the end-user. Continue Reading

The post Design Thinking in Project Management appeared first on Knoldus Blogs.

Reading Time: 7 minutes Functional programming helps to solve problems in an easier way. Unlike other programming paradigms, such as imperative programming, functional programming focuses on what needs to be done rather than how it should be done. Functional programming also relies on higher-order functions, which are functions that take other functions as arguments or return functions as results. This allows for the composition of functions, which can simplify code Continue Reading

The post Functional programming appeared first on Knoldus Blogs.

Reading Time: 3 minutes A transition is an animation usually used to move content in or out of view. Transitions help to make a UI expressive and easy to use.

The post Make Transitions in React with Material UI appeared first on Knoldus Blogs.

Reading Time: 3 minutes In the browser, DOM manipulation is expensive and time-consuming, both in mounting and unmounting. Part of what makes React very performant is its Reconciliation algorithm. In short, it watches closely for differences, only updates the DOM when necessary, and tries to update only the parts which need to be changed. In this blog, we will explore how DOM manipulation gets easier with the reconciliation algorithm Continue Reading

The post How Does React updates DOM so Efficiently? appeared first on Knoldus Blogs.

Last month I wrote a blog called, ‘The Future of Data Science: Job Trends, Skills, and Technologies You Need to Know’. Its primary aim was to provide context and familiarity around the data science job market. It emphasized the on-going importance of staying informed about the evolving landscape of the field, adapting to technological advancements, […]

The post Navigating the Numbers: A Comparative Analysis of Data Science Job Trends in Toronto vs. North America appeared first on WeCloudData.

I almost called this blog ‘Things I Would Have Loved to Have Known Before Starting Out on a Career in Data Science’. Given the content of this blog, that sentiment remains true. I think the information contained here will be valuable to anyone looking to meaningfully and concretely familiarize themselves with the data science landscape […]

The post The Future of Data Science: Job Trends, Skills, and Technologies You Need to Know appeared first on WeCloudData.

The ability to quickly build and deploy machine learning (ML) models is becoming increasingly important in today’s data-driven world. However, building ML models requires significant time, effort, and specialized expertise. From data collection and cleaning to feature engineering, model building, tuning, and deployment, ML projects often take months for developers to complete. And experienced data […]

In-memory databases are ideal for applications that require microsecond response times and high throughput, such as caching, gaming, session stores, geo-spatial services, queuing, real-time data analytics and feature stores for machine learning (ML). In this In-Memory Database Bluebook, we provide you with a list of Amazon ElastiCache and Amazon MemoryDB for Redis code samples and […]

We are excited to announce the availability of AWS Database Migration Service (AWS DMS) replication engine version 3.5.1. This version provides improvements covering data validation, support for new endpoints, and endpoint settings that were requested by many of our customers. In this post, we highlight a few key features. For the entire list of improvements, […]

Launched in 2019, Amazon SageMaker Studio provides one place for all end-to-end machine learning (ML) workflows, from data preparation, building and experimentation, training, hosting, and monitoring. As we continue to innovate to increase data science productivity, we’re excited to announce the improved SageMaker Studio experience, which allows users to select the managed Integrated Development Environment (IDE) […]

As organizations scale the adoption of machine learning (ML), they are looking for efficient and reliable ways to deploy new infrastructure and onboard teams to ML environments. One of the challenges is setting up authentication and fine-grained permissions for users based on their roles and activities. For example, MLOps engineers typically perform model deployment activities, […]

Automated tools and services greatly reduce the costs and risks of migrating on-premises databases or data warehouses to the AWS cloud. The AWS Database Migration Service (AWS DMS) supports over a dozen database systems as sources or targets. If DMS supports your source and target databases, we recommend using AWS DMS for your migration. There […]

We believe generative AI has the potential over time to transform virtually every customer experience we know. The number of companies launching generative AI applications on AWS is substantial and building quickly, including adidas, Booking.com, Bridgewater Associates, Clariant, Cox Automotive, GoDaddy, and LexisNexis Legal & Professional, to name just a few. Innovative startups like Perplexity […]

Amazon SageMaker is a fully managed service that enables developers and data scientists to quickly and easily build, train, and deploy machine learning (ML) models at scale. SageMaker makes it easy to deploy models into production directly through API calls to the service. Models are packaged into containers for robust and scalable deployments. SageMaker provides […]

Amazon SageMaker is a fully managed service that enables developers and data scientists to quickly and effortlessly build, train, and deploy machine learning (ML) models at any scale. SageMaker makes it straightforward to deploy models into production directly through API calls to the service. Models are packaged into containers for robust and scalable deployments. Although […]

AWS IAM Identity Center (IdC) allows you to manage single sign-on (SSO) access to all your AWS accounts and applications from a single location. We are pleased to announce that Amazon Redshift now integrates with AWS IAM Identity Center, and supports trusted identity propagation, allowing you to use third-party Identity Providers (IdP) such as Microsoft Entra ID (Azure AD), Okta, Ping, […]

Today, we are excited to announce support for Code Editor, a new integrated development environment (IDE) option in Amazon SageMaker Studio. Code Editor is based on Code-OSS, Visual Studio Code Open Source, and provides access to the familiar environment and tools of the popular IDE that machine learning (ML) developers know and love, fully integrated […]

In this post, we explore how to use the AWS Glue native connector for Teradata Vantage to streamline data integrations and unlock the full potential of your data. Businesses often rely on Amazon Simple Storage Service (Amazon S3) for storing large amounts of data from various data sources in a cost-effective and secure manner. For […]

As democratization of foundation models (FMs) becomes more prevalent and demand for AI-augmented services increases, software as a service (SaaS) providers are looking to use machine learning (ML) platforms that support multiple tenants—for data scientists internal to their organization and external customers. More and more companies are realizing the value of using FMs to generate […]

As organizations deploy models to production, they are constantly looking for ways to optimize the performance of their foundation models (FMs) running on the latest accelerators, such as AWS Inferentia and GPUs, so they can reduce their costs and decrease response latency to provide the best experience to end-users. However, some FMs don’t fully utilize […]

Amazon SageMaker makes it straightforward to deploy machine learning (ML) models for real-time inference and offers a broad selection of ML instances spanning CPUs and accelerators such as AWS Inferentia. As a fully managed service, you can scale your model deployments, minimize inference costs, and manage your models more effectively in production with reduced operational […]

Amazon SageMaker Canvas is a no-code workspace that enables analysts and citizen data scientists to generate accurate machine learning (ML) predictions for their business needs. Starting today, SageMaker Canvas supports advanced model build configurations such as selecting a training method (ensemble or hyperparameter optimization) and algorithms, customizing the training and validation data split ratio, and […]

Building foundation models (FMs) requires building, maintaining, and optimizing large clusters to train models with tens to hundreds of billions of parameters on vast amounts of data. Creating a resilient environment that can handle failures and environmental changes without losing days or weeks of model training progress is an operational challenge that requires you to […]

Digital publishers are continuously looking for ways to streamline and automate their media workflows to generate and publish new content as rapidly as they can, but without foregoing quality. Adding images to capture the essence of text can improve the reading experience. Machine learning techniques can help you discover such images. “A striking image is […]

The risks associated with generative AI have been well-publicized. Toxicity, bias, escaped PII, and hallucinations negatively impact an organization’s reputation and damage customer trust. Research shows that not only do risks for bias and toxicity transfer from pre-trained foundation models (FM) to task-specific generative AI services, but that tuning an FM for specific tasks, on […]

Data preparation is a crucial step in any machine learning (ML) workflow, yet it often involves tedious and time-consuming tasks. Amazon SageMaker Canvas now supports comprehensive data preparation capabilities powered by Amazon SageMaker Data Wrangler. With this integration, SageMaker Canvas provides customers with an end-to-end no-code workspace to prepare data, build and use ML and […]

In the last few years Large Language Models (LLMs) have risen to prominence as outstanding tools capable of understanding, generating and manipulating text with unprecedented proficiency. Their potential applications span from conversational agents to content generation and information retrieval, holding the promise of revolutionizing all industries. However, harnessing this potential while ensuring the responsible and […]

In today’s rapidly evolving landscape of artificial intelligence, deep learning models have found themselves at the forefront of innovation, with applications spanning computer vision (CV), natural language processing (NLP), and recommendation systems. However, the increasing cost associated with training and fine-tuning these models poses a challenge for enterprises. This cost is primarily driven by the […]

This is a guest post co-written with Arun Sudhir from Eightfold AI. Eightfold is transforming the world of work by providing solutions that empower organizations to recruit and retain a diverse global workforce. Eightfold is a leader in AI products for enterprises to build on their talent’s existing skills. From Talent Acquisition to Talent Management […]

dbt is an open source, SQL-first templating engine that allows you to write repeatable and extensible data transforms in Python and SQL. dbt focuses on the transform layer of extract, load, transform (ELT) or extract, transform, load (ETL) processes across data warehouses and databases through specific engine adapters to achieve extract and load functionality. It […]

Amazon SageMaker Studio provides a fully managed solution for data scientists to interactively build, train, and deploy machine learning (ML) models. Amazon SageMaker notebook jobs allow data scientists to run their notebooks on demand or on a schedule with a few clicks in SageMaker Studio. With this launch, you can programmatically run notebooks as jobs […]

In 2013, Amazon Web Services revolutionized the data warehousing industry by launching Amazon Redshift, the first fully-managed, petabyte-scale, enterprise-grade cloud data warehouse. Amazon Redshift made it simple and cost-effective to efficiently analyze large volumes of data using existing business intelligence tools. This cloud service was a significant leap from the traditional data warehousing solutions, which […]

The rapid growth of generative AI brings promising new innovation, and at the same time raises new challenges. These challenges include some that were common before generative AI, such as bias and explainability, and new ones unique to foundation models (FMs), including hallucination and toxicity. At AWS, we are committed to developing generative AI responsibly, […]

Today on the AWS re:Invent keynote stage, Swami Sivasubramanian, VP of Data and AI, AWS, spoke about the beneficial relationship among data, generative AI, and humans—all working together to unleash new possibilities in efficiency and creativity. There has never been a more exciting time in modern technology. Innovation is accelerating everywhere, and the future is […]

Since launching in June 2023, the AWS Generative AI Innovation Center team of strategists, data scientists, machine learning (ML) engineers, and solutions architects have worked with hundreds of customers worldwide, and helped them ideate, prioritize, and build bespoke solutions that harness the power of generative AI. Customers worked closely with us to prioritize use cases, […]

Artificial intelligence (AI) is a rapidly evolving field with the potential to improve and transform many aspects of society. In 2023, the pace of adoption of AI technologies has accelerated further with the development of powerful foundation models (FMs) and a resulting advancement in generative AI capabilities. At Amazon, we have launched multiple generative AI […]

submitted by /u/Awkward_Tick0 [link] [comments]

I need to call a cron job that calls an API that takes in the current time as a parameter. Would like to know if there's any service out there that supports this? submitted by /u/zZurf [link] [comments]

Happy Sunday Everyone, I'm currently a B.S. in CS student at WGU. Additionally, last October, I was offered an internal transfer from my FSE Technical Supervisor role (Semi-Conductor Industry) to come be a Data Engineer providing data products to our Data Analysts that analyze the logs and diagnose the root cause of issues on our tools. Everything is on premises, so basically no interaction with cloud based databases. The tech stack I currently work with: Python SQL Java PostGreSQL and MySQL databases Docker and Portainer KNIME PBI Pycharm as my IDE of choice. Great interface with our databases. Prefect for orchestration, and Windows Task Scheduler. Git Working with virtual environments. I …

https://iomete.com/blog/why-we-choose-to-be-the-on-premise-data-lakehouse submitted by /u/Medium_Roll3878 [link] [comments]

Hi All, I'm working on a project where I'm pulling my personal finance data from banks to build some kind of budget dashboard. I've got the transactions in MySQL now, and I'm at the stage where I want to create expense categories. My question is, how should I do this like an "analyst/engineer" would? I know I can just download into excel and create lookup tables, but it feels too manual and I'm trying to develop some more advanced skills. Does it actually make sense to do this is in SQL or would an analyst/engineer be using another program? Ive attached a small snippet of the description column that I'll be i'll be using for categorization. Thanks! https://preview.redd.it/64mrbfvnc44c1.png?…

Hi, I am about to take GCP Data Engineer Certification in few weeks. I have been using it for more than 2 years and find it quite fascinating. My goal is I want to look for better opportunities after taking certification. I saw other posts online that AWS and Azure certification are more in demand and with GCP certification there is less demand. Although the GCP has come a long way and provides quite mature products for Big Data and AI, still I have my doubts. I have used AWS as well, but I prefer GCP over AWS. I want to know anybody's experience like what kind of response you got after passing the certification and what was recruiters' impression about you? Would you go for recertification…

Currently at my place we are scaling up our data processing pipeline and its grown to a point where we need to optimize the speed, the process involves looking up a several GB dataframe(pandas) as a reference to retrieve data. I like to know if anyone can recommend any tools to monitor how resource intensive certain section takes and figure out optimization from there. Also without switching to EMR (we are running on a huge EC2), would anyone recommend using polars instead of pandas for the huge dataframe lookup? submitted by /u/Amrita_Kai [link] [comments]

Hi all, I’ve learnt some pretty decent Python and I’m now in a junior DE role. Working at a startup so it’s very much greenfield. Us juniors have been asked to put together our “desired” development path. After 6 months working in this field Im struggling to see what I can’t achieve with Pyspark and Airflow (plus SQL,Python Nad a Cloud ofc) With Spark I can use that same API when I need to scale up to a cluster but if I don’t need it I don’t have to and it’s flexible enough to do any cleaning or transformations I can think of. Then we have Airflow i run my Pyspark inside tasks atm because I only work on small pipelines but then if I need to scale I can still use Airflow to orchestrate Datap…

I work with someone who's created a massive Access database that's used for reporting, and one of my projects involves migrating them away from Access to something more enterprise grade. But, this has to be baby stepped, as the database is pretty big now. When it comes to gradually moving away from Access, would it make sense to provide them with data in say, sqlite3 format, and then gradually over time migrate away from sqlite3 to something like PostgreSQL or SQL Server? Since its Access, could I just use whatever file format or database I like, and connect over ODBC? Would JSON be a good option? Would CSV be better? Would Excel be better? Would sqlite3 be better? There are probably 30-40 …

I have data from different data sources can I link them together in the data model? for example, my sales data are coming from Hubspot and my accounting and financial data coming from Odoo.. can I link them together in the snowflake schema? I’ve read that this is possible to link 2 facs through a dim but the ids should be unified. Any idea how this can be done? The purpose is for insights, analysis, and reporting submitted by /u/Fuzzy-Example-7326 [link] [comments]

hey 👋 i’m building a snowflake schema and I got stuck in here: I have a Deals fact and i created a subscription schema.. now I don’t know how to move forward because I want to know 1- when the subscription started 2- when it will end 3- did they renewed it or not? 4- what type of subscription is it? where to store this data? should i keep them in the subscription dim or should i create a sub-dim? thanks submitted by /u/Fuzzy-Example-7326 [link] [comments]

Hey , I hope you all doing well I have some questions: 1- is the course a good start to allow you to delve into doing multiple projects and learning more tools? 2- did you get a certificate after finishing the course? submitted by /u/Single-Sound-1865 [link] [comments]

With A Tail of Cat Food PreferencesContinue reading on Towards Data Science »

Photo by ThisisEngineering RAEng on UnsplashDescribing the nature with the help of analytical expressions verified through experiments has been a hallmark of the success of science especially in physics from fundamental law of gravitation to quantum mechanics and beyond. As challenges such as climate change, fusion, and computational biology pivot our focus toward more compute, there is a growing need for concise yet robust reduced models that maintain physical consistency at a lower cost. Scientific machine learning is an emergent field which promises to provide such solutions. This article is a short review of recent data-driven equation discovery methods targeting scientists and engineer…

Graph neural networks (GNNs) and large language models (LLMs) have emerged as two major branches of artificial intelligence, achieving…Continue reading on Towards Data Science »

The definitive guide for beginnersContinue reading on Towards Data Science »

BackgroundContinue reading on Towards Data Science »

Good engineers, bad engineers, and evil engineers — an anecdote for data leadersMy golden framework to differentiate the good, the bad, and the evil engineers in all fields, including dataImage by author (generated using Canva’s Magic Media app)To engineer is to design or build something using scientific principles— Cambridge Dictionary.We all love good engineers, they build fantastic bridges, roads, rockets, applications, and data structures that make our lives easier and enjoyable every day.By the same logic, bad engineers will not make lives much better. If we hire them, they will design and build something, but take more of our time, money, and energy.But do you also know, that outside …

The class neighborhood of a dataset can be learned using soft nearest neighbor lossIn this article, we discuss how to implement the soft nearest neighbor loss which we also talked about here.Representation learning is the task of learning the most salient features in a given dataset by a deep neural network. It is usually an implicit task done in a supervised learning paradigm, and it is a crucial factor in the success of deep learning (Krizhevsky et al., 2012; He et al., 2016; Simonyan et al., 2014). In other words, representation learning automates the process of feature extraction. With this, we can use the learned representations for downstream tasks such as classification, regression, …

Beginner’s practical guide to discrete optimisation in PythonContinue reading on Towards Data Science »

All machine learning problems are data problems. So, it makes sense that you should spend time understanding and cleaning your dataContinue reading on Towards Data Science »

A Step-by-Step Guide to Versioning in MLOpsContinue reading on Towards Data Science »

How pattern detection and pattern exploitation might elevate each other to a new levelContinue reading on Towards Data Science »

How GPT models’ view on occupations evolved over timeContinue reading on Towards Data Science »

How Game Theory can help you with every day’s decisionsContinue reading on Towards Data Science »

How to avoid overfitting whilst training your neural networkContinue reading on Towards Data Science »

Transforming static plots into captivating narrativesContinue reading on Towards Data Science »

At IMPACT 2023, Ed Presz, Director of Data at Pie Insurance, shared how his team built an incident detection and notification workflow to drive domain-oriented ownership of data quality for business stakeholders.

Ensure your source-to-target mapping is reliable and improve data consistency with our latest monitor type.

For GenAI, data observability must prioritize resolution, pipeline efficiency, and streaming/vector infrastructures.

Confused about data quality? Discover the ins and outs of data quality practices and what you need to deliver reliable data at any scale.

Everything you need to know when considering Apache Iceberg, one of hottest new tools in data.

To succeed with LLMs at enterprise-scale, we need to treat our data pipelines with the diligence they deserve.

We're excited to announce Monte Carlo's Reliability Pioneers, the first-ever community dedicated to data observability.

Bringing data observability to your data lakehouse has never been easier. Here’s how to do it with Databricks Partner Connect.

Deploying Monte Carlo to Amazon Web Services (AWS), Google Cloud Platform (GCP) and other cloud environments is now easier than ever.

Collins will discuss DeepMind’s latest research, the future of LLMs, and how to deploy AI responsibly.

Data clean rooms allow companies to share insights based on aggregated data that obscures identity.

By enforcing data quality standards early on, teams can ensure that their data is reliable at each stage of the pipeline.

Learn 5 popular generative AI use cases the data teams at OpenAI, Whatnot, and other companies are generative AI to drive value today.

A wise investment in the right tool can save you headaches, maximize efficiency, and keep your data pristine. Carefully consider the pros and cons of open source data observability tools.

Learn how the data team at Abacus Medicine drives data observability at scale with Databricks and Monte Carlo.

Tech predictions for 2024 and beyond | All Things Distributedhttps://www.allthingsdistributed.com/2023/11/tech-predictions-for-2024-and-beyond.html

«Иннотех» запускает самый амбициозный проект российского финтеха и собирает под него ИТ-командуЧто будем создавать? Проект государственного масштаба — автоматизированную банковскую систему (АБС) для России. Это будет уникальная для российского рынка core banking платформа на современном технологическом стеке и микросервисной архитектуре.Кто нам нужен?• Java-разработчики;• аналитики;• специалисты DevOps;• тестировщики;• и не только.Что мы предлагаем? Сложнейшие задачи для роста hard-скилов, возможность работать удаленно, ДМС и прочие бонусы.Не упусти шанс войти в финтех-историю — жми «Присоединяйся к команде» и получи быстрый оффер.Реклама. Информация о рекламодателе

Вторая часть статьи про развёртку Apache Airflow в Kubernetes: https://habr.com/ru/articles/774924/

На AWS появилась новая сертификация AWS Certified Data Engineer – Associate: https://aws.amazon.com/ru/certification/certified-data-engineer-associate/

Туда же, но только про Generative AI: https://microsoft.github.io/generative-ai-for-beginners/#/

Машинное обучение для начинающихКлассный бесплатный курс о машинном обучении от Microsoft: https://bit.ly/3MQmyl1

Привет от онлайн-конференции для техлидов и архитекторов Podlodka Techlead Crew! ⚙️ Масштабировать сложную архитектуру по всем правилам — задачка нетривиальная. Разбираем тренды и новшества, учимся справляться с проблемами. Готовы раскрыть свежие подробности сезона, который стартует 13 ноября:💎 Улучшим архитектуру приложения с помощью CQRS. Объясним, как сделать взаимодействие между сервисами надёжным и консистентным, повысить масштабируемость и поддерживаемость системы.💎 Узнаем, как решить проблемы хранения и масштабирования данных в транзакционно-аналитических системах, например, YDB. Эти системы способны одновременно работать с OLTP и OLAP-нагрузками. 💎 Рассмотрим, как развивать уже суще…

На Хабре вышла статья про Airflow в Kubernetes. Статья мне понравилась, целевая аудитория это новички в кубах, которые хотят развернуть Airflow. Сам я такой деплой не использую, но мне было полезно знать как оно там работает. Напомню, что у Airflow есть официальный helm chart: https://airflow.apache.org/docs/helm-chart/stable/index.html, если вдруг вы решите копнуть эту тему чуть глубже.

Run periodic jobs in PostgreSQLНедавно открыл для себя интересное расширение для БД PostgreSQL: pg_cron. Балалайка позволяет запускать периодические задачи внутри базы данных: SQL запросы, процедуры и т.д. Удобно, вдруг кому пригодится 💡

Ты системный аналитик? Прокачайся до уровня Middle с «Иннотех»!Группа компаний «Иннотех» запускает новый поток технического обучения для системных аналитиков с опытом работы с возможностью дальнейшего трудоустройства в «Иннотех»Во время бесплатного обучения в течение 6 недель участников ждет:🔹 теория и практика от специалистов ведущей ИТ-компании,🔹 обучение на реальных кейсах «Иннотеха» 🔹 индивидуальная обратная связь по каждому заданию,🔹 обмен опытом и живое общение с преподавателями Занятия будут проходить по вечерам с 18:00 до 19:30 в понедельник и четверг. Всего 12 заданий, на каждое из которых понадобится около 2 часов.🌟 Как попасть на программу?До 27 октября заполняйте анкету по ссылк…

Человек на 60% состоит из воды, а Тинькофф на 100% из масштабных ИТ-задач и ежедневных вызововЕсли ты опытный ИТ-спец, этот вызов для тебя. А решение бытовых забот берем на себя: от ультра расширенной медстраховки и юридической поддержки до компенсации питания, спорта и дополнительного обучения. Выбрать вакансию и стать частью ИТ-команды можно тут:https://u.tinkoff.ru/itcareerАО «Тинькофф Банк», ИНН 7710140679

Курс по соревновательному Data Science👨‍💻🏆 Хочешь покорить Kaggle и научиться выигрывать соревнования по анализу данных? Тогда курс "Введение в соревновательный Data Science" - это именно то, что тебе нужно!🎯 В отличие от большинства курсов по машинному обучению, этот сконцентрирован на практике. Поэтому на нем будет более 200 практических заданий, интервью с Kaggle Grand Masters и, конечно же, внутренние соревнования для отработки техник.⚡️В программе курса тебя ждет: * Продвинутая работа с pandas и numpy* Генерация, визуализация и фильтрация признаков* Модуль про SOTA градиентные бустинги и то как их тюнитьи еще 6 других блоков.🚀 Также, ребята проводят еженедельные открытые вебинары, на к…

Релиз Python 3.12Релиз преимущественно связан с повышением производительности, в среднем улучшения около 5%. Из значительных фич это появление отдельного GIL на т.н. субинтерпретаторы. Эта фича пока доступна только в С API, а с версии Python 3.13 будет доступна и в Python API.Подробнее о релизе: https://pythoninsider.blogspot.com/2023/10/python-3120-final-now-available.html

PyCon PT 2023День богат на новые доклады. Сейчас появились видео с прошедшей конфы PyCon Portugal 2023: https://bit.ly/3PYOHY7

На Ютубе появились доклады с прошедшей конференции Airflow Summit 2023 в Канаде: https://bit.ly/3LGdPkQ

Знакомо не по наслышке💐

Microsoft запустил бесплатный курс AI for Begineers- https://github.com/microsoft/AI-For-Beginners/blob/main/lessons/1-Intro/README.md

Apress выпускает новую книгу "Mastering the Snowflake SQL API with Laravel 10: A Comprehensive Guide to the Essential Data Cloud Platform" и предложили быть Technical Reviewer, я же всегда и всему говорю "ДА!", вот теперь изучаю.Не очень понятен выбор Laravel 10. Я даже не знал, что такое существует. Кто в теме, это вообще используется?

Охренительная ссылочка про написание комментариев, когда делаете code review.https://conventionalcomments.org/ Если вы не знаете, что такое nitpick (OMG), теперь будете знать! И множество других.PS есть у кого Spotify playlist крутой, скиньте в комментарии заценим!

Хороший креатив с AWS конференции. Я все никак не доберусь до Tabular. Насколько я понял это как Athena, но для Iceberg. На одном проекте у нас Kafka пишет в S3 (JSON), далее мы используем Snowflake External Tables. Задача писать кафкой сразу Iceberg в Snowflake Iceberg Managed table и как-то там использовать Tabular. Кто-нибуть использовал?На проекте Surfalytics обязательно попробуем. В эту субботу будем:- Snowflake 101 + Hex- Just enough CLI and Shell for Data Roles

Одно из главных видео уходящего года - https://youtu.be/PMfn9_nTDbM?si=G7unvD4FIT8SXTGV PS так же посмотрите, если что понравится в playlist https://www.youtube.com/playlist?list=PL2yQDdvlhXf-5R7VtNr9P4nosA7DiDtM1Я сам хотел поехать на машине с семьей в Вегас на конференцию за свой счет, но не договорился с начальством. Можете считать, меня тоже послали, но вежливо!😜

Если вдруг ИТ и аналитика не подходят всегда есть интересные альтернативы https://dtf.ru/flood/2295618-kak-ya-rabotal-provodnikom-passazhirskogo-poezda-i-pochemu-eto-odna-iz-samyh-koshmarnyh-professiy-v-rossii

Пост про Liquid Clustering в Databricks.В начале вообще говорят про партиции, что уже полезно, даже если вы не на Databricks. Далее показывают пример комманды в Spark и оценнка производительности.

Non technical книги на 2024. Inspiration был от поста ранее, когда я спрашивал про soft skills. Пока начал с clear leadership, мощная штука, еще пойду к ним на тренинг за 3к$.

В суббот прошла еще одна крутая сессия Surfalytics. Было 2 комнаты у нас:1. Мы начали с Microsoft Fabric, оказалось не просто получить trial. Далее сделали в нем lakehouse, data pipeline, data model и дашборд. В качестве вывода оставили эту историю для темы про поговорить с hiring manager про современные инструменты и трудности preview от Microsoft.Далее, показал Synapse Analytics, где мы посмотрели на Dedicated SQL Pool, Serverless SQL Pool, Spark Pool. Надеюсь все поняли разницу между Synapse и Fabric. Как раз картинка про это к посту. Ну только источники по идее будут в нем Fabric но все подключения настраиваются внутри.А заодно изучили разницу между SQL и PySpark.Далее, ребята решили да…

Не всем зашло юмористическое видео Фитиль про вагоны, которое я расшарил выше.История про взаимодействие с отечественным стартапом spenx, которые вроде как хотели делать аналитику на AWS и их заинтересовал сервис Rock Your Data и наша экспертиза в создании облачных аналитических решений. После первого звонка на 2 часа, хотя оплатили только 1 час, был небольшой ping pong в Slack про следующие шаги, поис кандидатов и тп. Насколько я понял, я уже должен был искать кандидатов и быть более активным в Slack. На мое возражение, что нужно более менее структурировать отношения и что я не готов бесплатно что-то делать, мужики написали, что они решили после нового года вернуться. И мне как раз и вспом…

Чувак про Rast в контексте Инжиниринга Данных рассказывает https://seattledataguy.substack.com/p/behind-the-rust-hype-what-every-dataПо-моему мнения это пока больше "по приколу" чем реально строить pipelines. А вы как думаете?

Ладно, закрываем дискуссию про бабло! Всем хороших выходных! https://youtu.be/3uVDwerwoC0?si=ph1e--LhnEoIDsas

Спасти полмиллиона долларов за пять минутПоучительная история про эффективный менеджмент и дыры, в которые с невероятной скоростью утекают деньги.🔜 Несколько лет назад компания N решила, что ей нужна своя платформа для аналитики, чтобы стать более data driven. Узнали, согласны?Компания, в числе прочих, наняла на работу дата саентиста, недавнего выпускника. Тот обнаружил две вещи:1️⃣ Дата саенсом в его работе и не пахло.2️⃣ Компании N дата саенс был вообще не нужен, а нужно было для начала сократить раздутый штат. Вместо этого компания наняла кучу важных консультантов. Узнали, согласны?Тем временем обещанная платформа для аналитики все не строилась и не строилась. Тот самый дата саентист усп…

Про технологии, фантастику и абстракции«Любая достаточно развитая технология неотличима от магии», — самый известный из трех законов британского писателя Артура Кларка.🔜 Кажется, скоро мы сможем убедиться в этом сами, но пока что реальность прозаичнее фантастики. Никаких межзвездных перелетов, зато много людей, которые не понимают, что происходит, и угроз кибербезопасности.Это — один из тезисов статьи We have used too many levels of abstractions and now the future looks bleak. Не пугайтесь мрачного заголовка — текст не про то, что, когда все писали на ассемблере, трава была зеленее. Ну, почти.Еще немного тезисов: 🔵 Руль — уровень абстракции между водителем и машиной. Он позволяет управлять …

Окно в Европу и не толькоWindow Swap — сайт, где за один клик можно перенестись из Бангкока в Лондон, а из Лондона — в Стамбул.🔵Пользователи со всего мира делятся 10-минутными видео с видами из своих окон. Чаще всего в кадре не захватывающие необычные пейзажи, а обычные городские улицы, но в этом и есть весь смысл. Window Swap показывает не глянцевые рекламные картинки, а реальную жизнь, которую видят из своих окон обычные жители разных городов.🔵А еще в кадре иногда появляются коты авторов видео! 🔵Проект появился — угадайте когда? — в 2020 году, в Ковид, когда все мы сидели взаперти, но новые видео туда присылают до сих пор. У него есть платная версия с возможностью делать создавать плейлис…

Под какую музыку спится лучше?А мы возвращаемся в город вечно невысыпающихся жителей, чтобы продолжить знакомство с основами статистики.В одном из предыдущих постов мы рассказали, как сравнить 2 генеральные совокупности между собой…Но что делать, если их больше двух? 🔵 Можно было бы разбить группы по парам и применить t-критерий Стьюдента или его непараметрические аналоги, но у нас есть вариант получше!🔜 Сегодня мы расскажем про дисперсионный анализ, который поможет сравнить несколько генеральных совокупностей и понять, различаются ли они между собой.#основы_статистики

Ждем рынок ИИ-маркетплейсов?Рассказываем, если вы не знали, и напоминаем, если забыли, — в конце сентября Cloudflare и Hugging Face объявили о начале сотрудничества.🔜 Cloudflare — это крупная CDN-компания, чей логотип мы все хотя бы раз видели на капчах. У нее также, помимо всего прочего, есть своя платформа для разработчиков.🔜 Hugging Face — сообщество ИИ-энтузиастов и огромный каталог датасетов, нейросетей и использующих их приложений.Самые востребованные модели Hugging Face станут доступны на платформе для разработчиков Cloudflare, уже оптимизированные и готовые к использованию. Cloudflare же со своей стороны предоставит вычислительные мощности для бессерверного инференса благодаря их но…

Зачем смотреть Yet another Conference on Education от ЯндексаЯндекс провел конференцию, посвященную использованию искусственного интеллекта и новых технологий в образовании. Про что говорили на мероприятии:🔵 этика, ожидания и дискуссии насчет использования нейросетей в школах и вузах,🔵 AI-тренер и другие профессии будущего, которые уже стали реальностью,🔵 точки соприкосновения EdTech-компаний и университетов,🔵 как понять, кем хочешь стать, когда вырастешь и — что намного сложнее — как понять, кем стать, когда уже вырос.Записи выступлений размещены на сайте конференции, и мы рекомендуем ознакомиться с ними всем, кому близки темы образования, ИТ и ИИ: разработчикам, учителям, выпускникам и их…

Гайд по каналу: лучшие посты по темам Собрали для вас подборку самых интересных и полезных постов, которые выходили на канале за последнее время.💙 Что это за канал? Про данные, датавиз и SQL💬 Тест на знание гигиены визуализации данных🔵Подборка материалов по датавизу🔵Лучшие практики по созданию стайлгайдов: как сделать ваши отчеты стильными и профессиональными🔵Как использовать ChatGPT в качестве персонального тренера по SQL🔵«Lost at SQL»: игра для прокачки SQL🔵Архитектура данных на примере Вконтакте: прошлое и будущее 🔵Большой гайд по SQL🔵Рекомендации по подготовке данных к работе 🔵История визуализации данных в одном графикеПро нейронки и ИИ💬 Беспилотные такси: за и против🔵50 подсказок, как …

10к студентов за год: итоги Марафона ДанныхГод назад на «Степике» вышел наш первый авторский курс «Марафон данных: первое знакомство с SQL и Python»! Его разработали мы — команда Valiotti Analytics: авторы, дизайнеры и аналитики 🔜 Курс рассчитан на совсем начинающих, у кого пока нет никакого опыта работы с Python и SQL, но есть интерес к работе аналитика. Он займет около 10 часов и поможет познакомиться с профессией и понять, а надо ли вообще вам это. За 18 уроков студенты знакомятся с основами и отрабатывают полученные знания на реальных кейсах.За год Марафон Данных пробежали уже больше 10 000 студентов, которые оставили почти 500 отзывов с общей оценкой в 4,8 из 5🔜 Для нас это очень важно…

Сэм Альтман вновь в OpenAI Драма в OpenAI наконец-то закончилась, и Альтман возвращается на пост генерального директора.Совет директоров переформируют, и на начальном этапе в него войдут 3 человека. The Verge сообщает, что их главной задачей будет сформировать новый совет из 9 человек и «перезапустить» подход к управлению в OpenAI.👀 При этом внутренние противоречия, которые и привели к увольнению Альтмана, никуда не делись, и обновившееся руководство компании собирается провести расследование ситуации. Надеемся, что они поделятся его результатами с заинтригованной общественностью!

Скажите что-то на карьерномТинькофф в поиске крутых ИТ-спецов. С компании — профессиональный рост, интересные финтех-задачи, решение бытовых забот и работа там, где вы живете. С вас — выбрать вакансию и откликнуться.От себя добавим, что вас ждет по ссылке в конце поста — Тинькофф ищет разработчиков, продактов и, конечно, аналитиков для работы над продуктами банка и его экосистемы сервисов.🔵На сайте не только подробно описали обязанности и стек для каждой вакансии, но и разместили материалы для подготовки к собеседованию. Там даже рекомендуемая литература есть!🔵Работы много для опытных и начинающих специалистов, условия хорошие, задачи классные. Чего еще для счастья надо?🔜 Только найти подхо…

Excel сына маминой подругиGrist — инструмент для создания электронных таблиц с удобным интерфейсом и любопытным функционалом. Разработчики гордо обещают, что их детище «дает пользователям суперсилы». В этом мы не уверены, но считаем, что Grist в любом случае достоин внимания.Он умеет все, что положено уметь инструменту для работы с данными: делать сводные таблицы, объединять данные из разных документов, визуализировать их в динамически обновляющихся графиках и чартах, встраивать медиафайлы. Конечно, этим его функции не ограничиваются — иначе мы бы о нем не писали.🔵 Самая интересная фича — AI-ассистент, который упрощает работу с формулами и понимает простые человеческие запросы. Например, «о…

Как ваши выходные? Надеемся, что лучше, чем у OpenAIЕсли вы вдруг пропустили — в пятницу, 17 ноября, компания объявила о том,что Сэма Альтмана сняли с должности CEO. Причиной увольнения была «недостаточная честность в коммуникации с советом директоров».🔜 Потом передумала и попыталась позвать обратно, даже согласившись распустить совет директоров.🔜 Потом Альтман все равно отказался и вместе с еще несколькими бывшими сотрудниками OpenAI (включая сооснователя компании Грега Брокмана, который тоже написал о произошедшем) ушел в Microsoft.🔜 В OpenAI за это время сменилось несколько гендиректоров: от Альтмана должность перешла к Мире Мурати, от Миры — к одному из основателей Twitch Эммету Ширу. О…

Курс «Инженер данных» от Яндекс Практикума: Black Friday EditionДавайте сразу к делу: Черная пятница на дворе. Если вы давно подумывали записаться на какой-нибудь курс, сейчас самое время — скидки же!Вот, например, у Яндекс Практикума идет набор на курс «Инженер данных», где студенты научатся проектировать пайплайны, работать с облачными технологиями и создавать хранилища Data Warehouse и Data Lake.Все, как всегда у Яндекс Практикума:🔵 Теория + практика на реальных рабочих задачах,🔵 Поддержка наставников, практикующих инженеров данных,🔵 AI-помощник и интерактивный учебник — и выглядит круто, и пользоваться удобно,🔵 Стек, которому будет рад любой работодатель — Metabase, PostgreSQL, Kafka, A…

Рекурсивные рецепты, или как пожарить оладьи за 50 недельКажется, что пожарить оладушек — не такая уж сложная задача.Самый простой вариант — купить замороженных и разогреть. Если делать их самостоятельно, понадобятся самые простые ингредиенты: вода, мука, сахар, соль, яйца. Все смешать и пожарить на сковородке.Элементарный процесс, в который не добавить ни шагов, ни других компонентов. 👀 А вот и нетИ это доказывает сайт Recursive Recipes. Там уже собрали 11 рецептов хорошо знакомых блюд: яблочный пирог, оладушки, пирожные, йогурт, лапша и так далее. Внутри каждого два ползунка — количество порций и время на готовку. Если их покрутить, то инструкция из одного шага превратится в сложную много…

Мы живем в такие интересные времена, что даже бизнесу нужна терапияКонечно, не простая, а дата-терапия. Список показаний включает в себя:🔵 трудности из-за отключения от глобальных сервисов,🔵 вопросы с импортозамещением и переходом на новое ПО,🔵 непонимание, как работать с привычными ИТ-инструментами в непривычных условиях.Этим (и не только) темам будет посвящен технологический форум DaTalks 2023 | Data-Centric Innovation Day в Москве 29 ноября. Эксперты из Axenix, X5 Group, Faberlic, Рив Гош и других крупных компаний расскажут на своем опыте, как, зачем и из чего строить дата-центричную архитектуру для бизнеса.На «из чего» остановимся подробнее — на мероприятии будет открыта демо-зона, где …

Побег из карантина macOS и точный путь к расширениюСвежий релиз sqlpkg принес две приятные фичи:— Команда install автоматически убирает расширение из карантина macOS, чтобы можно было использовать без дополнительных приседаний.— Команда which печатает точный путь к установленному расширению, чтобы было проще загрузить его в SQLite.https://github.com/nalgeon/sqlpkg-cli/releases/0.2.0

Перенести SQLite-расширения с одной машины на другуюНачиная с релиза 0.1.0, sqlpkg сохраняет информацию об установленных пакетах в специальном файле (sqlpkg.lock, он же локфайл). Используйте его, чтобы установить расширения на новой машине одной командой:sqlpkg installhttps://github.com/nalgeon/sqlpkg-cli/releases/0.1.0

SQL-файлы в песочницеКогда я запустил Sqlime, как-то забыл поддержать загрузку из .sql файлов. Песочница умела загружать бинарные SQLite-базы из локального файла или по урлу, GitHub-гисты, но не sql-файлы.Наверно я полагал, что люди в основном будут копипастить SQL руками, так что файлы им не нужны. Возможно, не так уж и ошибался — никто не попросил эту возможность.Но все же странновато для SQL-песочницы не уметь загружать SQL-файлы. Так что теперь она умеет ツЗаодно обновил иконки. Использовал svgrepo.com — опенсорсный репозиторий иконок, очень рекомендую.

Одна из моих любимых мелких штук в Sqlime — возможность выделить и запустить фрагмент запроса. Полезно, когда «распутываешь» сложный запрос.К тому же, ее было несложно реализовать. Ах, если бы все фичи были такими 🙂

Для начала добавил в реестр те расширения, которые пробовал сам, получилось около 60 пакетов

Реестр и менеджер пакетов для SQLiteРасширений для SQLite становится все больше, и я решил, что пришло время сделать менеджер пакетов!Встречайте sqlpkg - это реестр пакетов с веб-интерфейсом и одноименный консольный менеджер пакетов. Надеюсь, вам пригодится.https://sqlpkg.org/Реестр пакетов работает отдельно от менеджера и не требует его. Достаточно найти нужный пакет на сайте, скачать под свою ОС и загрузить стандартными средствами (.load или load_extension).А менеджер пакетов работает отдельно от реестра и тоже не требует его :) Чтобы установить пакет, достаточно указать менеджеру на файл спецификации. Его можно захостить где угодно или даже разместить локально.

Удобно отлаживать небольшие запросики, а для обучения так и вовсе незаменимая штука

Больше функций в SQL-песочницеSqlime — это опенсорсная SQLite-песочница в браузере.В ней всегда были стандартные функции SQLite: общего назначения, дата-время и математические.А теперь есть намного больше, от регулярных выражений и матстатистики до динамического SQL!По сути, я приделал к песочнице все свои расширения, которые до этого подключались только к «обычному» SQLite (кроме работы с файлами и юникода, который под веб не захотел компилироваться).https://sqlime.org/

sqlite3 + расширения на PythonСделал Python-пакет sqlean.py. Он полностью совместим со стандартным sqlite3, плюс добавляет множество приятных функций:— кодирование/декодирование— динамический SQL— работа с файлами— текстовые функции— IP адреса— мат. статистика— UUID— CSVhttps://github.com/nalgeon/sqlean.py

Покрывающий индекс в SQLПокрывающий индекс — самый быстрый способ выбрать данные из таблицы.Например, есть запрос, который выбирает сотрудников с указанной зарплатой:select id, namefrom employeeswhere salary = 90;Если нет индекса, он обходит всю таблицу (так называемый фулскан).Создадим индекс по зарплате:create index employees_idxon employees(salary);Теперь тот же запрос будет находить записи по зарплате в индексе (это быстрее, чем обходить всю таблицу). И для каждой найденной записи будет обращаться к таблице, чтобы получить значения id и name.Но если создать покрывающий индекс:create index employees_idxon employees(salary, id, name);То запрос будет отрабатывать только по индексу, вообще …

Sqlean shellsqlean — это набор базовых расширений SQLite, от регулярных выражений и мат. статистики до работы с файлами и динамического SQL.И теперь он доступен в комплекте с SQLite CLI!https://github.com/nalgeon/sqlite/releases/3.42.0-sqlean

Некоторые из них в SQLite уже были, но с полным набором удобнее

25 текстовых функций в SQLiteС помощью стандартных функций instr, substr и replace можно много чего сделать. Но мне хотелось более полного набора возможностей, как в PostgreSQL, Python или Go. Пришлось добавить.Новое расширение text содержит 25 функций для работы со строками: от slice, contains и count до split_part, trim и repeat. И многие из них совместимы с PostgreSQL!А если добавить функции работы с регулярками из regexp, вас и вовсе будет не остановить ツ

SQL-рецепт: Сравнение с соседямиПредположим, мы хотим сравнить каждую запись с соседними. Например, сравнить продажи за месяц с предыдущим месяцем или с аналогичным месяцем в прошлом году.Решение — использовать функцию lag() поверх SQL-окна.ПримерСравним расходы компании от месяца к месяцу в абсолютном выражении:select year, month, expense, expense - lag(expense) over w as difffrom expenseswindow w as ( order by year, month)order by year, month;year mon exp dif2020 1 82 2020 2 75 -72020 3 104 292020 4 94 -102020 5 99 52020 6 105 62020 7 95 -102020 8 110 152020 9 104 -6lag(value, offset) возвращает значение value из строки, отстоящей на offset строк назад от текущей. По умолчанию offset равн…

Кодирование данных в SQLiteВсе знают про шестнадцатеричное кодирование (hex):select hex('hello');-- 68656C6C6Fselect unhex('68656C6C6F');-- helloНо есть и другие способы.Base32:select encode('hello', 'base32');-- NBSWY3DPselect decode('NBSWY3DP', 'base32');-- helloBase64:select encode('hello', 'base64');-- aGVsbG8=select decode('aGVsbG8=', 'base64');-- helloBase85:select encode('hello', 'base85');-- BOu!rDZselect decode('BOu!rDZ', 'base85');-- helloURL-кодирование:select encode('hel lo!', 'url');-- hel%20lo%21select decode('hel%20lo%21', 'url');-- hel lo!И все они теперь доступны в SQLite с помощью расширения crypto.

⚠️Как специалисту по машинному обучению попасть в крупную компанию?Освоить востребованный скилл на бесплатном открытом уроке «Ассоциативные правила в теории рекомендательных систем» от OTUS и Марии Тихоновой – Senior Data Scientist в «SberDevices» и преподавателя ВШЭ.🔹На вебинаре вы изучите теорию ассоциативных правил и примените полученные знания на практике 🔹Узнаете, как искать ассоциативные правила в покупательских корзинах и сможете находить ассоциативные правила в рекомендательных системах инструментами Python.Занятие пройдёт 4 декабря в 18:00 мск и будет приурочено к старту курса «Machine Learning. Professional». 👉 РегистрацияРеклама. ООО «Отус онлайн-образование», ОГРН 1177746618576,…

Яндекс проведет главное BI-событие декабря — Yandex DataLens Festival! В этом году будет ещё интереснее! Вас ждут 2 недели полезного контента от экспертов: ⭐️ Yandex Cloud. Как построить аналитику в облаке ⭐️ MAXIMUM Education. Как переезд с Power BI расширил число пользователей аналитики ⭐️ Ренессанс Страхование. Как построить систему знаний и обучения BI ⭐️ CARCADE. Как организовать работу 1000 пользователей BI в финсекторе ⭐️ YCLIENTS. Как анализировать работу команды разработки ⭐️ Reveal the Data aka Роман Бунин. Сколько живёт дашборд и как увеличить время его жизни Помимо этого, ведущие разработчики DataLens и YTsaurus поделятся рецептами, как готовить опенсорс, а именно: 🛠 как разверн…

⁉️ Как аналитику обрабатывать данные из разных источников практически в реальном времени? Узнайте на бесплатном открытом уроке «Как на Spark Structured Streaming работать с данными в HDFS и Kafka?» от OTUS. 💻 На вебинаре: — узнаем, какие источники данных могут быть обработаны стриминговым API Spark; — рассмотрим конкретные примеры с данными на HDFS и Kafka; — разберёмся, как осуществить подключение к таким источникам; — научимся группировать данные. 👉 Занятие пройдёт 4 декабря в 20:00 мск в рамках курса «Spark Developer». После урока вы сможете продолжить обучение на курсе. Оплата доступна в рассрочку. 🔥 Для бесплатного участия и получения записи регистрируйтесь прямо сейчас: https://clck.r…

Онлайн хакатон по бизнес-аналитике от PIX Robotics и "Ариант"Готовы ли вы почувствовать себя бизнес-аналитиком ведущего производителя мясной продукции и получить путешествие в подарок за свои достижения? PIX Robotics и крупнейший агропромышленный холдинг Ариант организуют онлайн-хакатон по бизнес-аналитике! Вам предстоит увлекательное погружение в мир данных животноводства и расчет ключевых показателей производительности компании на платформе PIX BI. Главный победитель получит уникальную возможность отправиться в Центр энологии Chateau Tamagne. Вас ждет уикенд в прогрессивном центре виноделия, с интерактивами и дегустациями. Участники также получат призы от PIX за 2 и 3 место. ❕Выполненные …

Онлайн хакатон по бизнес-аналитике от PIX Robotics и "Ариант"Готовы ли вы почувствовать себя бизнес-аналитиком ведущего производителя мясной продукции и получить путешествие в подарок за свои достижения? PIX Robotics и крупнейший агропромышленный холдинг Ариант организуют онлайн-хакатон по бизнес-аналитике! Вам предстоит увлекательное погружение в мир данных животноводства и расчет ключевых показателей производительности компании на платформе PIX BI. Главный победитель получит уникальную возможность отправиться в Центр энологии Chateau Tamagne. Вас ждет уикенд в прогрессивном центре виноделия, с интерактивами и дегустациями. Участники также получат призы от PIX за 2 и 3 место. ❕Выполненные …

Когда data driven подход не работаетСейчас многие используют А/B-тесты в своей работе, но часто делают это неправильно и не учитывают всех нюансов, чтобы data driven подход сработал.Например, если вы запускаете А/В-тестирование новой фичи и пытаетесь принять окончательное решение на неполных данных. Или не учитываете праздники в дизайне эксперимента, если ваш А/В-тест выпал и на такие дни. В общем, есть много нюансов, о которых нужно знать. karpovꓸcourses сделали «Симулятор A/B-тестов», где вы: — сможете освоить весь пайплайн проведения экспериментов— научитесь не допускать типичных ошибок — сможете избежать потери денег из-за неправильных выводов— научитесь определять, нужно ли вам вообще …

🇬🇧🇬🇧🇬🇧🇬🇧🇬🇧🇬🇧🇬🇧 Я давно работаю в IT и неплохо знаю иностранный язык. Зачем мне учить профессиональный английский? Если вы хотите развиваться в карьере, к примеру поработать в международном проекте, полезно развивать английский для делового общения и софтскилы, важные для работодателя. То есть понять, как уверенно пройти собеседование, запланировать спринт, договориться о сроках или деликатно дать обратную связь. Но времени на английский не остаётся — каждый раз переношу на следующий понедельник. Понимаем. Чтобы это исправить, мы в английском от Яндекс Практикума придумали Первую пятницу — время, когда стоит решиться на новое. Больше не захочется откладывать, потому что на курсы английского …

А вы знаете, что общего у интернет-магазина одежды, строительного девелопера, IT-компании, государственного театра, университета и сервиса доставки продуктов?Если вы ответили: «все они успешно используют облачные технологии для развития своего бизнеса» — вы будете совершенно правы.Приходите на бесплатный вебинар от облачного провайдера Cloud․ru, на котором эксперты расскажут про кейсы своих клиентов и поделятся инсайтами — опыт действительно полезный в условиях быстроразвивающихся передовых технологий.На вебинаре вы узнаете, как:😶‍🌫️ развернуть 1С и быстрее выгружать отчеты;😶‍🌫️ перенести сайт и стабильно работать в периоды распродаж;😶‍🌫️ виртуализировать рабочие места и защитить данные от …

💬 Вступайте в сообщество MLOps-инженеров в Telegram. Там публикуем дайджесты, обсуждаем новые инструменты и технологии.В сообществе вы найдете:▫️ Новости индустрии production ML;▫️ Полезные статьи, инструменты и технологии;▫️ Опыт коллег и лучшие практики.Присоединяйтесь, чтобы получать новые знания от практиков MLOps и дата-аналитики: https://t.me/+Gu6z3icSuPE4ZmIyРеклама ООО «Селектел» erid 2Vtzqw2CDZb

​Нижний Новгород, готовьтесь узнать всё о рекомендательных системах! Приглашаем на RecSys Meetup by Sber — будем много общаться, обмениваться опытом, ловить инсайты от экспертов и получать приятные подарки. Когда: 30 ноября, 18:30 Формат: офлайн Локация: коворкинг Гараж, г. Нижний Новгород, Октябрьская, 35 Мы расскажем, как устроены рекомендательные системы в e-commerce, раскроем секреты GPT-like трансформеров и поделимся опытом моделей рекомендаций от Мегамаркета. А ещё – пригласим вас тестировать наши ML-библиотеки! ● Алексей Васильев — исполнительный директор по исследованию данных Sber AI Lab — расскажет о рекомендациях на последовательностях: действительно ли BERT4Rec лучше SASRec? ● А…

erid: 2VtzqurMwFfКак научиться аналитике данных в 3 раза дешевлеНаши друзья и партнеры из Института бизнес-аналитики запустили распродажу. Вот что можно забрать по специальной цене прямо сейчас:- 3 курса по Excel, за 42 500 19 990 руб- 2 курса по Power BI и 1С, за 50 000 24 900 руб- Профессия: аналитик данных, за 150 000 49 990 рубАвтор обучающих программ — Алексей Колоколов, преподаватель MBA в вузах США и России. 13 лет он ведет проекты по автоматизации отчетности и обучает сотрудников компаний Газпром нефть, Ростелеком, Siemens и др. В основе каждого курса — именно практический опыт.Акция называется «Синяя пятница»: все скидки действительны только до вечера 24 ноября. Забирайте, пока это…

В Сбере открыта вакансия аналитика данных в команде, главная задача которой — развивать экосистему банка для юридических лиц с помощью аналитических исследований.Какие задачи будут в вашем ежедневнике:✔️ Выполнять исследования бизнес-процессов, расчёт метрик и формирование предложений по улучшению.✔️ Анализировать распределения, выбросы и коренные причины, а также искать отклонения.✔️ Писать ETL-запросы, разрабатывать на SQL и Hadoop алгоритмы обработки данных и рассчитывать показатели.У вас есть все шансы на оффер, если вы обладаете опытом построения воронок продаж и поиска отклонений, отличным знанием SQL и хорошими коммуникативными навыками.Узнать подробные условия и оставить отклик!

Всем, кто ценит качественные данные и согласен с тем, что именно они должны ставиться во главу угла при выстраивании data-ландшафта. Уже 29 ноября в Москве пройдет любопытный технологический форум DaTalks 2023 | Data-Centric Innovation Day, основной темой которого станет дата-центричная архитектура и дата-терапия для бизнеса. Спикеры мероприятия: Axenix, X5 Group, Faberlic, Рив Гош, Home Bank, Московская биржа, ТМК и многие другие. Участники обсудят: - Ванильный или вендорский Open Source? - как инициировать замену ПО, если продукт просто морально устарел? - как живут крупные западные компании в условиях отключения от глобальных сервисов? - какова стратегия и отношение к импортозамещению? -…

🔥 Live-интенсив: разбираем тестовое задание в OZON на junior-аналитика!📣 Всем привет! Хотим пригласить вас на интенсив, где мы в прямом эфире будем разбирать настоящее тестовое задание в OZON на аналитика данных!Нам предстоит провести аналитику продаж и доставок с помощью Pandas в Python, а также проиллюстрировать это все графиками. 📅 Дата: 22 ноября🕘 Время: 19:00 по МскЧто будем делать на интенсиве: ◾️ Проанализируем заказы пользователей по retention, времени доставки, сумме заказа т.д.◾️ Научимся легко генерировать большой DataFrame с синтетическими данными◾️ Посчитаем описательные статистики◾️ Изучим полезные фичи Pandas: apply, map, pct_change и др.◾️ Построим интерактивные графики с по…

Как проходит собеседование на позицию аналитика: ценные советы от эксперта АвитоПозиция аналитика — это ключ к миру цифровых технологий. Ира, опытный руководитель по аналитике в Авито, приоткрывает завесу тайны над процессом отбора кандидатов на эту востребованную специальность. В видео будет разобран каждый этап собеседования: от важности структурированного резюме до повышения навыков в A/B тестировании и лайфхаков на встрече с вашими потенциальными командами.Что вы узнаете после просмотра:- Как компания представляет бизнес-кейсы, как их проще и эффективнее их решать- Подсказки по повышению навыков в A/B тестировании и использовании ресурсов для подготовки- Почему на собеседовании проверяю…

https://t.me/career_works/32Пользуясь пятницей, вместо мема (ожидаю, что снова накидают 💩, потому что ждете новых мемов), напоминаю, что у меня есть второй канал - "🚜 Осторожно, карьерные работы!".Я там пишу про всякие аспекты, связанные с карьерой, поиском работы, собесами, обсуждениями зарплат и так далее.@career_works

https://notion.castordoc.com/catalog-of-catalogsДля себя мы все решили (DataHub), но вот если вам предстоит делать выбор дата каталога, вот свеженькое сравнение каталогов (безусловно, те, кто его создал, поставили свой каталог на первое место - Castordoc).@ohmydataengineer

https://newsletter.pragmaticengineer.com/p/what-is-openaiThe Pragmatic Engineer собрал в единое целое весь безумный таймлайн, который происходил с OpenAI во время ухода / прихода Сэма Альтмана. Крайне увлекательное чтиво, очень советую прочитать!@ohmydataengineer

Плачу $100 тому, кто сможет объяснить, что они сделали.@ohmydataengineer

Хоть я почти перестал постить события, есть тематика, которую я продолжаю ходить активно слушать - это Trino. Потому что основная штука, с которой я сейчас работаю.Вот и ребята с Авито переезжают с Vertica и очень интересно посмотреть, как у них делишки идут.Митап - 24 ноября в 18:00. Регистрация на Timepad, ссылку пришлют.Дмитрий Рейман — «Как пересесть на Trino после Vertica»Реальный кейс Авито по переводу аналитической платформы с Vertica на Trino с сохранением UX конечных пользователей. @ohmydataengineer

Ну сколько можно!Был у нас тут ETL, потом ELT, потом reverse-ETL, вот теперь нужно придумать еще и ELTP! Причем когда я видел твит автора об этой статье, то он там написал, что это аббревиатура не ради аббревиатуры, но это оно так и есть!Publish data to downstream users and business applicationsНу так это и есть ваш тот же самый reverse-ELT и просто выгрузка данных куда-то. Зачем, господе, зачем вы придумываете контент ради контента. Впрочем, читая такой булшит от людей уровня CTO и стафф-инженеров, я спокоен за свой опыт и свою карьеру.https://airbyte.com/blog/eltp-extending-elt-for-modern-ai-and-analytics - ознакомиться с этой ерундой можно тут.Запомните, есть просто ETL - откуда-то взяли…

Белград: Call for Papers Meet!Предлагаю собраться и потрещать за всякое в Белграде на этих новогодних праздниках!Перепись желающих собраться в комментариях к посту 🍻

Новость настолько горячая, что ее выпустили перед днем благодарения, на выходные, чтобы рынок не сошел с ума.Не могу держать в себе, этот заголовок, конечно, достоин Пулитцера 😀Что по теориям самого громкого увольнения CEO за последние овердофига лет?- и правда сделал что-то очень shady- совет директоров хочет больше фокуса на деньгах- Адам Данжело творит ту же дичь, что и Quora (которая с его приходом скатилась, хотя до этого процветала)- старая история от 2021 про sex offence по отношению к его сестре- просто личная неприязнь- другое…Вы уж простите, в лайфстайл блог превращать «Трубу» не буду, но уж очень хотелось запостить…@ohmydataengineer

https://openai.com/blog/openai-announces-leadership-transitionЖдем миллиард рилсов с заголовками «ChatGPT все…?»Еще буквально неделю назад OpenAI анонсировали маркетплейс GPT, спрос был такой, что пришлось остановить возможность покупки премиума, а сегодня вот такая фигня:Mr. Altman’s departure follows a deliberative review process by the board, which concluded that he was not consistently candid in his communications with the board, hindering its ability to exercise its responsibilities. The board no longer has confidence in his ability to continue leading OpenAI.Для CEO оч плохая характеристика на выход + насколько я помню (но тут могу ошибиться), стоков у Сэма почти не было.@ohmydataengi…

Пятничный юмор навеян личным опытом, когда кто-то хочет делать BI в Mixpanel, а кто-то в Tableau, а еще был Power BI, еще графички в Braze есть...@ohmydataengineer

https://sadservers.com/Если вам вдруг захотелось сменить Data Engineering на что-то другое, например DevOps / SRE - SadServers прикольная штука, позволяет попрактиковаться в стиле LeetCode, но в дебаггинге и поиске проблемы.@ohmydataengineer

Пока мы тут жисоны перекладываем...Одна из вех текущего проекта на работе это уйти от всей старой, накликанной руками в облаке архитектуры и перейти к IaaC и автоматизации. Сейчас по 2-3 командам мы можем развернуть EKS кластер, на нем поднимается ArgoCD, который в свою очередь поднимает всякие Jenkins и подобное (а там конфигурация тоже кодом). Так вот наткнулся тут на интересный проект (но пока вроде не публичный) - рисуешь архитектуру на салфетке, подкладываешь ее в OpenAI Vision, а тот уже в python diagrams и ChatGPT тебе терраформ код бахает. Для старта и бойлерплейта - самое оно.Автор - вот @ohmydataengineer

dbt Labs Appoints Tech Veteran Brandon Sweeney as President and Chief Operating OfficerПо заголовку новости и не скажешь, что это особенное или важное событие. Ну назначили какого-то чувака и назначили.Дьявол кроется в деталях, а именно Брендон до этого занимал позицию Chief Revenue Officer в Hashicorp.Одно из последних событие, что произошло с Hashicorp, создателем Terraform, и связанное с деньгами - что они заадоптили BSL - Business Source License, "подприкрыли клапан OSS" (цитата из инторнетов😄).А если точнее, подприкрыли воздух всем, кто поверх Terraform / Vault / Nomad / Consul делал какой-нибудь софт или стартап.И думаю, что Брендон приложил большую руку к этому событию и теперь он в …

Из новостей, не связанных с данными, но интересных - GitHub Copilot Chat доступен теперь и в JetBrains IDE (раньше был только в VS Code (именно чат, не автодополнение).https://github.blog/2023-11-08-universe-2023-copilot-transforms-github-into-the-ai-powered-developer-platform/@ohmydataengineer

https://www.youtube.com/watch?v=-YQZUUYOccYУ этого канала непростительно мало просмотров и подписчиков! Челик выкладывает короткие видео (5-10 минут) про базовые концепции, подходы, темы в Data Engineering. Не смотря на очень кликбейтный заголовок, внутри все очень честно: если вы думаете, что везде сноуфлейками обмазались и MDS заадоптили, а только вы, центурион, сидите на своем хадупосраке и ковыряете умерший ORC - вы ошибаетесь. Отвратительные архитектуры, всратые модели и костыли есть везде, от ООО "Рога и Копыта" до ФААНГа.Не расстраивайтесь.(Кстати, если не верите не очень популярному инфлюенсеру, вот вам более популярный говорит про то же самое https://www.youtube.com/watch?v=l58yH2a…

💰Подписка на ресурсы издательства O'Reilly - одно из самых выгодных вложенийПотому что это знания, которыми делятся лучшие эксперты в своих областях.— В первую очередь это доступ к самым актуальным и интересным книгам в IT— Это мероприятия и live sessionsНапример, мне был интересен вебинар ChatGPT for Software Engineers— Это Interactive Labs & SandboxesK8s, Databases, Machine Learning, Data Analysis. Готовые окружения и песочницы прямо в браузере.Подписка на год стоит $499. Я успел воспользоваться предложением Black Friday и заплатил $299❓ Пользуетесь? Читаете? Пересылаете .pdf-экспорты в Tg? 🙂#learning #books

⚡️ Real time replication работает как в сказке! Но всё далеко непросто ⚡️#kafka #clickhouse #realtime #debeziumСалют! Ранее рассказывал о проблематике и архитектуре решения. По этой задаче есть обновления:🔸 Infrastructure deployment— Это Kafka, Kafka Connect, Zookeeper— Все сервисы в Docker-контейнерах— Для Connect готовил custom Dockerfile с добавлением нужных JDBC-драйверов (Clickhouse) и плагинов (JDBC Sink)— Развернул Clickhouse (пока single node deployment)🔸 Source Connector (MS SQL)— Первый источник - MS SQL— Потребовалось применить конфигурации в самой базе-источнике (CDC configuration)— Настройка Initial Snapshot— Очень много операций с Kafka Connect REST API (создал - удалил - обно…

🟢 [Building Modern Data Analytics Apps] 🟢Планируемый стек:— Y.Cloud, Terraform (Ansible)— Clickhouse— dbt + packages— One of BI tools: Metabase, Superset (Datalens, LightDash)— Cube for metrics layer— Github (Actions)— One of EL tools: Airbyte, Meltano, StitchВся практика планируется в Я.Облаке.#learning

🟢 [Building Modern Data Analytics Apps] 🟢Салют!Запуск будет состоять из вебинаров на эти темы:— Infra DeploymentDeploying Databases, VMs for Data Pipelines and Orchestrators with Terraform— Start modeling with dbtProject configuration, Adapters setup, Launching devcontainers— Sync Data SourcesTypes of source data, file formats, sync methods— Marketing analyticsCombine ad platforms, website trackers, CRM data, build data marts— Ensure Data QualityUnit tests, Freshness tests, Automated Integration testing— Configure Semantic Layer (metrics)Define metrics declarative way, Debug it— Deploy and configure BI toolBuild dashboards, visualize key metrics, enable drills— Team workSetup dev sandboxes,…

[Technology Enthusiast] pinned «🔥 Открываю сбор заявок на серию вебинаров Building Modern Data Analytics Apps 🔥 4 года я готовил программы и вел занятия в Analytics & Data в ОТУС. Пришло время развивать свои проекты. Ключевые моменты: — 9-10 связанных вебинаров на которых строим Analytics…»

😵‍💫 dbt Semantic Layer - сплошное разочарование ч.2 😵‍💫Итак, с dbt Semantic Layer 2.0 я проделал следующие шаги:— Обновил версию dbt-проекта до 1.7.X, добавил Metricflow в свой devcontainer (просто и удобно)— Создал простое описание семантического слоя в semantic_layer.yml на базе одной из витрин dbt (отличается от Semantic Layer 1.0, и не в лучшую сторону)— Добавил файл с описанием метрик metrics.yml с одной метрикой = # Journeys— Генерировал файл с артефактами командой dbt parse— Обращался к Metricflow через CLI: mf list, mf validate-configs, mf query— Настроил dbt Semantic Layer в dbtCloud (обратите внимание на количество шагов и их)Имеем в сухом остатке:— Весь процесс конфигурации чтобы…

😒 dbt Semantic Layer - сплошное разочарование 😒Итак, попробовав несколько разных подходов, собрав результаты и отзывы, эволюционно я пришел к тому, что для ключевого KPI-дашборда компании (Weekly Business Review) лучше всего иметь все метрики в необходимых разрезах и гранулярностях в предрассчитанном виде в СУБД в одной небольшой таблице.Сегодня в течение дня я экспериментировал с dbt Semantic Layer 2.0 (бывший Metricflow, который стал частью dbt Labs).Напомню, что ранее массово были публикации и обсуждения dbt Semantic Layer 1.0. Коротко, его суть сводилась к следующему:— В .yml файле декларативно описывались правила расчета метрик со ссылками на dbt-модели— В виде dbt package устанавливал…

👀 Как вы структурируете свои мысли? 👀Вопрос больше относится к ведению записей, заметок, наблюдений (в т.ч. по рабочим проектам и задачам).— Лет 5-7 назад я пользовался Evernote.— Сегодня для личных заметок я использую Notes (Apple).— Все записи, относящиеся к работе я веду просто в git-репозитории в markdown файлах.На какие важные критерии я обращаю внимание?— Кросс-девайс (рабочий, домашний компьютер, телефон)— Разметка текста: предпочтительно Markdown— Структура ведения: папки, ассоциативные модели (путешествия, работа, покупки, ...)— Версионирование: история изменений— Media: возможность вставить скан схемы с бумаги, фотографию, картинку— Links: ссылки на другие записи, внешние ссылки, …

🔥 Открываю сбор заявок на серию вебинаров Building Modern Data Analytics Apps 🔥4 года я готовил программы и вел занятия в Analytics & Data в ОТУС. Пришло время развивать свои проекты.Ключевые моменты:— 9-10 связанных вебинаров на которых строим Analytics Apps— True Modern Data Stack: удобно, функционально, красиво - как я люблю— Slides, Live coding, Demos, Labs (ваша практика)— Участие будет платное— Группа не более 10 человекВ ближайшее время опубликую:— Программа курса (темы, подходы, стек) и почему она лучшая— Результаты: ваши знания, умения, портфолио— Дальнейшее сотрудничество: кому-то предложу делать всё это для клиентов с деньгами— Углубленные серии: DataOps (MLOps), Advanced Modelin…

👀 Продлеваю контракт с Looker (Annual Contract Renewal) 👀 🔹 Еще как минимум на год — Со слов Sales Rep. продления On Demand (Month—to—month) нет — Буду внимательно рассматривать альтернативы в течение этого времени 🔹 Текущие pain points в Looker — Есть…

👀 Продлеваю контракт с Looker (Annual Contract Renewal) 👀🔹 Еще как минимум на год— Со слов Sales Rep. продления On Demand (Month—to—month) нет— Буду внимательно рассматривать альтернативы в течение этого времени🔹 Текущие pain points в Looker— Есть проблема с производительностью громоздких дашбордов (Company Wide KPI) — SQL Runner только для лицензии Developer (дорого)🔹 Есть уже такие привычные, но всё же Killer features— Semantic Layer (LookML)— Everything as Code (incl. dashboards!) — Developer mode, sudo as user, rich API🔹 Ценообразование странное и непрозрачное— Есть базовая часть $USD = движок Looker + ряд лицензий (2 Dev + 10 Users) — Количество остальных лицензий считаются по тарифам …

🙂 Могли бы покритиковать архитектуру Data Stack? 🙂 Салют! Задача: — Отчетность по операционным метрикам Near Real Time — Устойчивый стек, возможность роста и эволюции Архитектура: — Debezium + Kafka для NRT репликации данных в DWH — Clickhouse + dbt как…

🙂 Могли бы покритиковать архитектуру Data Stack? 🙂Салют!Задача:— Отчетность по операционным метрикам Near Real Time— Устойчивый стек, возможность роста и эволюцииАрхитектура:— Debezium + Kafka для NRT репликации данных в DWH— Clickhouse + dbt как движок DWH— Cube как Semantic layer + Cache Store— Superset как BIВопросы:— Как вам архитектура решения и Data Stack?— Кто работал с Debezium + Kafka: какие рекомендации по Deploy + Operations

🔼 AGGREGATE AWARENESS 🔼 Проблема: — Вы строите отчетность, возможно, дашборды в BI — Дашборды запускают агрегирующие запросы (типичный OLAP) — Запросов много: разные метрики, разные измерения, фильтры — Все запросы задействуют огромные таблицы фактов (1М+)…

В чем ценность решения?— Performance: для ответа на вопросы используются таблицы, меньшие на порядки— Cost savings: экономим ресурсы, эффект будет явно заметен на масштабе— Reduced complexity: вместо хардкода и "отдельных" таблиц используем встроенные механизмыЧто необходимо учитывать:Структура таблицы должна позволять получить ответ на вопрос— Field factors: агрегат должен включать запрашиваемые dimensions, measures, filters— Timeframe factors: дни можно агрегировать до недели, наоборот - не получится— Measure type factors: складывать можно аддитивные меры (sum, count, average, min/max), неаддитивные складывать нелья (sum / count / average distinct, median)👉 В комментах небольшой пример с …

Microsoft Excel в 1990 годуhttps://www.youtube.com/watch?v=kOO31qFmi9Aтв-реклама Экселя из 1990 года — как 30 лет назад люди воспринимали возможность вставить циферки в таблицу и красиво раскрасить.особенно полезно посмотреть на это в контексте фразы «AI отберёт у людей работу» — ведь сам по себе АИ ничего отобрать не может (пока что, хехе!). Миджорни не знает куда вставлять свои чудесные креативы, а ChaGPT не понимает как использовать этот гениальный контент-план, который он только что нагенерил.наверное, в 90-х люди тоже смотрели на Эксель с опаской, а кто-то может и вообще первый раз про него услышал лет через 10но постепенно бухгалтеры, которые умеют пользоваться Экселем, стали цениться…

послушал как принципалы Thoughtworks обсуждают ai-помогаторы для написания кода.самое простое описание — это продвинутое автодополнение. Как раньше курсор предлагал дописать несколько символов текущего слова, так сейчас предлагает дописать несколько строк.дополнение пока что хорошо работают на уровне дописания отдельных методов, но не целых приложений. Хотя есть примеры в интернетах как люди генерят небольшие приложения с нуля. Но есть сомнения, что это всё-таки крайне ограниченная выборка среди всех пользователей.и на качество таких приложений надо ещё посмотреть изнутри. Ведь хороший код должен был читаемым и поддерживаемым нашими белковыми коллегами (включая себя самого в будущем). однак…

✍️ первое задание для новенького адаптироваться в новой команде сложно: свои обычаи, новая инфра, кодовая база и конвенции. Голова идёт кругом, пока всё вкуришь. И перед тем как начать приносить пользу команде, проходит какое-то время. Есть даже метрика — время до первого коммита в прод.но у новичков есть одно преимущество — незамутнённый взгляд (и девственно чистое окружение!)у старичков-то всё просто — когда-то давно они настроили себе окружение и с тех пор всё просто работает. они не имеют счастья пройти с нуля онбордниг и могут не знать что в документации что-то устарело. И тут на помощь приходит свеженький и полный сил новичок! По ходу прохождения процесса онбординга, он может:- провер…

Яндекс 🇷🇺 → Klarna 🇸🇪2 года назад у меня был планк тому моменту я поработал полгода джуном в Ривьере, потом ещё годик в агентстве Epoch8. Когда пришёл в Яндекс, по прикидкам в такой большой компании можно смело проработать года 2-4, продолжая открывать что-то новое. помню как смотрел такими О_О глазами на коллег, которые уходили из Яндекса когда я только туда добрался. Смотрел и не понимал что за жизнь такая может быть после.но потом что-то случилось 🫠хотя изначальный расчёт был верным — к концу второго года я так и не успел заскучать; считай, только-только освоился и начал примерно понимать как тут что работает, что там по инфраструктуре и какие отделы за что отвечают. это знание контекста…

Польза вопросов Последние пару месяцев активно копаю в сторону стриминга. Последний проект — перевод одной отдельновзятой поставки данных на Flink. В какой-то момент настолько увлёкся и закопался, что потерял общий ориентир; ви́дение стало слишком узким…

О приоритизации задач Дорогой читатель Алексей Махоткин @squadette в коментах к прошлому посту прислал релевантную заметку (спасибо большое! люблю такое, шлите ещё). Мой ограниченный опыт подтверждается богатым (подозреваю) опытом автора из ЖЖ — ошибка довольно распространённая.https://gaperton.livejournal.com/36144.html ⁃ неопределённость в проектах есть всегда; ей можно управлять (хотя бы наблюдать и иметь в виду). ⁃ неопределённость к концу проекта должна снижаться ⁃ мутные задачи делать сложно и неохотно, поэтому есть склонность откладывать их на конец проекта. ⁃ вместе с тем, в сложных задачах скрыто куча потенциальной неопределённости — и лучше бы узнать о них пораньше ⁃ иначе неопред…

Польза вопросовПоследние пару месяцев активно копаю в сторону стриминга. Последний проект — перевод одной отдельновзятой поставки данных на Flink.В какой-то момент настолько увлёкся и закопался, что потерял общий ориентир; ви́дение стало слишком узким и застал себя за тем, что «искал ключи где светло, а не там где их мог потерять»Благо дело было перед регулярной встрече 1-1 и на помощь пришёл наш бравый лид (привет, Саша!). Через ряд последовательных вопросов у него получилось упорядочить хаос в моей голове: вспомнить о цели проекта, предстоящих этапах и когда это должно быть сделано.прошли от обратного: дедлайн условно 1 сентября — значит, 31 августа должен быть релиз? нет, релиз нужен мини…

Нет правильных решенийв школе было просто: тебе дают пример, ты что-то там решаешь на листочке и выдаёшь ответ — «42!». И сссразу получаешь обратную связь «правильно / неправильно».дальше всё получается сложнее. возьмём кластер Кликхауса, которому плоховато от нагрузки. Что с этим можно сделать? можно добавить ещё хостов, можно апнуть текущие хосты, можно добавить шардирование. с другой стороны можно проверить нагрузку; что больше грузит систему — запись или чтение? может мы пишем что-то лишнее, т.е. оптимизировать запись. Или у нас Даталенс с Графаной спамят по стопицот одинаковых запросов в секунду?здесь нет «правильного» ответа. По-хорошему надо бы зарыться в логи и разобраться что проис…

#послушано 🎧 Rework: AI! GPT! What a time to be alive!речи фаундеров 37 Signals просто как бальзам на мою fomo-душу! Для тех, кто переживает, что «поезд AI ушёл» и его уже не догнать, ребята предлагают взглянуть с другой стороны: в этой отрасли настолько быстро всё меняется, что период полураспада навыков — 48 часов! Если вы были мастером по MidJourney версии 3, то в пятой версии уже всё поменялось и буквально надо вкатываться заново. Поэтому можно смело начинать вкатываться с версии 5 (или 10!) — и все будут примерно на том же уровне.Главный совет от ребят — Have fun!Apple Podcasts🎧 Moscow Python: Пайтон в мире анализа данныхМой бывший СТО из агентства Epoch8 — Андрей Татаринов — заглянул …

ClickHouse: стриминг для бедныхдостался в поддержку проект по реалтайм обработке данных на основе КХ — чем больше в него погружаюсь, тем больше он нравится!смысл простой: из брокера сообщений инсёртим данные в КХ и там через материализованные представления раскладываем их в одну широкую денормализованную витрину.на выходе получаем основные данные для аналитики бизнеса с задержкой в единицы секунд для основных атрибутов и доезд остальных по мере поступления. вообще Кликхаус мне представляется как кладезь интересных технических решений. По мере погружения проект отметил два пункта, почему такой проект в принципе работает: 1. колоночное хранение 2. движки таблиц семейства MergeTree 3. матвьюхи…

🤓️️Практикум: английский для разработчиковСпустя 6 месяцев закончил курс, куда записался на панике сразу после мобилизации. На самом деле записался сразу на два английских от Практикума: общий и для разработчиков.Общий порадовал короткими кусочками — в любое свободное время за 15 минут проходишь теорию и после неё записываешься на практику на через-5-минут. Можно не держать в голове расписание, а заниматься по свободности.Но в итоге продолжил только с курсом английский для разработчиков. Там подкупила релевантность тем — всё связаны с ежедневной работой: стендапы и ретро, парное программирование и код-ревью, вопросы в интернете и публичная презентация; и конечно поиск работы и тренировка те…

🤓️️Практикум: английский для разработчиковСпустя 6 месяцев закончил курс, куда записался на панике сразу после мобилизации. На самом деле записался сразу на два английских от Практикума: общий и для разработчиков.Общий порадовал короткими кусочками — в любое свободное время за 15 минут проходишь теорию и после неё записываешься на практику на через-5-минут. Можно не держать в голове расписание, а заниматься по свободности.Но в итоге продолжил только с курсом английский для разработчиков. Там подкупила релевантность тем — всё связаны с ежедневной работой: стендапы и ретро, парное программирование и код-ревью, вопросы в интернете и публичная презентация; и конечно поиск работы и тренировка те…

там завтра наши хэды из платформы данных будут рассказывать как ворочать петабайтами в YTsaurus (он же Ыть, он же а-ля Хадуп)https://t.me/ytsaurus_ru/2869

Summary

Building a data platform that is enjoyable and accessible for all of its end users is a substantial challenge. One of the core complexities that needs to be addressed is the fractal set of integrations that need to be managed across the individual components. In this episode Tobias Macey shares his thoughts on the challenges that he is facing as he prepares to build the next set of architectural layers for his data platform to enable a larger audience to start accessing the data being managed by his team.

Announcements

Hello and welcome to the Data Engineering Podcast, the show about modern data management

Introducing RudderStack Profiles. RudderStack Profiles takes the SaaS guesswo…

Summary

The dbt project has become overwhelmingly popular across analytics and data engineering teams. While it is easy to adopt, there are many potential pitfalls. Dustin Dorsey and Cameron Cyr co-authored a practical guide to building your dbt project. In this episode they share their hard-won wisdom about how to build and scale your dbt projects.

Announcements

Hello and welcome to the Data Engineering Podcast, the show about modern data management

Data projects are notoriously complex. With multiple stakeholders to manage across varying backgrounds and toolchains even simple reports can become unwieldy to maintain. Miro is your single pane of glass where everyone can discover, track, and…

Summary

Software development involves an interesting balance of creativity and repetition of patterns. Generative AI has accelerated the ability of developer tools to provide useful suggestions that speed up the work of engineers. Tabnine is one of the main platforms offering an AI powered assistant for software engineers. In this episode Eran Yahav shares the journey that he has taken in building this product and the ways that it enhances the ability of humans to get their work done, and when the humans have to adapt to the tool.

Announcements

Hello and welcome to the Data Engineering Podcast, the show about modern data management

Introducing RudderStack Profiles. RudderStack Profiles take…

Summary

Databases are the core of most applications, but they are often treated as inscrutable black boxes. When an application is slow, there is a good probability that the database needs some attention. In this episode Lukas Fittl shares some hard-won wisdom about the causes and solution of many performance bottlenecks and the work that he is doing to shine some light on PostgreSQL to make it easier to understand how to keep it running smoothly.

Announcements

Hello and welcome to the Data Engineering Podcast, the show about modern data management

Introducing RudderStack Profiles. RudderStack Profiles takes the SaaS guesswork and SQL grunt work out of building complete customer profiles so…

Summary

Databases are the core of most applications, whether transactional or analytical. In recent years the selection of database products has exploded, making the critical decision of which engine(s) to use even more difficult. In this episode Tanya Bragin shares her experiences as a product manager for two major vendors and the lessons that she has learned about how teams should approach the process of tool selection.

Announcements

Hello and welcome to the Data Engineering Podcast, the show about modern data management

Introducing RudderStack Profiles. RudderStack Profiles takes the SaaS guesswork and SQL grunt work out of building complete customer profiles so you can quickly ship acti…

Summary

The primary application of data has moved beyond analytics. With the broader audience comes the need to present data in a more approachable format. This has led to the broad adoption of data products being the delivery mechanism for information. In this episode Ranjith Raghunath shares his thoughts on how to build a strategy for the development, delivery, and evolution of data products.

Announcements

Hello and welcome to the Data Engineering Podcast, the show about modern data management

Introducing RudderStack Profiles. RudderStack Profiles takes the SaaS guesswork and SQL grunt work out of building complete customer profiles so you can quickly ship actionable, enriched data to eve…

Summary

Building streaming applications has gotten substantially easier over the past several years. Despite this, it is still operationally challenging to deploy and maintain your own stream processing infrastructure. Decodable was built with a mission of eliminating all of the painful aspects of developing and deploying stream processing systems for engineering teams. In this episode Eric Sammer discusses why more companies are including real-time capabilities in their products and the ways that Decodable makes it faster and easier.

Announcements

Hello and welcome to the Data Engineering Podcast, the show about modern data management

Introducing RudderStack Profiles. RudderStack Profiles …

Summary

The insurance industry is notoriously opaque and hard to navigate. Max Cho found that fact frustrating enough that he decided to build a business of making policy selection more navigable. In this episode he shares his journey of data collection and analysis and the challenges of automating an intentionally manual industry.

Announcements

Hello and welcome to the Data Engineering Podcast, the show about modern data management

Introducing RudderStack Profiles. RudderStack Profiles takes the SaaS guesswork and SQL grunt work out of building complete customer profiles so you can quickly ship actionable, enriched data to every downstream team. You specify the customer traits, then Profil…

Summary

Artificial intelligence applications require substantial high quality data, which is provided through ETL pipelines. Now that AI has reached the level of sophistication seen in the various generative models it is being used to build new ETL workflows. In this episode Jay Mishra shares his experiences and insights building ETL pipelines with the help of generative AI.

Announcements

Hello and welcome to the Data Engineering Podcast, the show about modern data management

Introducing RudderStack Profiles. RudderStack Profiles takes the SaaS guesswork and SQL grunt work out of building complete customer profiles so you can quickly ship actionable, enriched data to every downstream team. …

Summary

The rapid growth of machine learning, especially large language models, have led to a commensurate growth in the need to store and compare vectors. In this episode Louis Brandy discusses the applications for vector search capabilities both in and outside of AI, as well as the challenges of maintaining real-time indexes of vector data.

Announcements

Hello and welcome to the Data Engineering Podcast, the show about modern data management

Introducing RudderStack Profiles. RudderStack Profiles takes the SaaS guesswork and SQL grunt work out of building complete customer profiles so you can quickly ship actionable, enriched data to every downstream team. You specify the customer traits, …

Summary

A significant amount of time in data engineering is dedicated to building connections and semantic meaning around pieces of information. Linked data technologies provide a means of tightly coupling metadata with raw information. In this episode Brian Platz explains how JSON-LD can be used as a shared representation of linked data for building semantic data products.

Announcements

Hello and welcome to the Data Engineering Podcast, the show about modern data management

This episode is brought to you by Datafold – a testing automation platform for data engineers that finds data quality issues before the code and data are deployed to production. Datafold leverages data-diffing to compar…

Summary

Data systems are inherently complex and often require integration of multiple technologies. Orchestrators are centralized utilities that control the execution and sequencing of interdependent operations. This offers a single location for managing visibility and error handling so that data platform engineers can manage complexity. In this episode Nick Schrock, creator of Dagster, shares his perspective on the state of data orchestration technology and its application to help inform its implementation in your environment.

Announcements

Hello and welcome to the Data Engineering Podcast, the show about modern data management

Introducing RudderStack Profiles. RudderStack Profiles takes t…

Summary

Cloud data warehouses and the introduction of the ELT paradigm has led to the creation of multiple options for flexible data integration, with a roughly equal distribution of commercial and open source options. The challenge is that most of those options are complex to operate and exist in their own silo. The dlt project was created to eliminate overhead and bring data integration into your full control as a library component of your overall data system. In this episode Adrian Brudaru explains how it works, the benefits that it provides over other data integration solutions, and how you can start building pipelines today.

Announcements

Hello and welcome to the Data Engineering Podca…

Summary

Data persistence is one of the most challenging aspects of computer systems. In the era of the cloud most developers rely on hosted services to manage their databases, but what if you are a cloud service? In this episode Vignesh Ravichandran explains how his team at Cloudflare provides PostgreSQL as a service to their developers for low latency and high uptime services at global scale. This is an interesting and insightful look at pragmatic engineering for reliability and scale.

Announcements

Hello and welcome to the Data Engineering Podcast, the show about modern data management

Introducing RudderStack Profiles. RudderStack Profiles takes the SaaS guesswork and SQL grunt work out o…

Summary

Generative AI has unlocked a massive opportunity for content creation. There is also an unfulfilled need for experts to be able to share their knowledge and build communities. Illumidesk was built to take advantage of this intersection. In this episode Greg Werner explains how they are using generative AI as an assistive tool for creating educational material, as well as building a data driven experience for learners.

Announcements

Hello and welcome to the Data Engineering Podcast, the show about modern data management

Introducing RudderStack Profiles. RudderStack Profiles takes the SaaS guesswork and SQL grunt work out of building complete customer profiles so you can quickly ship …

Our fifth season dives into large language models (LLMs), from understanding the internals to the risks of using them and everything in between. While we're at it, we'll be enjoying our morning brew.In this session, we interviewed Chengyin Eng (Senior Data Scientist, Databricks), Sam Raymond (Senior Data Scientist, Databricks), and Joseph Bradley (Lead Production Specialist - ML, Databricks) on the best practices around LLM use cases, prompt engineering, and how to adapt MLOps for LLMs (i.e., LLMOps).

We will dive into LLMs for our fifth season, from understanding the internals to the risks of using them and everything in between. While we’re at it, we’ll be enjoying our morning brew.In this session, we interviewed Omar Khattab - Computer Science Ph.D. Student at Stanford, creator of DSP (Demonstrate–Search–Predict Framework), to discuss DSP, common applications, and the future of NLP.

We will dive into LLMs for our fifth season, from understanding the internals to the risks of using them and everything in between. While we’re at it, we’ll be enjoying our morning brew.In this session, we interviewed Yaron Singer, CEO of Robust Intelligence, Professor of Computer Science at Harvard University, and guest of Data Brew Season 3 (our first repeat guest!). In this session, we discuss generative AI, the trends toward embracing LLMs, and how the surface area for vulnerabilities in generative AI is much bigger.

For our fifth season, we will dive into LLMs from understanding the internals to the risks of using them and everything in between. While we’re at it, we’ll be enjoying our morning brew.In this session, we interviewed David Talby who is the CTO at John Snow Labs; they help healthcare & life science companies put AI to good use. David's interests include natural language processing, applied artificial intelligence in healthcare, and responsible AI.

10 лет назад гость сегодняшнего эпизода построил у себя на заднем дворе в Миннесоте замок из бетона. Точнее распечатал 3D-принтером, который сам же и изобрел. Тогда об этом написали многие американские медиа, а Андрей Руденко на время стал знаменитостью. Самат Галимов позвал Андрея в подкаст и расспросил, как он делает свои принтеры и строит на этом бизнес. Реклама. АНО ДПО «Образовательные технологии Яндекса» ИНН 7704282033 erid: 2SDnjc1jxba Курсы Практикума для разработчиков и тестировщиков: https://clck.ru/36jJ7q Репортаж о замке Андрея Руденко: https://youtu.be/DQ5Elbvvr1M?si=C4R6mCgdLmTzJe7h Подкаст «Собес» https://bit.ly/3sMjtf3 Чат Запуска в телеграме: https://t.me/zapuskzavtra Связа…

Что общего у разработки видеоигр и создания домов, персонажей и историй в игре The Sims? Денис Ишмухаметов — программист графики в компании Wargaming, которая выпустила, например, игру World of Tanks. Самат Галимов расспросил Дениса, как устроен процесс разработки, зачем нужен игровой движок, что он умеет и какие с ним бывают сложности. Реклама. АНО ДПО «Образовательные технологии Яндекса» ИНН 7704282033 Промокод на скидку 20% на все курсы Практикума в Черную Пятницу: https://clck.ru/36ZxQg Выпуск про компьютерную графику: https://pc.st/e/6~lAhBor-PC Денис советует книги: Game Engine Architecture by Jason Gregory Real-Time Rendering by Eric Haines, Tomas Möller, Naty Hoffman И YouTube: http…

Вы точно хоть раз оказывались на странице, созданной с помощью Tilda или Readymag. Эти сервисы позволяют сверстать сайт без программирования всего за несколько кликов. Как это возможно? Насколько качественными получаются такие продукты? А можно сделать не сайт, а что-то сложнее? Программисты больше не нужны? Обо всем этом Самат Галимов спрашивает технического директора компании Readymag Антона Васина. Реклама. АНО ДПО «Образовательные технологии Яндекса» ИНН 7704282033 Курс «DevOps для эксплуатации и разработки»: https://clck.ru/36HZHm Слушать «Запуск++» и другие бонусы по подписке ЛибоЛибо+ в приложении «Подкасты» от Apple https://cutt.ly/zap10epap или в закрытом тг-канале Либо/Либо https:…

Почему батарейка портится, даже если ей не пользоваться? Можно ли оставить телефон на зарядке на всю ночь? Что будет, если батарейка загорится? Может ли самолет работать на батарейках? И какое будущее ждет эту технологию? Чтобы разобраться, Самат Галимов расспрашивает Сергея Агеева — гендиректора компании «ТЭЭМП», которая производит суперконденсаторы в России. Курс от Яндекс Практикума «Мидл Python-разработчик»: https://clck.ru/36C7RX Слушать «Запуск++» и другие бонусы по подписке ЛибоЛибо+ в приложении «Подкасты» от Apple https://cutt.ly/zap10epap или в закрытом тг-канале Либо/Либо https://cutt.ly/zap10eptg Скоро там появиться вторая часть разговора про батарейки, которая не вошла в этот э…

В телефонах хранится вся наша жизнь — с их помощью мы работаем, общаемся с близкими, занимаемся сексом. Шпионские программы способны получить полный доступ к устройству так, что вы даже не узнаете о взломе. Как это возможно? В новом выпуске Самат Галимов говорит с юристкой Access Now Натальей Крапивой и старшим научным сотрудником Citizen Lab Биллом Марзаком. Вместе они разбираются, каким образом злоумышленник может проникнуть в ваш телефон, почему мы не замечаем, что за нами следят, и как защититься от взлома. Курс от Яндекс Практикума «Специалист по информационной безопасности: веб-пентест»: https://clck.ru/36E3YK Реклама. АНО ДПО «Образовательные технологии Яндекса» ИНН 7704282033 Наталь…

Пройдите наш опрос: https://form.typeform.com/to/JtPoHCCk Друзья, мы уходим на каникулы и несколько месяцев не будем выпускать новые эпизоды. Чтобы слушать наш подкаст в перерыве, подписывайтесь на «Запуск++». Это бонусные выпуски подкаста, доступные платным подписчикам. Слушать «Запуск++» и другие бонусы по подписке ЛибоЛибо+ в приложении «Подкасты» от Apple https://cutt.ly/zap0806boap или в закрытом тг-канале Либо/Либо https://cutt.ly/zap0806botg Подписаться только на «Запуск++» в Телеграме: https://t.me/+N_AopnXC0dBkMGQy Чат Запуска в телеграме: https://t.me/zapuskzavtra Связаться: [email protected] Редакторка — Маша Агличева; Продюсеры — Настя Медведева и Саша Малинина; Звукорежисс…

Пройдите наш опрос: https://form.typeform.com/to/JtPoHCCk Пятая часть всех пользователей интернета на планете приходится на Китай. При этом китайский интернет существует почти обособленно от остального мира. Как так получилось и в чем отличие пользовательского опыта в Китае разбираемся с двумя экспертами — Джеймсом Гриффитсом, британским журналистом и автором книги про файрвол и Леонидом Ковачичем, китаистом, изучающим системы контроля за интернетом в КНР. Реклама. Осваивайте новые стеки и технологии в Яндекс Практикуме: https://clck.ru/34FzoC Слушать «Запуск++» и другие бонусы по подписке ЛибоЛибо+ в приложении «Подкасты» от Apple https://cutt.ly/zap0106epap или в закрытом тг-канале Либо/Л…

Омар Ганиев занимается кибербезопасностью больше 10 лет, а его команда ищет уязвимости в смарт-контрактах и взламывает внутренние сети банков. В этом эпизоде он рассказывает Самату, как забытые сервера приводят к взломам огромных корпораций, почему в блокчейне так много платят за обнаружение уязвимости и какие меры безопасности стоит принимать обычным пользователям. Реклама. Курс «Мидл Python-разработчик» от Яндекс Практикума: https://clck.ru/34FzkS Ссылки: Выступление Омара про AI security: https://www.youtube.com/watch?v=RhbKkaibUGQ Слушать «Запуск++» и другие бонусы по подписке ЛибоЛибо+ в приложении «Подкасты» от Apple https://cutt.ly/zap2505epap или в закрытом тг-канале Либо/Либо https…

Алексей Миловидов занимается проектом ClickHouse больше 10 лет. За это время его разработка стала опенсорсной, вышла из-под крыла Яндекса и привлекла несколько миллиардов инвестиций. В этом эпизоде Алексей вспоминает этот путь и рассказывает, чем сейчас живет компания ClickHouse. Реклама. Бесплатный курс «Подготовка к алгоритмическому собеседованию» от Яндекс Практикума: https://clck.ru/34FzhT Ссылки: Документация ClickHouse: https://clck.ru/34TBES Andy Pavlo: Database Systems CMU: https://clck.ru/34TBFM Книга Designing Data-Intensive Applications: The Big Ideas Behind Reliable, Scalable, and Maintainable Systems, автор Мартин Клеппманн: https://clck.ru/34TBNE Build Your Own Redis: https://…

Чтобы ваш телефон мог с высокой точностью определить, где вы находитесь, государства вкладывают миллиарды долларов в запуск в космос спутников, а еще строят сложную инфраструктуру на земле. В этом эпизоде эксперт по системам навигации Игорь Веренинов рассказывает, как они устроены и как их делают еще точнее. Реклама. Станьте экспертом Яндекс Практикума: https://clck.ru/34FzZN Эпизод про точное время: https://pc.st/e/0J2gxUNxjHU Эпизод подкаста «Собес» про ChatGPT: https://pc.st/e/4NZyyE2wmPu Слушать «Запуск++» и другие бонусы по подписке ЛибоЛибо+ в приложении «Подкасты» от Apple https://cutt.ly/26vdkmC или в закрытом тг-канале Либо/Либо https://cutt.ly/e6vsNWv Подписаться только на «Запуск…

В подкастах важен хороший звук, и Самат наконец-то решил разобраться, как его получают. В этом ему помогает Илья Лукашев — звукорежиссер и большой энтузиаст микрофонов. Почему поролон для подавления шумов — миф? Как создать эффект шепота в ухо? Нужно ли покупать микрофон для зум-созвонов? Обо всем этом — в новом эпизоде. Реклама. «Курс Мидл Python-разработчик» от Яндекс Практикума: https://clck.ru/33pVid Сообщество Ильи: https://vk.com/boring_sound YouTube-канал Ильи: https://www.youtube.com/@ilyalukashev/videos Ссылки: Сравнение направленности микрофонов: https://clck.ru/34Fy89 Бинауральный микрофон: https://clck.ru/34Fy8t Audio test kitchen: https://www.audiotestkitchen.com Gearspace: htt…

Тизер: в этом выпуске дочь Самата учится программировать! 150 тысяч детей учат информатику по программе Яндекс Учебника. Гость сегодняшнего эпизода Влад Степанов рассказал, зачем школьникам питон и как его команда проектирует уроки для детей, которые и так с детства пользуются гаджетами и интернетом. Реклама. «Курс по автоматизации тестирования на Java и Python» от Яндекс Практикума: https://clck.ru/33pVge Информатика от Яндекс Учебника: https://education.yandex.ru/inf/ Рекомендации от гостя: Подкаст про викторианский стиль: https://clck.ru/34C6R7 Игра, разработанная детьми: https://clck.ru/34C6Rm Канал Veritasuim: https://youtube.com/@veritasium (видео с русским дубляжом — https://youtube.…

В этом эпизоде разбираемся, как считывать сигналы с мозга, анализировать активность лобных долей и играть в нейроигры. И главное — зачем всё это нужно. В гостях — Дмитрий Конышев, руководитель разработки в компании Нейроботикс. Реклама. Бесплатный курс от Яндекс Практикума «Подготовка к алгоритмическому собеседованию»: https://clck.ru/33pVgN Подписаться на «Запуск++» в Телеграме: https://t.me/+N_AopnXC0dBkMGQy Подписаться на Либо/Либо+ в Телеграме, куда включены эпизоды «Запуск++»: https://t.me/+LXZx5JRqO4o0MjJi Чат Запуска в телеграме: https://t.me/zapuskzavtra Связаться: [email protected] Партнер этого подкаста — Яндекс Практикум. https://practicum.yandex.ru/ Редакторка — Маша Агличе…

Предсказательные модели, вычисления на суперкомпьютерах и анализ горных пород с помощью нейросетей — вот что получается, когда в консервативную индустрию приходят бодрые айтишные стартапы. Основатель компании Digital Petroleum Дмитрий Коротеев рассказывает, как разрабатывает инструменты, экономящие время и деньги нефтяных гигантов. Релама. Бесплатный курс от Яндекс Практикума «Основы Go»: https://clck.ru/33pVg3 Подписаться на «Запуск++» в Телеграме: https://t.me/+N_AopnXC0dBkMGQy Подписаться на Либо/Либо+ в Телеграме, куда включены эпизоды «Запуск++»: https://t.me/+LXZx5JRqO4o0MjJi Чат Запуска в телеграме: https://t.me/zapuskzavtra Связаться: [email protected] Партнер этого подкаста — …

Спонсор подкаста — https://learn.python.ru Ведущие — Михаил Корнеев и Григорий Петров

В выпуске поговорили с Николаем Свиридовым и обсудили следующие темы: как из инженеров биомедицинского оборудования стать разработчиком

переходить ли в IT без подушки безопасности?

ситуационную работу мозга

роль IT-сообществ в развитии разработчика

сколько времени нужно, чтобы сделать крутой канал об IT

как завалить несколько испытательных сроков и всё равно войти в разработку

выбор тем для канала

общение с аудиторией

перспективы Django Ссылки выпуска: Курс Learn Python — https://learn.python.ru/ Канал Миши в Telegram — https://t.me/tricky_python Канал Moscow Python в Telegram — https://t.me/moscow_python …

Спонсор подкаста — https://learn.python.ru

Новый выпуск посвятили актуальным новостям за октябрь 2023 года в мире Python. Ниже оставили ссылки на все материалы этого подкаста.

Новости выпуска:

Первая бета Django 5.0 PEP 703 — опциональный GIL из коробки PEP 730 — добавить iOS в поддерживаемые платформы Отчет Security Developer-in-Residence за 3 квартал Ведущие: Михаил Корнеев и Григорий Петров

Ссылки выпуска:

Курс Learn Python — https://learn.python.ru/ Канал Миши в Telegram — https://t.me/tricky_python Канал Moscow Python в Telegram — https://t.me/moscow_python Все выпуски — https://podcast.python.ru Митапы MoscowPython — https://moscowpython.ru

Спонсор подкаста — https://learn.python.ru Ведущие — Михаил Корнеев и Григорий Петров

В выпуске поговорили со Станиславом Змиевым и обсудили следующие темы: Станислав про себя

pathlib.Path.walk в Python имплементация и верификация контрибьюторов

про разработку Open Source

сложно ли контрибьютить в Python начинающим разработчиком

чем занимаются в Monite

как прийти в Open Source и что даёт

рассказывает ли о своих проектах

насколько Open Source выгоден для карьеры

способы монетизации Open Source

отличается ли разработка платформенной инфраструктуры в финтехе

почему разработчиком не нравятся Type hints

что Стас думает о других языках программирования

идеальная траектория развития разработчика С…

Новый выпуск посвятили актуальным новостям за сентябрь 2023 года в мире Python. Ниже оставили ссылки на все материалы этого подкаста.

Ссылки на новости из выпуска:

Релиз Python 3.12

Релиз Flask 3

Jetbrains выпустили Python Developers Survey 2022

Python-редактор в Microsoft Excel Ведущие: Михаил Корнеев и Григорий Петров

Ссылки выпуска: Курс Learn Python — https://learn.python.ru/ Канал Миши в Telegram — https://t.me/tricky_python Канал Moscow Python в Telegram — https://t.me/moscow_python Все выпуски — https://podcast.python.ru Митапы MoscowPython — https://moscowpython.ru

Спонсор подкаста — https://learn.python.ru

Ведущие — Михаил Корнеев и Григорий Петров Обсудили в выпуске: специфику Python-разработки в финтехе как часто случаются вопросы perfomance в команде конференцию Euruko кого ищут в финтех и как ищут как проверяют софт скилы на собеседовании какие хард скилы важны в финтехе как проверяют людей, которые знают, что классно и не классно разделяют ли сервера для расчётов и для обработки запросов есть ли люди, которые делают ревью кода как повышают версии как давно начали использовать FastAPI Миша про революцию в разработке почему FastAPI а не LiteStar? отношение к типизации как синхронизировать чувство меры всех членов команды? что все думают про новый …

Главный спонсор подкаста курсы Learn Python — https://learn.python.ru/ Этот выпуск посвятили опыту перехода на Pydantic 2 и пригласили Антона Огородникова, Magnit tech, чтобы обсудить: об Антоне почему решили переводить сервис на Pydantic 2 и как это делали

сколько времени и ресурсов ушло на переход

на какие side-эффекты наткнулись

что такое гильдии в Magnit tech

планируют ли вводить тестирование первых версий софта

использовали ли ребята Bump Pydantic

как долго надо ждать прежде чем внедрить софт

ответ на вопрос, реально ли найти работу, если контрибьютера в разные фреймворки (25-30 pr в мес) Ведущие: Михаил Корнеев и Григорий Петров

Ссылки выпуска:

Канал Миши в Telegram — https://t.me/tri…

Новый выпуск посвятили актуальным новостям за август 2023 года в мире Python. Ниже оставили ссылки на все материалы этого подкаста.

Ссылки на новости из выпуска:

Litestar 2.0

поддержка Python в Microsoft Excel PEP 683 – Immortal Objects, Using a Fixed Refcount

PyPi Safety and Security Engineer PyPi теперь требует 2fa для всех новых пользователей Ведущие: Михаил Корнеев и Григорий Петров

Ссылки выпуска: Курс Learn Python — https://learn.python.ru/ Канал Миши в Telegram — https://t.me/tricky_python Канал Moscow Python в Telegram — https://t.me/moscow_python Все выпуски — https://podcast.python.ru Митапы MoscowPython — https://moscowpython.ru

Этот выпуск посвятили важности архитектуры, как она связана с тестированием и зачем нужны линтеры и пригласили Николай Хитрова, Литрес, чтобы обсудить: почему Elixir

почему Алан Кэй назвал ООП ошибкой

как жить, когда у тебя всё — объект нравится ли Мише actor model что делают, когда всё плохо используют ли подходы из чистой архитектуры

про абстрактную фабрику фабрик

применение MVC и как настраивали процессы в Литрес

тулзы, которые автоматически говорят про сложность

как организовано тестирование

линтеры для тестов

почему не нужно сразу использовать интересные штуки «вся история про архитектуру — это про внесение изменений»

ответ на вопрос про большой граф зависимостей при использовании DI б…

Новый выпуск посвятили актуальным новостям за июль 2023 года в мире Python. Ниже оставили ссылки на все материалы этого подкаста.

Ссылки на новости из выпуска:

Pydantic 2 FastAPI 0.100.0

PEP 703 — no GIL

Threads и Python 3.10

PSF ищет человека, который будет заниматься фултайм улучшением процессов разработки CPython

Амазон выкатил поддержку Python 3.11 в лямбдах Дэвид Бизли выпустил бесплатный курс Advanced Python Mastery

PyPI перестает принимать .egg-файлы для загрузки

В PEP 387 – Backwards Compatibility Policy добавлен Soft Deprecation Ведущие: Михаил Корнеев и Григорий Петров

Ссылки выпуска: Канал Миши в Telegram — https://t.me/tricky_python Канал Moscow Python в Telegram — https://t.me/…

Новый выпуск посвятили актуальным новостям за июнь 2023 года в мире Python. Ниже оставили ссылки на все материалы этого подкаста. Ссылки на новости из выпуска:

StackOverflow выпустил результаты очередного опроса разработчиков

В python 3.13 удалят еще 20 модулей из stdlib (PEP 594) Выбрали участников PSF Board на 2023 год PSF наняли специалиста по безопасности

Видео с Pycon US

Видео с DjangoCon EU

релиз Jupyter Lab 4 Ведущие: Михаил Корнеев и Григорий Петров

Ссылки выпуска: Канал Миши в Telegram — https://t.me/tricky_python Канал Moscow Python в Telegram — https://t.me/moscow_python Митап Moscow Python 15 июня —https://moscowdjango.timepad.ru/event/2445754/ Все выпуски — https://podcast.pyth…

Этот выпуск посвятили аналитике данных и пригласили Андрея Татаринова, Epoch8, чтобы обсудить: как Андрей попал в выпуск

Epoch8

отличие веб-разработчиков от тех «кто молотит данные»

как устроен Pandas

колоночная база данных

первая проблема в обработке данных

почему строка в Python — сложно

про Pandas

все так хорошо, что NumPy доживает свои дни?

«при использовании Pandas бояться деградации скорости из-за копирований не надо»

оптиизации

почему Polars быстрый

Polars vs. Pandas

брать ли Polars вместо Pandas оптимизация больших проектов «с Pandas 2.0 преимущество стало меньше»

тренд на ускорение и Rust

анекдот и ответ на вопрос

«Polars это неполная замена Pandas»

ответ на вопрос, почему inplace …

Новый выпуск посвятили типизации в Python, разобраться во всех нюансах помогли Никита Соболев, wemake.services и Сергей Петров, Selectel. Тайм-коды

1:30 - типы это худшее или лучшее, что произошло с Python?

4:52 - что продвигает Никита

6:30 - нужно ли топить за типы

10:00 - PEP 692, TypedDict

13:24 - PEP 698, Override Decorator for static type

14:50 - PEP 695, Type Parameter Syntax

22:00 - PEP 688, История его появления от Никиты

23:53 - SQLAchemy 2 сильно пошатнула работу с типами

29:10 - типы ушли в runtime (или ушли от runtime)

30:40 - что не так с валидацией

37:13 - ответ на вопрос, насколько часто используете протоколы в качестве типов

39:15 - ответ на вопрос, стоит ли читать книги по …

Новый выпуск посвятили актуальным новостям за май 2023 года в мире Python. Параллельно играли в Diablo, поэтому лучше смотреть видеоверсию. Ниже оставили ссылки на все материалы этого подкаста. Тайм-коды 00:00 - интро

2:30 - GIL в Python

4:00 - нужны ли subenterpretator при наличии GIL

10:00 - subenterpretator в Ruby

12:45 - стандартная библиотека (что добавлять, что отбавлять)

13:20 - с одной стороны добавили Pathlib

14:00 - одно взлетает, а другое нет (FastAPI, AIOHTTP)

14:35 - сравнение добавления в Python и Ruby

16:26 - Dark Python

17:00 - пример добавления типов

17:55 - то, когда добавили Asyncio

18:45 - концепция: «современный Python - это PyPI»

19:00 - dataclass

20:45 - расширение си…

В гостях у Moscow Python Podcast Даниил Мясников, Руководитель Python-разработки в Контуре. Обсудили в выпуске:

зачем затаскивать Python в компанию с С# разработчиками

какая была реакция у бизнеса реакция разработчиков о переходе на Python

основные претензии C# разработчиков к внедрению Python

блиц-вопросы от Гриши про интерфейс и про IronPython

чему питонист может научиться у шарписта

комфортно ли было переключаться между стилями

многих ли шарпистов удалось переключить на Python как обучали сотрудников Python

что не нравилось в Python и как замеряли перфоманс

истории Миши и Гриши про Linux

что фиксировали при заносе, а что отдали на откуп разработчиков

блиц-вопрос про аннотации типов

для ч…

В какой момент продукт перестает быть безумной идеей фаундеров и встает на ноги? По каким метрикам и что нужно сделать, чтобы пройти этот путь? На эти и другие вопросы нам ответил Илья Мартын – управляющий партнер United Investors. Партнёр выпуска — Samokat.tеch – ИТ-команда, которая создаёт технологии для ретейла реального времени, чтобы любые товары попадали к людям мгновенно, насколько это возможно в физическом мире. Заходи в ТГ-канал Samokat.teсh (https://t.me/samokat_tech) — узнать больше о технологиях ретейла реального времени.

Посмотри карьерный сайт (https://samokat.tech/) – подробнее об инженерной культуре и вакансиях Samokat.tеch. Также ждем вас, ваши лайки, репосты и комменты в м…

У TypeScript – очень интересная история. Это первый крупный опенсорсный проект Microsoft, которые до этого воспринимались исключительно как империя зла. Он соревновался сразу с несколькими другими языками, включая Dart, и смог с огромным опережением их обойти. TypeScript настолько глубоко проник в фронтендовую экосистему, что JavaScript де-факто зависит от него. Артем Старовойт, тимлид команды WebStorm в JetBrains, который много лет занимался поддержкой TypeScript в IDE, рассказал все про принципы дизайна языка, устройство его системы типов, экосистему и известные проблемы. Также ждем вас, ваши лайки, репосты и комменты в мессенджерах и соцсетях! Telegram-чат: https://t.me/podlodka Telegram…

Пополняем коллекцию выпусков про профессии! В этот раз мы вместе с Владиславом Соловьевым разобрались в том, что такое motion design.

А там есть в чем поразбираться, ведь моушн-дизайн включает в себя 3D-моделирование, анимацию, режиссуру и многое другое! Партнёр выпуска — Samokat.tеch – ИТ-команда, которая создаёт технологии для ретейла реального времени, чтобы любые товары попадали к людям мгновенно, насколько это возможно в физическом мире. Заходи в ТГ-канал Samokat.teсh (https://t.me/samokat_tech) — будь в курсе событий технологической стороны ретейла реального времени.

Посмотри карьерный сайт (https://samokat.tech/) — чтобы узнать больше об инженерной культуре и вакансиях Samokat.tеch. …

Стартуем серию выпусков посвященных десктоп разработке, и первый на очереди великий и ужасный… Electron! Вместе с Ильей Ермошиным разобрались в устройстве фреймворка, сравнивали его с нативной разработкой и кроссплатформенными конкурентами. Обсудили, с какими сложностями сталкиваются Electron разработчики, и почему несмотря на проблемы с потреблением памяти и быстродействием, больше и больше крупных компаний делают выбор в его пользу, а мы взаимодействуем с приложением на Electron на ежедневной основе! Партнер выпуска – корпоративный центр регистрации Контура. Сервис по управлению сертификатами электронной подписи компании. С помощью него сотрудники получают сертификаты ЭП на рабочем месте,…

Представьте, что можно взять свой любимый язык программирования, а внутри него сделать другой язык, который будет понятными словами описывать вашу предметную область. А нам и представлять не надо, мы про DSL записали целый выпуск! Разбираемся в теме с Александром Граниным. Твиттер гостя: https://twitter.com/graninas 30 октября стартует новый сезон Podlodka Teamlead Crew! Сезон невероятно серьезный – про стратегическое планирование. Для внимательных стратегов скидка по промокоду DSL. Билеты по ссылку https://podlodka.io/tlcrew Также ждем вас, ваши лайки, репосты и комменты в мессенджерах и соцсетях! Telegram-чат: https://t.me/podlodka Telegram-канал: https://t.me/podlodkanews Страница в Face…

Преобразования, которые происходят с текстом для его отображения на экране – одна из самых проклятых вещей в программировании. Никита Прокопов вернулся к нам в гости, чтобы рассказать про то, какие интересные проблемы есть в этом пайплайне, начиная с практически тьюринг-полных шрифтовых форматов, заканчивая страшными хаками, которые позволяют отображать дробные пиксели на экранах. Партнёр выпуска — Samokat.tеch, ИТ-команда, которая создаёт технологии для ретейла реального времени. Это нужно, чтобы все товары попадали к людям мгновенно, насколько это возможно в физическом мире. Больше об инженерной культуре и вакансиях Samokat.tесh — на карьерном сайте. Заходи в ТГ-канал Samokat.teсh — будь …

Юмор – это то, что помогает налаживать социальные связи, справляться со стрессом и трудностями жизни. Поэтому особенно интересно заглянуть в мир стендапа, где юмор – это профессиональный навык. Разбираемся как шутить вместе с Денисом Чужим! Твиттер гостя: @fe_city_boy Также ждем вас, ваши лайки, репосты и комменты в мессенджерах и соцсетях! Telegram-чат: https://t.me/podlodka Telegram-канал: https://t.me/podlodkanews Страница в Facebook: www.facebook.com/podlodkacast/ Twitter-аккаунт: https://twitter.com/PodlodkaPodcast Ведущие в выпуске:

Женя Кателла, Катя Петрова, Егор Толстой, Аня Симонова Полезные ссылки: Канал Дениса

https://www.youtube.com/@denis_chuzhoy/videos Канал Алексея Щербакова…

ИТ-рекрутмент знаком нам всем — как соискателям работы. Но мало кто представляет, что скрывается за завлекающими сообщениями рекрутеров в соц. сетях, ведь это лишь маленькая верхушка айсберга. Как зародилась профессия ИТ-рекрутера и чем она отличается от других областей? Какие события повлияли на рынок ИТ и найм в нем? Как выглядит ИТ-рекрутмент сегодня: функции, инструменты, в чем отличия западного и РФ рынка? А как выглядит рекрутмент будущего и скоро ли AI заменит всех рекрутеров? Взглянуть на индустрию с другой стороны нам помог Алексей Сухоруков, сооснователь международного рекрутингового агентства AlexStaff Agency. Также ждем вас, ваши лайки, репосты и комменты в мессенджерах и соцсет…

There is no such thing as a plain text. Мы позвали в гости Никиту Прокопова, автора Fira Code, и разработчика сразу нескольких UI фреймворков, чтобы поговорить о том, как компьютеры работают с текстом. Тема большая, поэтому первый выпуск мы решили посвятить исключительно кодировкам: истории их развития, принципам работы и самым странным проблемам, с которыми предстоит столкнуться при их использовании. Предупреждаем – после прослушивания этого выпуска вам станет сложнее спать по ночам! Также ждем вас, ваши лайки, репосты и комменты в мессенджерах и соцсетях! Telegram-чат: https://t.me/podlodka Telegram-канал: https://t.me/podlodkanews Страница в Facebook: www.facebook.com/podlodkacast/ Twitt…

Бег один из самых популярных и противоречивых видов спорта для любителей. Одни регулярно выкладывают фото с марафонов, другие – ворчат про ударную нагрузку, разваливающиеся колени и прочий вред бега. Где правда, а где фейк разбирались с двухкратным победителем московского марафона – Искандером Ядгаровым. 25 и 26 сентября пройдет Yandex Scale – главная конференция об облаках в России. Все о трендах облачного рынка и новостях платформы из первых рук. 36 крутых докладов, 50 спикеров и много интересных кейсов в шести треках: Data Platform, Security, ML, Serverless, Digital Workplace, Infra + K8s. Участие бесплатное. Посмотреть программу: https://clck.ru/35jErQ Регистрация: https://clck.ru/35jEu…

Одна из самых больших проблем начинающих продуктов – это поиск сегмента пользователей, которым он будет помогать решать задачу. С Ваней Замесиным обсудили как можно подойти к этой проблеме. Применили фреймворк Jobs to be done и рассмотрели как появляются новые успешные продукты в разрезе “работ”, которые выполняются. Яндекс Практикум запустил курс «Архитектура программного обеспечения» — курс для опытных разработчиков, которые хотят научиться создавать с нуля архитектуру сервисов и приложений. Вас ждёт много практических заданий, прокачка насмотренности в области архитектуры ПО и экспертиза от техлидов Яндекса и других технологических компаний: https://clck.ru/35XSP8 Запрыгиваем на конферен…

Несколько десятков лет назад программирование и наука были неразрывно связаны, ведь код был инструментом для научных исследований и расчетов. Но в какой-то момент времени произошло разделение, и сегодня привычное нам промышленное программирование очень далеко от того, что используется в фундаментальной и прикладной науке. Почему так случилось? На каких языках программируют ученые сегодня? Каких практик из ИТ индустрии не хватает науке, а что, наоборот, мы можем перенять от ученых и исследователей? Как решение научных задач влияют на промышленную разработку? Александр Нозик, кандидат физ.-мат. наук и директор центра научного программирования в МФТИ, устроил нам увлекательный экскурс в мир на…

После выпусков про напитки мы плавно переходим на самое интересное в этой жизни – еду. Вместе с сырным сомелье Александром Крупецковым, который много лет назад предпочел сыры программированию на C#, мы разбираемся в том, как из одного и того же молока можно получить так много различных сыров, как отличить хороший сыр от плохого, откуда у него берется плесень, и, главное, какой же сыр – самый лучший! Также ждем вас, ваши лайки, репосты и комменты в мессенджерах и соцсетях! Telegram-чат: https://t.me/podlodka Telegram-канал: https://t.me/podlodkanews Страница в Facebook: www.facebook.com/podlodkacast/ Twitter-аккаунт: https://twitter.com/PodlodkaPodcast Ведущие в выпуске:

Катя Петрова, Егор Т…

У вас есть гениальная идея стартапа, но нет понимания как его можно воплотить в жизнь и превратить в следующий единорог? Часто ответом на этот вопрос могут быть стартап-акселераторы. Как они могут помочь начинающему бизнесу нам рассказал управляющий партнер синдиката United Investors Илья Мартын. Пишите, чтобы узнать детали и запартнёриться с подкастом и конференциями Podlodka Crew: t.me/katerina_sbityakova и t.me/rio_de_novo. Или на почту [email protected] ⚓️ Также ждем вас, ваши лайки, репосты и комменты в мессенджерах и соцсетях! Telegram-чат: https://t.me/podlodka Telegram-канал: https://t.me/podlodkanews Страница в Facebook: www.facebook.com/podlodkacast/ Twitter-аккаунт: https://…

Илья Параушкин — СЕО компании Biovolf.https://biovolf.com/Слушайте "Проветримся!", где вам удобно:ApplePodcasts: https://apple.co/2Psx8ydGooglePodcasts: https://clck.ru/F7BA7Я.Музыка: https://clck.ru/JJB8ySupport the showApplePodcasts: https://apple.co/2Psx8yd GooglePodcasts: https://shorturl.at/finK1 Я.Музыка: https://clck.ru/JJB8yПатреон: https://www.patreon.com/progulka

Аня Коган — СЕО OpenCV.AI и член совета директоров библиотеки OpenCV.Подпишись на Аню в телеграм https://t.me/aiandanyaSupport the showApplePodcasts: https://apple.co/2Psx8yd GooglePodcasts: https://shorturl.at/finK1 Я.Музыка: https://clck.ru/JJB8yПатреон: https://www.patreon.com/progulka

Арсений Веснин был журналистом Эха в Петербурге, а в 2022 стал капитаном яхты Ойкумена, на которой хочет пройти путём Одиссея. У Ойкумены есть телеграм, сайт и инстаграм.Support the showApplePodcasts: https://apple.co/2Psx8yd GooglePodcasts: https://shorturl.at/finK1 Я.Музыка: https://clck.ru/JJB8yПатреон: https://www.patreon.com/progulka

Закрываем сезон разговором про длинные технологические тренды с Андреем Себрантом. Андрей — директор Яндекса по стратегическому маркетингу, автор и ведущий подкаста "Трёп Себранта", автор телеграм канала TechSparks.Не забудьте поделиться этим эпизодом (и любыми другими, которые вам понравятся).ApplePodcasts: https://apple.co/2Psx8ydGooglePodcasts: https://shorturl.at/finK1Я.Музыка: https://clck.ru/JJB8ySupport the show

Дмитрий Железов получил PhD по математике в Университете Чалмерс. Он сооснователь компании Subsquid, которая разрабатывает протокол для индексации данных на блокчейн.https://www.subsquid.io/Support the show

Григорий Сапунов — специалист по машинному обучению, соавтор канала Gonzo-ML и сооснователь компании Intento.Gonzo-MLhttps://t.me/gonzo_MLIntentohttps://inten.to/Не забудьте подписаться на юутбhttps://youtu.be/5ioSqLspbAESupport the show

Григорий Свердлин долгое время руководил Ночлежкой, а сейчас создал "Идите лесом!" — организацию, которая помогает избежать мобилизации."Ночлежка"https://homeless.ru/"Идите лесом!"https://iditelesom.org/Слушайте "Проветримся!", где вам удобно:ApplePodcasts: https://apple.co/2Psx8ydGooglePodcasts: https://clck.ru/F7BA7Я.Музыка: https://clck.ru/JJB8ySupport the show

Григорий Бакунов эксперт в области информационных технологий, соведущий подкаста радио-Т и автор канала @addmetoМы начали с разговора про искусственный интеллект, а закончили широким обзором технологий, которые меняют нашу повседневную жизнь.Слушайте "Проветримся!", где вам удобно:ApplePodcasts: https://apple.co/2Psx8ydGooglePodcasts: https://clck.ru/F7BA7Я.Музыка: https://clck.ru/JJB8ySupport the show

Гостевой эпизод подкаста тренд-хантеры.Support the show

Говорим с Арчетом и Павлом Комаровским про безопасность ИИ.Телеграм-канал и YouTube Павла.Телеграм-канал и подкаст Арчета.Не будьте такими душными, давайте лучше - проветримся!Подпишись в Телеграм на канал @progulkaApplePodcasts ; GooglePodcasts ; Spotify ; Я.музыкаSupport the show

Оксана Мороз защитила диссертацию "Культурная травма в российском литературном дискурсе конца XX века", а последнее время интересуется темой Death Tech и тем, как технологии трансформирую отношение людей к смерти.Не будьте такими душными, давайте лучше - проветримся!Подпишись в Телеграм на канал @progulkaApplePodcasts ; GooglePodcasts ; Spotify ; Я.музыкаSupport the show

Какие сейчас перед нами сценарии развития искусственного интеллекта? Ждет ли нас еще одна «зима»? Как машинное обучение меняет рынки, общества и планету?Доклад на конференции TechTrain. Если хотите увидеть слайды, сходите на YouTube. Кстати, если вы подпишетесь, то поможете увеличить количество людей, которые регулярно смотрят или слушают "Проветримся!" https://youtu.be/BmUSfln9WrEКстати, у ребят в ближайшую неделю ещё две большие конференции. Heisenbug — большая конференция по тестированиюJpoint — большая конференция для Java-разработчиков.Не пропустите!Support the show

Мария Шутова занимается коммерциализацией исследований в Cell and Gene Therapy Catapult.Не будьте такими душными, давайте лучше - проветримся!Подпишись в Телеграм на канал @progulkaApplePodcasts ; GooglePodcasts ; Spotify ; Я.музыкаSupport the show

Ярослав Кравцов — художник, геймдизайнер и создатель метавселенных на платформе Roblox.Не будьте такими душными, давайте лучше - проветримся!Подпишись в Телеграм на канал @progulkaApplePodcasts ; GooglePodcasts ; Spotify ; Я.музыкаSupport the show

Никита и Виталий Касьяновы работают над проектом Tookas — электроприставкой для инвалидных колясок.Не будьте такими душными, давайте лучше - проветримся!Подпишись в Телеграм на канал @progulkaApplePodcasts ; GooglePodcasts ; Spotify ; Я.музыкаSupport the show

В этом эпизоде трехногий Трамп идет за решетку, в небе парит знак «стоп», машины генерируют несуществующих знаменитостей, и мы почти лишаемся возможности верить своим глазам. Реклама. АО «Точка». ИНН 9705120864 erid: 2SDnjevWRtU Не упустите год бесплатного обслуживания в Точке https://tchk.me/ELNBOi

В этом эпизоде мы расскажем, почему великого лингвиста Ноама Хомского бесят нейросети, как чатджипити подставил целую юридическую фирму из Нью Йорка и кто смотрит на вас из диалогового окошка языковых моделей. Купить билет на конференцию ТОК можно по ссылке: https://clck.ru/36HEzc А с промокодом ЗДЕСЬ у вас будет скидка 25% Реклама. АО «Точка» ИНН 9705120864 erid: Kra23V3Uv Слушайте бонусные выпуски подкастов студии «Либо/Либо» по подписке «ЛибоЛибо+» в Apple Podcasts https://cutt.ly/vun10epap или в закрытом Telegram-канале https://cutt.ly/vun10eptg

В этом эпизоде мы расскажем, почему вам не кажется, что нейросети как с цепи сорвались. Как человечество попало в третью эпоху вычислений, а так же когда мы прошли первую и вторую и почему ничего не заметили. Откройте счёт в Точке https://tchk.me/gExbWX Реклама. АО «Точка» ИНН 9705120864 erid: Kra23opKJ

Topics include The many shapes and sizes of keyboards, appeal - a CLI framework from Larry Hastings, Graphinate: Data to Graphs, and A Disorganized List of Maintainer Tasks.

Topics include exclude_also with coverage.py, Writeside, , and Chrome not proceeding with Web Integrity API deemed by many to be DRM.

Topics include PyCon 2024 is up, Ruff formatter is production ready, gil--;, and Why is the Django Admin “Ugly”?

Topics include Django 5.0 beta 1 released, git bash, terminals, and Windows, Mastering Integration Testing with FastAPI, and Reuven Learner has been banned for trading in rare animals (Pythons and Pandas)

Topics include QuickMacHotKey, Things I’ve learned about building CLI tools in Python, Warp Terminal referral code, and Python 3.7 EOLed, but I hadn’t noticed.

Topics include Psycopg 3, dacite, RIP: Fast, barebones pip implementation in Rust, and Flaky Tests follow up.

Topics include 3.12 is out, Trouble with virtualenv caching, a tale of 3.12 update, Python Developers Survey 2022 Results, and Scientific Python Library Development Guide.

Topics include logmerger, The third and final Python 3.12 RC is out now, The Python dictionary dispatch pattern, and Visualizing the CPython Release Process.

Topics include OverflowAI, Switching to Hatch, Alpha release of the Ruff formatter, and What is wrong with TOML?

Topics include Heliclockter, Wagtail 5, Git log customization, and MiniJinja template engine.

Topics include mpire, mopup, Immortal Objects for Python, and Common Docstring Formats in Python.

Topics include Make Each Line Count, Keeping Things Simple in Python, Parsel, A Comprehensive Guide to Python Logging with Structlog, and Stamina.

Topics include Omnivore app, Djangonaut.space, Server-side hot reload, and Python in Excel.

Topics include Differentiating between writing down dependencies to use packages and for packages themselves, PythonMonkey, Quirks of Python package versioning, and bear-type.

This episode of Software Engineering Daily is part of our on-site coverage of KubeCon 2023, which took place from November 6th through 9th in Chicago. In today’s interview, host Jordi Mon Companys speaks with Darren Sheppard who is the Chief Architect and Co-Founder at Acorn Labs. Jordi Mon Companys is a product manager and

The post KubeCon Special: Acorn with Darren Sheppard appeared first on Software Engineering Daily.

This episode of Software Engineering Daily is part of our on-site coverage of KubeCon 2023, which took place from November 6th through 9th in Chicago. In today’s interview, host Jordi Mon Companys speaks with David DeSanto who is the Chief Product Officer at GitLab. Jordi Mon Companys is a product manager and marketer that specializes

The post KubeCon Special: GitLab’s AI Vision with David DeSanto appeared first on Software Engineering Daily.

Josh Prismon is a veteran software architect, having worked at FICO for 17 years before shifting to Index Exchange in 2022. In this episode, Josh joins the podcast to speak with host Lee Atchison, who also has deep experience in software architecture from his time at Amazon, New Relic, and other companies. Josh and

The post Software Architecture with Josh Prismon appeared first on Software Engineering Daily.

Data breaches at major companies are so now common that they hardly make the news. The Wikipedia page on data breaches lists over 350 between 2004 and 2023. The Equifax breach in 2017 was especially notable because over 160 million records were leaked, and much of the data was acquired by Equifax without individuals’ knowledge

The post The Right to Be Forgotten with Gal Ringel appeared first on Software Engineering Daily.

If you’re a sports fan and like to track sports statistics and results, you’ve probably heard of Sofascore. The website started in 2010 and ran on a modest single server. It now has 25 million monthly active users, covers 20 different sports, 11,000 leagues and tournaments, and is available in over 30 languages. Josip

The post Sofascore with Josip Stuhli appeared first on Software Engineering Daily.

Cloud-based software development platforms such as GitHub Codespaces continue to grow in popularity. These platforms are attractive to enterprise organizations because they can be managed centrally with security controls. However, many, if not most, developers prefer a local IDE. Daytona is aiming to bridge that gap. It’s a layer between a local IDE and a

The post Daytona with Ivan Burazin appeared first on Software Engineering Daily.

Knowledge graphs are an intuitive way to define relationships between objects, events, situations, and concepts. Their ability to encode this information makes them an attractive database paradigm. Hume is a graph-based analysis solution developed by GraphAware. It represents data as a network of interconnected entities and provides analysis capabilities to extract insights from the data.

The post GraphAware with Luanne Misquitta appeared first on Software Engineering Daily.

Shopify is an e-commerce platform focused on enabling small businesses to sell online. The company was founded in 2006 and since then has become a core technology of online business infrastructure. Mike Shaver is a Distinguished Engineer at Shopify and previously worked at Facebook, Mozilla, Oracle and others. At Shopify he works on the core

The post Shopify with Mike Shaver appeared first on Software Engineering Daily.

When Adam Berger was at Uber, his team was responsible for ensuring that Uber Eats merchants correctly receive and fulfill orders. This required them to think hard about engineering workflows and state management systems. Six years of experience at Uber motivated Adam to create State Backed, which is an open-source backend system written in Typescript.

The post Building a State Machine Backend with Adam Berger appeared first on Software Engineering Daily.

One of the key challenges that teams encounter is how to smoothly collaborate on converting a design into code. For example, if a designer designs a web component, how can it be most efficiently implemented by a developer? What happens if the designer needs to adjust the design and communicate this change to the developer?

The post Figma Dev Mode with Marcel Weekes appeared first on Software Engineering Daily.

Frontend web frameworks are software toolkits that handle many of the low-level and repetitive aspects of building a website. These frameworks have made it easier than ever to build a modern website. The open-source Astro framework was created in 2021 for the purpose of creating simple static sites that load quickly. A key factor to

The post The Astro Framework with James Quick appeared first on Software Engineering Daily.

Observability software helps teams to actively monitor and debug their systems, and these tools are increasingly vital in DevOps. However, it’s not uncommon for the volume of observability data to exceed the amount of actual business data. This creates two challenges – how to analyze the large stream of observability data, and how to keep

The post Chronosphere with Martin Mao appeared first on Software Engineering Daily.

The open source coding philosophy has enormous appeal to many software engineers, and with good reason. Open source libraries, applications, and operating systems are now essential to the overall technology ecosystem. And the number of open source projects is only increasing. But many developers don’t know how to get involved in open source. Or, they

The post Open Source Contribution with Brian Douglas appeared first on Software Engineering Daily.

There are countless real world scenarios where a workflow or process has multiple steps, and some steps must be completed before others can be started. Think of something as simple as cooking dinner. First you look up a recipe, then you write down the ingredients you need, you go shopping, and then you cook. These

The post Temporal with Max Fateev appeared first on Software Engineering Daily.

В этом выпуске Хабр ПРО мы обсудили NFC: как работает эта технология, почему широко применяется в оплате и как будет развиваться.

Гости:

Андрей Ковригин, директор по продажам СБП (АО «НСПК»)

Александра Баженова, аналитик-разработчик

Эфир от 28 февраля 2023.

00:55 Знакомство с NFC: что это такое, как работает, где применяется и из чего выросло. 04:57 Курица или яйцо: это NFC пришла в платежи или сама выросла из технологии бесконтактной оплаты. Почему технология обрела популярность. 08:06 Вживить метку NFC: шутки и реальность. 09:05 Варианты оплаты с помощью NFC и их различия. 10:16 История появления NFC в СБП, и как технологию используют сейчас. 18:10 Почему при оплате с помощью меток необхо…

-=Выпуск 76=- О быстрой эволюции языковых моделей в мультимодальные и поведенческие, об интересных недавних анонсах и — неожиданно для меня самого — довольно много про книгу Гаспара Кёнига “Конец индивидуума”, которая недавно вышла в русском переводе и представляет интересную картинку взглядов сотни очень разных людей на развитие ИИ в пересказе и с комментариями французского философа.

-=Выпуск 75=- Маша Лопухина и Оля Кай давно и разнообразно работают с виртуальной, дополненной и смешанной реальностями. А еще они обе прекрасные собеседницы и рассказчицы. Когда мы встретились втроем, грешно было бы не записать подкаст на полтора часа приятного трепа о новинке Apple и сопутствующих темах. Ссылка по теме: канал Оли

-=Выпуск 74=- Исполнилось полгода ChatGPT, а через несколько дней Apple представили миру свои очки Vision Pro. Оба события можно пообсуждать по отдельности, но еще интересней вместе: редкий случай, когда можно заглянуть в будущее с помощью вполне линейной экстраполяции.

-= Выпуск 73 =- Запись митапа “ИТМО говорит ChatGPT - да!” с моим минимальным предисловием. Сам митап я модерировал с колоссальным удовольствием, потому что на практике убедился, что в сильном вузе обсуждают не как ограничить или запретить новинку — а как ей полезней и интересней всего пользоваться; и студентам, и преподавателям. А если где с новой технологией начинают бороться — это про сам вуз говорит плохое, а не про технологию :) Запись с видео можно посмотреть

-=Выпуск 72=- На фоне уже который месяц не спадающего интереса к ChatGPT и прочим большим языковым моделям я снова позвал в Трёп любимого собеседника — Ваню Ямщикова. Много лет он занимается обработкой естественного языка и языковыми моделями не только как практик, но и как ученый. Потому и его взгляды на происходящее и его ожидания от будущего, да еще в задорном и полемичном стиле изложенные, — очень своевременное и очень освежающее слушание. Несколько ссылок, упоминавшихся в разговоре: Выступление Вани на YaC-2018 про (прошлым летом, июль 2022) Статья в QuantaMagazine, которую Работа, в которой наглядно показано, что такое

He had observed developers struggling with core distributed systems concepts that they needed to understand, in order to work effectively with modern tools like Kafka, Cassandra, and Zookeeper.

He had tried teaching the theory behind key concepts in distributed systems, but found that his colleagues struggled to fully grasp the consequences.

He explored the code driving these core open-source systems, and built simplified implementations, designed to highlight and teach the theoretical concepts.

By studying the code of systems that run our online systems every day (often requiring learning new languages and frameworks) Unmesh was able to formulate the common solutions embedded in this code …

As someone with a liberal arts degree and having worked in tech for over ten years, I find it distressing that the number of people with liberal arts degrees is declining.

Why should we in tech encourage students to study the liberal arts?

Here are three reasons why we should value people with liberal arts backgrounds more in our industry:Critical thinking supports better decision-making based on facts.

Another integral part of a liberal arts education is the broad foundation that comes from many different disciplines.

This balancing of several seemingly disparate areas into one discipline is the basis of a liberal arts education.

Introducing the Headless Component Pattern Facing these challenges head-on, the Headless Component pattern offers a way out.

Figure 1: The Headless Component pattern For instance, consider a headless dropdown component.

This decomposition isn't part of the Headless Component pattern, but breaking a complex UI component into pieces is a valuable activity.

Implementing Headless Component with a Custom Hook To address this, we'll introduce the concept of a Headless Component via a custom hook named useDropdown .

Concluding the Headless Component Pattern The Headless Component pattern unveils a robust avenue for cleanly segregating our JSX code from the underlying logic.

I won't try to summarize opinions on what the now-renamed X is like as a social media experience.

In doing this, I need to explain how I use social media, since people's views of the state of social media will naturally vary depending on their usage pattern.

I first started using social media (in some form) in the late 1980's with Usenet.

For social media now, the main reason I read it is to know about new events from people I'm interested in, especially interesting articles.

I find that annoying as I don't want to be checking a dozen social media sites to find people.

Introducing the Headless Component Pattern Facing these challenges head-on, the Headless Component pattern offers a way out.

Figure 1: The Headless Component pattern For instance, consider a headless dropdown component.

This decomposition isn't part of the Headless Component pattern, but breaking a complex UI component into pieces is a valuable activity.

Implementing Headless Component with a Custom Hook To address this, we'll introduce the concept of a Headless Component via a custom hook named useDropdown .

Testing the Headless Component The logic of our component is centralized, enabling its reuse in diverse scenarios.

Factors that impact usefulness of suggestionsNote: This is mostly based on experiences with GitHub Copilot.

I traditionally use a lot of copy and paste for these things, and Copilot can speed that up.

Higher margin for errorsI already touched on the importance of being able to judge the quality and correctness of suggestions.

Using coding assistance tools effectively is a skill that is not simply learned from a training course or a blog post.

Thanks to James Emmott, Joern Dinkla, Marco Pierobon, Paolo Carrasco, Paul Sobocinski and Serj Krasnov for their insights and feedback

Creating an integrated business and technology strategyHow do you create a technology strategy?

A powerful technology strategy is as much about what is left out as it is about what is included.

I would like to challenge this conventional approach to creating technology strategies, and offer up a different way to create yours.

Additionally, because technology is considered as the business strategy is being formed, technology itself can be the driving force behind ideas for new revenue streams.

In doing so, your technology strategy will be integrated with the business strategy because it is born together with the business strategy.

A Demo Front-End is a simple UI that provides basic features to demonstrate and explore such an API.

The Demo Front-End is a gift that keeps on giving.

Practical advice The Demo Front-End works best when it's immediately available in all the places where the related API is available.

The Demo Front-End was eventually made available in production too, so that internal users could troubleshoot calls coming from the product clients, i.e., their partners.

The Demo Front-End we built for them was, among other things, a solution to a problem that they told us they had.

Creating an integrated business and technology strategyHow do you create a technology strategy?

A powerful technology strategy is as much about what is left out as it is about what is included.

I would like to challenge this conventional approach to creating technology strategies, and offer up a different way to create yours.

Additionally, because technology is considered as the business strategy is being formed, technology itself can be the driving force behind ideas for new revenue streams.

In doing so, your technology strategy will be integrated with the business strategy because it is born together with the business strategy.

In this article, we’ll explore the Resilience and Observability Bottleneck: how you can recognize it coming, how you might realize it has already arrived, and what you can do to survive the bottleneck.

Shift to explicit resilience business requirements As a startup, new features are often considered more valuable than technical debt, including any work related to resilience.

At a minimum, you can create new test scenarios to further validate system resilience.

It may mean examining your overall design and architecture of the system and evolving it to meet the product resilience needs.

Continually optimize your resilience It's one thing to get through the bottleneck, it's another to stay out…

Factors that impact usefulness of suggestionsNote: This is mostly based on experiences with GitHub Copilot.

I traditionally use a lot of copy and paste for these things, and Copilot can speed that up.

Higher margin for errorsI already touched on the importance of being able to judge the quality and correctness of suggestions.

Using coding assistance tools effectively is a skill that is not simply learned from a training course or a blog post.

Thanks to James Emmott, Joern Dinkla, Marco Pierobon, Paolo Carrasco, Paul Sobocinski and Serj Krasnov for their insights and feedback

Before engineers rush into optimizing cost individually within their own teams, it’s best to assemble a cross-functional team to perform analysis and lead execution of cost optimization efforts.

First, the cost optimization team should collect relevant invoices – these can be from cloud provider(s) and SaaS providers.

As a final tip: while rightsizing particular workloads, the cost optimization team should keep any pre-purchase commitments on their radar.

Incorporating spot instances: The unit cost of spot instances can be up to ~70% lower than on-demand instances.

Consolidating duplicative tools: While enumerating the cost drivers in terms of service providers, the cost optimization team m…

Creating an integrated business and technology strategyHow do you create a technology strategy?

A powerful technology strategy is as much about what is left out as it is about what is included.

I would like to challenge this conventional approach to creating technology strategies, and offer up a different way to create yours.

Additionally, because technology is considered as the business strategy is being formed, technology itself can be the driving force behind ideas for new revenue streams.

In doing so, your technology strategy will be integrated with the business strategy because it is born together with the business strategy.

After hours of analyzing our scaleup portfolio, the Scaleups team at Thoughtworks has discovered that these three critical areas can cause stagnating business growth within startups.

For some, it manifests as technical debt reaching such a level that developers are dissatisfied, and productivity is down.

For others, experimentation and time to market have slowed after the original product market fit.

In our upcoming webinar, Scaling Bottlenecks: Technology mistakes every growing startup makes, our expert panel has extensively analyzed scaleups like yours to uncover common challenges.

Join us for our webinar and take away practical solutions to conquer technology obstacles, empower your team…

В этой статье я предложу краткий и удобный формат интерактивной API-документации для любых HTTP API (REST, RPC и что угодно еще).

HTTP-статус 201 Created означает, что в результате запроса был создан новый пример.

Наконец, удалим пример:HTTP-статус 204 No Content означает, что мы удалили пример, поэтому гитхаб больше ничего не может о нем сообщить.

У Gists API есть и другие полезные возможности, но мы не будем их рассматривать.

length ; i ++ ) {Вызов API и показ результатов и того проще — используем браузерное Fetch API и выводим ответ как текст:

Проектная область видимости:$ cd /my/project $ sqlpkg init $ sqlpkg install sqlite/stmt $ tree .sqlpkg .sqlpkg └── sqlite └── stmt ├── sqlpkg.json └── stmt.dylibГлобальная область видимости:$ cd /some/other/path $ sqlpkg install sqlite/stmt $ tree ~/.sqlpkg /Users/anton/.sqlpkg └── sqlite └── stmt ├── sqlpkg.json └── stmt.dylibИ никаких флагов!

Вместо простого «выведи содержимое .sqlpkg» у нас теперь 4 возможных ситуации для каждого пакета:Пакет есть в .sqlpkg и в локфайле, причем версии совпадают.

Пакет есть в .sqlpkg и в локфайле, но версии отличаются.

type Package struct { Owner string Name string Version string Homepage string Repository string Specfile string Authors [] string License …

Язык OdinДавно подыскиваю для себя альтернативу языку C. Посмотрел на днях Rust, Nim, Zig, Hare и Odin.

А хотелось бы еще замену C.У Odin уникальный набор качеств:Простой язык без лишних прибамбасов.

Если исходный файл main.odin находится в текущем каталоге, собрать и запустить его можно так:docker run --rm --volume $(pwd):/sandbox --workdir /sandbox odin:latest odin run .

run : @docker run --rm --volume $( shell pwd ) :/sandbox --workdir /sandbox odin:latest odin run .

Но компания, в которой работает автор языка, активно использует Odin в продакшене, так что проверку реальностью он уже прошел.

Ищет, скачивает и обновляет расширения.

Чтобы добавить недостающие функции.

В Sqlime приехали 70 дополнительных функций.

Встроенные функции в Go 1.21Go 1.21 собрал множество приятных штук, от оптимизации по профилю (profile-guided optimization) до пакетов стандартной библиотеки для работы со срезами и картами (см.

В Go 1.21 добавили три новых: min , max and clear .

Встроенные функции — не ключевые слова, вы спокойно можете их перекрыть:// так можно max := "My name is Max" min := 4 - 1 make := func () int { return 14 } fmt .

Println ( max , min , make ()) // My name is Max 3 14А вот любопытный вопрос:Зачем «замусоривать» общее пространство имен и делать встроенные min и max вместо одноименных дженерик-функций в пакете cmp ?

clear внутри функции обрабатывает container в соответствии с фактическим типом: карты о…

Виды JOIN в SQLВ SQL-джойнах скрыто больше, чем можно подумать.

Вот как он выглядит в общем случае:table [join-type] JOIN table join-specificationТаблица ( table ) — не обязательно прямо вот таблица.

Например, выберем вакансии вместе с соответствующими названиями компаний:select job_name , comp_name from jobs join companies on jobs .

Перекрестный JOINТретья и последняя разновидность — перекрестный джойн (cross join), также известный как «Декартово соединение» (Cartesian join):select job_name , comp_name from jobs cross join companies ;Перекрестный джойн игнорирует значения столбцов.

Я удивлен, что она вообще вошла в стандарт (подозрительно связано с тем, что она реализована в Oracle).

Мне не нужен ваш язык запросовЭта заметка может показаться резковатой.

Чего я не могу понять, так это почему авторы считают новый язык запросов сильной стороной продукта.

name from movies join movies_actors using ( movie_id ) join actors using ( actor_id )Хм.

movie_id ) as rating from movies join movies_actors using ( movie_id ) join actors using ( actor_id ) where movie_id in ( select movie_id from actors join movies_actors using ( actor_id ) where actors .

Мне не нужен ваш модный язык запросов.

sqlite3 + расширения в PythonПодключить расширение для SQLite с помощью стандартного модуля sqlite3 довольно просто.

Если только вам не повезло использовать macOS, в который sqlite3 не поддерживает расширения.

Поэтому я создал пакет sqlean.py : полностью совместимую замену стандартному sqlite3 , которая заодно включает полезные расширения.

Установка и использованиеУстановите пакет через pip install :pip install sqlean.pyИ используйте вместо sqlite3 :import sqlean as sqlite3 # такой же интерфейс, как в стандартном `sqlite3` conn = sqlite3.connect(":memory:") conn.execute("create table employees(id, name)") # плюс сразу подключены расширения из `sqlean` cur = conn.execute("select median(value…

Покрывающий индекс — самый быстрый способ выбрать данные из таблицы.

Разберемся на примере запроса, который выбирает сотрудников с указанной зарплатой: