Journey Platform: Low-code notification workflow platform that allows technical and non-technical users to create complex workflows through a simple drag and drop user interface.By: Arjun Raman, Ken Snyder, Mengting LiIntroductionEffective communication hinges on delivering the right message, to the right audience, at the right time. At Airbnb, our goal is to engage our users — both guests and hosts — by delivering inspirational and informational notifications through various channels, such as email or in-app messages.Historically at Airbnb, complex notification workflows have been solely managed by engineering teams, with each workflow requiring the deployment of code. As our platform evol…

How Airbnb leverages AWS, Packer, and Terraform to update macOS on hundreds Cl machines in hours instead of daysBy: Michael Bachand, Xianwen ChenAt Airbnb, we run a comprehensive suite of continuous integration (CI) jobs before each iOS code change is merged. These jobs ensure that the main branch remains stable by executing critical developer workflows like building the iOS application and running tests. We also schedule jobs that perform periodic tasks like reporting metrics and uploading artifacts.Many of our iOS CI jobs execute on Macs, which enables running developer tools provided by Apple. CI jobs for all other platforms at Airbnb execute in containers on Amazon EC2 Linux instances. …

My Journey to Airbnb — Michael KinotiSaying no to med school and following a dream all the way to Silicon ValleyBecoming a doctor and trying to make it as a DJ have both crossed Michael Kinoti’s mind at one time or another. Instead, we’re lucky to have Michael (who goes by Kinoti) as Airbnb’s Director of Engineering for the Marketing Technology team. He brings with him over 15 years of industry experience at Microsoft and Uber, as well as a global perspective from his childhood in Kenya. Kinoti is passionate about travel and having a large-scale social impact, qualities that align nicely with Airbnb’s mission and vision. Here’s Kinoti’s story in his own words.Doctor, lawyer, or engineer?Any…

A case study in service mesh performance optimizationby: Ying ZhuIntroductionIn this article, we’ll showcase how we identified and addressed a service mesh performance problem at Airbnb, providing insights into the process of troubleshooting service mesh issues.BackgroundAt Airbnb, we use a microservices architecture, which requires efficient communication between services. Initially, we developed a homegrown service discovery system called Smartstack exactly for this purpose. As the company grew, however, we encountered scalability issues¹. To address this, in 2019, we invested in a modern service mesh solution called AirMesh, built on the open-source Istio software. Currently, over 90% of…

Airbnb Categories Blog Series — Part II : ML CategorizationBy: Mihajlo Grbovic, Pei Xiong, Pratiksha Kadam, Ying Xiao, Aaron Yin, Weiping Peng, Shukun Yang, Chen Qian, Haowei Zhang, Sebastien Dubois, Nate Ney, James Furnary, Mark Giangreco, Nate Rosenthal, Cole Baker, Bill Ulammandakh, Shankar Shetty, Sid Reddy, Egor PakhomovAirbnb 2022 release introduced Categories, a browse focused product that allows the user to seek inspiration by browsing collections of homes revolving around a common theme, such as Lakefront, Countryside, Golf, Desert, National Parks, Surfing, etc. In Part I of our Categories Blog Series we covered the high level approach to creating Categories and showcasing them in …

How Airbnb leverages ML to derive guest interest from unstructured text data and provide personalized recommendations to HostsBy: Joy Jing and Jing XiaAt Airbnb, we endeavor to build a world where anyone can belong anywhere. We strive to understand what our guests care about and match them with Hosts who can provide what they are looking for. What better source for guest preferences than the guests themselves?We built a system called the Attribute Prioritization System (APS) to listen to our guests’ needs in a home: What are they requesting in messages to Hosts? What are they commenting on in reviews? What are common requests when calling customer support? And how does it differ by the home…

by Malay Haldar, Liwei He & Moose AbdoolAirbnb connects millions of guests and Hosts everyday. Most of these connections are forged through search, the results of which are determined by a neural network–based ranking algorithm. While this neural network is adept at selecting individual listings for guests, we recently improved the neural network to better select the overall collection of listings that make up a search result. In this post, we dive deeper into this recent breakthrough that enhances the diversity of listings in search results.How Does Ranking Work?The ranking neural network finds the best listings to surface for a given query by comparing two listings at a time and predictin…

By: Julia Fu, Peter ElliottAt Airbnb, we have been consciously designing and building products to be equally usable by all users. Making our mobile apps and websites more accessible not only aligns with our company’s mission of creating a world where people can belong anywhere, but also supports the civil rights of people with disabilities and complies with the law.In this article, we highlight some of the efforts we have made to make the app more accessible, for example, labeling UI elements, grouping related content, supporting large font scale, providing heading and page names. The Airbnb app is one of the most popular travel apps with millions of users and supports many features. Making…

How Airbnb uses visual attributes to enhance the Guest and Host experienceBy Yuanpei Cao, Bill Ulammandakh, Hao Wang, and Tony HwangIntroductionOn Airbnb, our hosts share unique listings all over the world. There are hundreds of millions of accompanying listing photos on Airbnb. Listing photos contain crucial information about style and design aesthetics that are difficult to convey in words or a fixed list of amenities. Accordingly, multiple teams at Airbnb are now leveraging computer vision to extract and incorporate intangibles from our rich visual data to help guests easily find listings that suit their preferences.In previous blog posts titled WIDeText: A Multimodal Deep Learning Frame…

How Airbnb is applying declarative design patterns to rapidly build fluid transition animationsBy: Cal StephensMotion is a key part of what makes a digital experience both easy and delightful to use. Fluid transitions between states and screens are key for helping the user preserve context as they navigate throughout a feature. Quick flourishes of animation make an app come alive, and help give it a distinct personality.At Airbnb we launch hundreds of features and experiments that have been developed by engineers across many teams. When building at this scale, it’s critical to consider efficiency and maintainability throughout our tech stack–and motion is no exception. Adding animations to …

A new rendering engine with significant performance improvements powered by Core AnimationBy: Cal StephensLottie is Airbnb’s cross-platform, open source library for rendering vector motion graphics. We use Lottie extensively at Airbnb, and it also powers animations in thousands of other apps throughout the industry.Example Lottie animations included in Airbnb’s iOS appToday we’re releasing Lottie 4.0 for iOS. This major new release brings significant performance improvements to all Lottie animations, with a brand new rendering engine powered by Core Animation.Using Lottie at scale for many years, we’ve learned a lot about its performance characteristics in real-world use cases. We found tha…

Leveraging text generation models to build more effective, scalable customer support products.Gavin Li, Mia Zhao and Zhenyu ZhaoOne of the fastest-growing areas in modern Artificial Intelligence (AI) is AI text generation models. As the name suggests, these models generate natural language. Previously, most industrial natural language processing (NLP) models were classifiers, or what might be called discriminative models in machine learning (ML) literature. However, in recent years, generative models based on large-scale language models are rapidly gaining traction and fundamentally changing how ML problems are formulated. Generative models can now obtain some domain knowledge through large…

Airbnb Categories Blog Series — Part IBy: Mihajlo Grbovic, Ying Xiao, Pratiksha Kadam, Aaron Yin, Pei Xiong, Dillon Davis, Aditya Mukherji, Kedar Bellare, Haowei Zhang, Shukun Yang, Chen Qian, Sebastien Dubois, Nate Ney, James Furnary, Mark Giangreco, Nate Rosenthal, Cole Baker, Bill Ulammandakh, Sid Reddy, Egor PakhomovFigure 1. Browsing listings by categories: Castles, Desert, Design, Beach & Countryside25 Years of Online Travel SearchOnline travel search hasn’t changed much in the last 25 years. The traveler enters her destination, dates, and the number of guests into a search interface, which dutifully returns a list of options that best meet the criteria. Eventually, Airbnb and other t…

Mussel — Airbnb’s Key-Value Store for Derived DataHow Airbnb built a persistent, high availability and low latency key-value storage engine for accessing derived data from offline and streaming events.By: Chandramouli Rangarajan, Shouyan Guo, Yuxi JinIntroductionWithin Airbnb, many online services need access to derived data, which is data computed with large scale data processing engines like Spark or streaming events like Kafka and stored offline. These services require a high quality derived data storage system, with strong reliability, availability, scalability, and latency guarantees for serving online traffic. For example, the user profiler service stores and accesses real-time and hi…

Beyond A/B Test : Speeding up Airbnb Search Ranking Experimentation through InterleavingIntroduction of Airbnb interleaving experimentation framework, usage and approaches to address challenges in our unique businessQing Zhang, Michelle Du, Reid Andersen, Liwei HeIntroductionWhen a user searches for a place to stay on Airbnb, we aim to show them the best results possible. Airbnb’s relevance team actively works on improving search ranking experience and helps users to find and book listings that match their preference. A/B test is our approach for online assessment. Our business metrics are conversion-focused, and the frequency of guest travel transactions is lower than on other e-commerce p…

by Akshay Garg, Roger QueroIntroductionMaximizing immersion for our members is an important goal for the Netflix product and engineering teams to keep our members entertained and fully engaged in our content. Leveraging a good mix of mature and cutting-edge client device technologies to deliver a smooth playback experience with glitch-free in-app transitions is an important step towards achieving this goal. In this article we explain our journey towards productizing a better viewing experience for our members by utilizing features and capabilities in consumer streaming devices.If you have a streaming device connected to your TV, such as a Roku Set Top Box (STB) or an Amazon FireTV Stick, yo…

By Jose Fernandez, Ed Barker, Hank JacobsIntroductionIn November 2022, we introduced a brand new tier — Basic with ads. This tier extended existing infrastructure by adding new backend components and a new remote call to our ads partner on the playback path. As we were gearing up for launch, we wanted to ensure it would go as smoothly as possible. To do this, we devised a novel way to simulate the projected traffic weeks ahead of launch by building upon the traffic migration framework described here. We used this simulation to help us surface problems of scale and validate our Ads algorithms.Basic with ads was launched worldwide on November 3rd. In this blog post, we’ll discuss the methods …

Tycho AndersenI work on the Compute team at Netflix, which is charged with managing all AWS and containerized workloads at Netflix, including autoscaling, deployment of containers, issue remediation, etc.This particular issue involved a custom internal FUSE filesystem: ndrive. It had been festering for some time, but needed someone to sit down and look at it in anger. This blog post describes how I poked at /procto get a sense of what was going on, before posting the issue to the kernel mailing list and getting schooled on how the kernel’s wait code actually works!Symptom: Stuck Docker Kill & A Zombie ProcessWe had a stuck docker API call:goroutine 146 [select, 8817 minutes]:net/http.(*pers…

By Chris Wolfe, Joey Schorr, and Victor Roldán BetancortIntroductionThe authorization team at Netflix recently sponsored work to add Attribute Based Access Control (ABAC) support to AuthZed’s open source Google Zanzibar inspired authorization system, SpiceDB. Netflix required attribute support in SpiceDB to support core Netflix application identity constructs. This post discusses why Netflix wanted ABAC support in SpiceDB, how Netflix collaborated with AuthZed, the end result–SpiceDB Caveats, and how Netflix may leverage this new feature.Netflix is always looking for security, ergonomic, or efficiency improvements, and this extends to authorization tools. Google Zanzibar is exciting to Netf…

Migrating Critical Traffic At Scale with No Downtime — Part 1Shyam Gala, Javier Fernandez-Ivern, Anup Rokkam Pratap, Devang ShahHundreds of millions of customers tune into Netflix every day, expecting an uninterrupted and immersive streaming experience. Behind the scenes, a myriad of systems and services are involved in orchestrating the product experience. These backend systems are consistently being evolved and optimized to meet and exceed customer and product expectations.When undertaking system migrations, one of the main challenges is establishing confidence and seamlessly transitioning the traffic to the upgraded architecture without adversely impacting the customer experience. This b…

Ruchir Jha, Brian Harrington, Yingwu ZhaoTL;DRStreaming alert evaluation scales much better than the traditional approach of polling time-series databases.It allows us to overcome high dimensionality/cardinality limitations of the time-series database.It opens doors to support more exciting use-cases.Engineers want their alerting system to be realtime, reliable, and actionable. While actionability is subjective and may vary by use-case, reliability is non-negotiable. In other words, false positives are bad but false negatives are the absolute worst!A few years ago, we were paged by our SRE team due to our Metrics Alerting System falling behind — critical application health alerts reached en…

By Guru Tahasildar, Amir Ziai, Jonathan Solórzano-Hamilton, Kelli Griggs, Vi IyengarIntroductionNetflix leverages machine learning to create the best media for our members. Earlier we shared the details of one of these algorithms, introduced how our platform team is evolving the media-specific machine learning ecosystem, and discussed how data from these algorithms gets stored in our annotation service.Much of the ML literature focuses on model training, evaluation, and scoring. In this post, we will explore an understudied aspect of the ML lifecycle: integration of model outputs into applications.An example of using Machine Learning to find shots of Eleven in Stranger Things and surfacing …

By Burak Bacioglu, Meenakshi JindalAsset Management at NetflixAt Netflix, all of our digital media assets (images, videos, text, etc.) are stored in secure storage layers. We built an asset management platform (AMP), codenamed Amsterdam, in order to easily organize and manage the metadata, schema, relations and permissions of these assets. It is also responsible for asset discovery, validation, sharing, and for triggering workflows.Amsterdam service utilizes various solutions such as Cassandra, Kafka, Zookeeper, EvCache etc. In this blog, we will be focusing on how we utilize Elasticsearch for indexing and search the assets.Amsterdam is built on top of three storage layers.The first layer, …

By Meenakshi JindalOverviewAt Netflix, we built the asset management platform (AMP) as a centralized service to organize, store and discover the digital media assets created during the movie production. Studio applications use this service to store their media assets, which then goes through an asset cycle of schema validation, versioning, access control, sharing, triggering configured workflows like inspection, proxy generation etc. This platform has evolved from supporting studio applications to data science applications, machine-learning applications to discover the assets metadata, and build various data facts.During this evolution, quite often we receive requests to update the existing…

By Benson Ma, ZZ ZimmermanWith contributions from Alok Ahuja, Shravan Heroor, Michael Krasnow, Todor Minchev, Inder SinghIntroductionAt Netflix, we test hundreds of different device types every day, ranging from streaming sticks to smart TVs, to ensure that new version releases of the Netflix SDK continue to provide the exceptional Netflix experience that our customers expect. We also collaborate with our Partners to integrate the Netflix SDK onto their upcoming new devices, such as TVs and set top boxes. This program, known as Partner Certification, is particularly important for the business because device expansion historically has been crucial for new Netflix subscription acquisitions. T…

by Varun Sekhri, Meenakshi Jindal, Burak BaciogluIntroductionAt Netflix, to promote and recommend the content to users in the best possible way there are many Media Algorithm teams which work hand in hand with content creators and editors. Several of these algorithms aim to improve different manual workflows so that we show the personalized promotional image, trailer or the show to the user.These media focused machine learning algorithms as well as other teams generate a lot of data from the media files, which we described in our previous blog, are stored as annotations in Marken. We designed a unique concept called Annotation Operations which allows teams to create data pipelines and easil…

By Gustavo Carmo, Elliot Chow, Nagendra Kamath, Akshay Modi, Jason Ge, Wenbing Bai, Jackson de Campos, Lingyi Liu, Pablo Delgado, Meenakshi Jindal, Boris Chen, Vi Iyengar, Kelli Griggs, Amir Ziai, Prasanna Padmanabhan, and Hossein TaghaviFigure 1 - Media Machine Learning InfrastructureIntroductionIn 2007, Netflix started offering streaming alongside its DVD shipping services. As the catalog grew and users adopted streaming, so did the opportunities for creating and improving our recommendations. With a catalog spanning thousands of shows and a diverse member base spanning millions of accounts, recommending the right show to our members is crucial.Why should members care about any particular…

By Grace Tang, Aneesh Vartakavi, Julija Bagdonaite, Cristina Segalin, and Vi IyengarWhen members are shown a title on Netflix, the displayed artwork, trailers, and synopses are personalized. That means members see the assets that are most likely to help them make an informed choice. These assets are a critical source of information for the member to make a decision to watch, or not watch, a title. The stories on Netflix are multidimensional and there are many ways that a single story could appeal to different members. We want to show members the images, trailers, and synopses that are most helpful to them for making a watch decision.In a previous blog post we explained how our artwork perso…

Scalable Annotation Service — Markenby Varun Sekhri, Meenakshi JindalIntroductionAt Netflix, we have hundreds of micro services each with its own data models or entities. For example, we have a service that stores a movie entity’s metadata or a service that stores metadata about images. All of these services at a later point want to annotate their objects or entities. Our team, Asset Management Platform, decided to create a generic service called Marken which allows any microservice at Netflix to annotate their entity.AnnotationsSometimes people describe annotations as tags but that is a limited definition. In Marken, an annotation is a piece of metadata which can be attached to an object f…

by Jasmine Omeke, Obi-Ike Nwoke, Olek GorajekIntroThis post is for all data practitioners, who are interested in learning about bootstrapping, standardization and automation of batch data pipelines at Netflix.You may remember Dataflow from the post we wrote last year titled Data pipeline asset management with Dataflow. That article was a deep dive into one of the more technical aspects of Dataflow and didn’t properly introduce this tool in the first place. This time we’ll try to give justice to the intro and then we will focus on one of the very first features Dataflow came with. That feature is called sample workflows, but before we start in let’s have a quick look at Dataflow in general.D…

Erika Sun ML Engineer | Advertiser Growth Modeling Team; Ogheneovo Dibie Engineering Manager | Advertiser Growth Modeling TeamPhoto by Jason Blackeye on UnsplashSummaryIn this blog post, we describe a Machine Learning (ML) powered proactive churn prevention solution that was prototyped with our small & medium business (SMB) advertisers. Results from our initial experiment suggest that we can detect future churn with a high degree of predictive power and consequently empower our sales partners in mitigating churn. ML-powered proactive churn prevention can achieve better results than traditional reactive manual effort.IntroductionLike many ads-based businesses, at Pinterest, we are intently f…

User Understanding team: Zefan Fu, Minzhe Zhou, Neng Gu, Leo Zhang, Kimmie Hua, Sufyan Suliman | Software Engineer, Yitong Zhou | Software Engineering ManagerIndex Core Entity team: Dumitru Daniliuc, Jisong Liu, Kangnan Li | Software Engineer, Shunping Chiu | Software Engineering ManagerUnderstanding and responding to user actions and preferences is critical to delivering a personalized, high quality user experience. In this blog post, we’ll discuss how multiple teams joined together to build a new large-scale, highly-flexible, and cost-efficient user signal platform service, which indexes the relevant user events in near real-time, constructs them into user sequences, and makes it super ea…

Liang Ma | Software Engineer, Core Eng; Scott Beardsley | Engineering Manager, Traffic; Haowei Yuan | Software Engineer, TrafficFigure 1 — HTTP/3 at PinterestNow Pinterest operates on HTTP/3. We have enabled HTTP/3 for major Pinterest production domains on our multi-CDN edge network, and we’ve upgraded client apps’ network stack to support the new protocol. This allows us to catch up with industry trends. Most importantly, faster and more reliable networking improves Pinners’ experience and business metrics.ContextNetwork performance (such as latency and throughput) is critical to Pinners’ experience.In 2021, a group of client networking enthusiasts at Pinterest started thinking about adopt…

Armen Tashjian | Security Engineer, Corporate SecurityThis blog article is the second part of our recently released blog: Enforcing Device AuthN & Compliance at Pinterest.IntroAs part of our device authentication and compliance initiative, Pinterest has implemented employee-facing mutual TLS with a custom identity provider in a way that results in a positive user experience.You may have heard of, or experienced first hand, some unpleasant behavior while attempting to authenticate with a certificate within a browser or application. Even the Wikipedia page for mutual TLS mentions that mTLS is a “..less user-friendly experience, [and] it’s rarely used in end-user applications…”.At Pinterest, w…

Armen Tashjian | Security Engineer, Corporate SecurityIntroPinterest has enforced the use of managed and compliant devices in our Okta authentication flow, using a passwordless implementation, so that access to our tools always requires a healthy Pinterest device.Following the phishing-based attacks against our peers in the tech industry, Pinterest decided to take a two pronged approach to defend against similar attacks. We decided to:Require a managed and healthy Pinterest device be used to access all Pinterest resources, even when in the possession of valid credentialsRequire FIDO2 credentials for user authenticationIn this post, we’ll be focusing on how we required the use of Pinterest m…

Liang Ma | Software Engineer, Core Eng; Wei Zhu | Software Engineer, ObservabilityIn early 2020, during a critical iOS out of memory incident (we have a blogpost for that), we realized that we didn’t have much visibility of how the app is running or a good system to look up for monitoring and troubleshooting.State of loggingAt that time, on the client side, there were a few ways for logging in their daily work:Context logging: built for logging and reporting impressions or anything related to business, thus a time critical and first-class endpoint. Developers need to explicitly define keys that would otherwise be rejected by the endpoint. Some companies call it “analytics logging.”Misc: log…

Grey Skold | (former Android Video Engineer) ; Lin Wang | Android Performance Engineer; Sheng Liu | Android Performance EngineerPinterest Android App offers a rare experience with a mix of images and videos on a two-column grid. In order to maintain a performant video experience on Android devices, we focused on:Warming upConfigurationsPooling playersWarming UpIn order to reduce the startup latency, we establish a video network connection by sending a dummy HTTP HEAD request during the early application startup time. The same connection can be used to play future videos. This is done even before any video urls are returned from our server.The same strategy also applies to UI rendering. We f…

Kelvin Jiang, Software Engineer, Ads Intelligence | Keshava Subramanya, Engineering Manager, Ads Intelligence | Perrye Ogunwole, Product Manager, Ads IntelligenceIntroductionThe Ads Intelligence team at Pinterest builds products that help advertisers maximize the value they get out of their ad campaigns. As part of that initiative, we have recently launched Flexible Daily Budgets (FDB) to US advertisers in open beta.Figure 1: Flexible daily budgets option in the campaign create flowFDB is an automated ads product that benefits advertisers by distributing the advertising budget for each campaign across multiple days in an automated manner. The goals of this product are to:Enable advertisers …

Xue Xia, Software Engineer, Homefeed Ranking; Neng Gu, Software Engineer, Content & User Understanding; Dhruvil Deven Badani, Engineering Manager, Homefeed Ranking; Andrew Zhai, Software Engineer, Advanced Technologies GroupImage from https://wallpapercave.com/neural-networks-wallpapers#google_vignetteIn this blog post, we will demonstrate how we improved Pinterest Homefeed engagement volume from a machine learning model design perspective — by leveraging realtime user action features in Homefeed recommender system.BackgroundThe Homepage of Pinterest is the one of most important surfaces for pinners to discover inspirational ideas and contributes to a large fraction of overall user engageme…

Lin Wang | Android Performance EngineerDesigned by AJ Oxendine | Software EngineerIt’s a well-known fact for Android developers that an app’s manifest (AndroidManifest.xml) holds crucial application declarations. It is rarely monitored after being set up because we assume it hardly ever changes. At Pinterest, however, we have been actively monitoring the manifest after realizing it does change every so often.While building an app, Gradle downloads all the dependent libraries to compile and link them with the app. These dependent libraries each have their own mini manifest. During the build process, Android Gradle Plugin (AGP) merges them with the app’s main manifest to form the final manife…

Bella Huang | Software Engineer, Home Candidate Generation; Raymond Hsu | Engineer Manager, Home Candidate Generation; Dylan Wang | Engineer Manager, Home RelevanceIn Homefeed, ~30% of recommended pins come from pin to pin-based retrieval. This means that during the retrieval stage, we use a batch of query pins to call our retrieval system to generate pin recommendations. We typically use a user’s previously engaged pins, and a user may have hundreds (or thousands!) of engaged pins, so a key problem for us is: how do we select the right query pins from the user’s profile?User Profiling with PinnerSAGE OverviewAt Pinterest, we use PinnerSAGE as the main source of a user’s pin profile. Pinner…

Khubi Shah | (former) Software Engineer Intern, Shopping Content MiningThis summer, I had the incredible opportunity to intern at the one and only Pinterest from the new engineering hub in Toronto!I am a final year undergraduate student from the University of Waterloo, majoring in Computer Science with an AI specialization. Growing up, Pinterest was always my go-to social media platform, as it inspired me with new ideas for food, fashion, design, or anything creative! As a result, when I was given the opportunity to join as a Software Engineering Intern this summer in Toronto, I was beyond thrilled to be a part of the company mission: to bring everyone the inspiration to create a life they …

Ankita Girish Wagh | Senior Software Engineer, Storage and CachingIntroduction and MotivationAt Pinterest, HBase is one of the most critical storage backends, powering many online storage services like Zen (graph database), UMS (wide column datastore), and Ixia (near real time secondary indexing service). The HBase Ecosystem, though having various advantages like strong consistency at row level in high volume requests, flexible schema, low latency access to data, Hadoop integration, etc. cannot serve the needs of our clients for the next 3–5 years. This is due to high operational cost, excessive complexity, and missing functionalities like secondary indexes, support for transactions, etc.Af…

[...]

Read More...

The post MSVP is Meta’s first video processing ASIC appeared first on Engineering at Meta.

[...]

Read More...

The post Meta introduces its first-generation AI inference accelerator appeared first on Engineering at Meta.

We’re sharing how Meta is applying statistics and machine learning (ML) to improve notification personalization and management on Instagram – particularly on daily digest push notifications. By using causal inference and ML to identify highly active users who are likely to see more content organically, we have been able to reduce the number of notifications [...]

Read More...

The post Improving Instagram notification management with machine learning and causal inference appeared first on Engineering at Meta.

Many of Meta’s products, such as search, ads ranking and Marketplace, utilize AI models to continuously improve user experiences. As the performance of hardware we use to support training infrastructure increases, we need to scale our data ingestion infrastructure accordingly to handle workloads more efficiently. GPUs, which are used for training infrastructure, tend to double [...]

Read More...

The post Scaling data ingestion for machine learning training at Meta appeared first on Engineering at Meta.

Check out our previous post — Customization & Configuration in Design Systems — for more about how we define APIs for design systems. The previous post on this topic explored two common paths that emerge in APIs — customization and configuration — each with its own pros and cons. Customization provides freedom and speed, while [...]

The post Multiple Layers of Abstraction in Design Systems appeared first on Spotify Engineering.

Check out Part 1 and Part 2 of our series on Fleet Management at Spotify and how we manage our software at scale. For the third part of this Fleet Management series, we’ll discuss what we call “fleet-wide refactoring” of code across thousands of Git repos: the tools we’ve built to enable fleet-wide refactoring and [...]

The post Fleet Management at Spotify (Part 3): Fleet-wide Refactoring appeared first on Spotify Engineering.

Very often, when developing user interfaces, a lot of focus is given to the visuals, as that’s what primarily gets a user’s attention. However, other aspects are equally impactful for making the experience great but can be overlooked, like the user’s input – how the user interacts with the app. It is completely understandable that [...]

The post TV Spatial Navigation appeared first on Spotify Engineering.

Check out Part 1 of our series on Fleet Management at Spotify and how we manage our software at scale. At Spotify, we adopted the declarative infrastructure paradigm to evolve our infrastructure platform’s configuration management and control plane approach, allowing us to manage hundreds of thousands of cloud resources across tens of thousands of different [...]

The post Fleet Management at Spotify (Part 2): The Path to Declarative Infrastructure appeared first on Spotify Engineering.

TL;DR Since 2017, Spotify has been working to create a better listening experience for our users by applying the expertise of our curators with algorithmic personalization. The outcome of these efforts has resulted in what we call “Algotorial” playlists. The best of both worlds: Editorial and Algorithms Spotify has a library of playlists for almost [...]

The post Humans + Machines: A Look Behind Spotify’s Algotorial Playlists appeared first on Spotify Engineering.

TL;DR Instead of performing 10 major software upgrades to our infrastructure every year, what if we did 10,000 small ones? Across our entire codebase? That’s the idea behind Fleet Management: by building automation tools that can safely make changes to thousands of repos at once, we can maintain the health of our tech infrastructure continuously [...]

The post Spotify’s Shift to a Fleet-First Mindset (Part 1) appeared first on Spotify Engineering.

Integrating the Podz ML pipeline into Spotify As of March 8, 2023, Spotify has started serving short previews for music, podcasts, and audiobooks on the home feed. (You can see the announcement at Stream On on YouTube, starting at 19:15.) This is a huge lift for in-app content discovery — a move away from making [...]

The post Large-Scale Generation of ML Podcast Previews at Spotify with Google Dataflow appeared first on Spotify Engineering.

Overview Wrapped is Spotify’s global annual year-end campaign that celebrates our listeners with a personalized review of their listening habits over the past year. Last year, with more than 150 million unique engaged users across more than 111 markets, the Wrapped engineering team had the extraordinary challenge of supporting traffic across many regions and from [...]

The post Load Testing for 2022 Wrapped appeared first on Spotify Engineering.

TL;DR Sequential tests are the bread and butter for any company conducting online experiments. The literature on sequential testing has developed quickly over the last 10 years, and it’s not always easy to determine which test is most suitable for the setup of your company — many of these tests are “optimal” in some sense, [...]

The post Choosing Sequential Testing Framework — Comparisons and Discussions appeared first on Spotify Engineering.

On the Encore team (Spotify’s design system), there’s nothing we love more than collaborating with our fellow squads — (1) because they have awesome squad names and (2) because they have awesome people. Enter our most recent collab with the Mandalorian squad, which is in charge of accessibility at Spotify — and aptly named, because [...]

The post Encore x Accessibility: A Balancing Act appeared first on Spotify Engineering.

Watch Justin and Fiona speak about ‘Team Health Checks — One Size Does Not Fit All’ at the Spotify Engineering Conference in 2022. Spotify has for a long time run squad health checks. Squads step back from their day-to-day activities to get a broader perspective on how they are working, with the aim of improving [...]

The post Getting More from Your Team Health Checks appeared first on Spotify Engineering.

Deep linking and attribution are important functionalities for a growing business. Deep links seamlessly get you to the content you want in the app. Attribution helps us understand which activity (such as marketing or sharing) drives you to that content. At Spotify in 2017, these critical functionalities were in disrepair. But over the course of [...]

The post A Multi-Year Challenge: Repairing Deep Linking & Attribution at Spotify appeared first on Spotify Engineering.

On January 14, between 00:15 UTC and 03:45 UTC, Spotify suffered an outage. The impact was small at first and increased over the course of an hour until most functionality (including playback) was not working. Spotify engineers were first notified of the problem at 00:40 UTC, and our incident response team was immediately assembled. Due [...]

The post Incident Report: Spotify Outage on January 14, 2023 appeared first on Spotify Engineering.

Introduction As the field of machine learning (ML) continues to evolve and its impact on society and various aspects of our lives grows, it is becoming increasingly important for practitioners and innovators to consider a broader range of perspectives when building ML models and applications. This desire is driving the need for a more flexible [...]

The post Unleashing ML Innovation at Spotify with Ray appeared first on Spotify Engineering.

At Spotify, change is a constant, and our agile coaches are here to help teams and leaders thrive as we evolve. With agile principles famously part of our DNA, Spotify doesn’t need “transformation coaches,” as they are often known in the industry, but coaches who transform as organizational needs change. In the early 2010s, our [...]

The post Agile Coaching (AC) at Spotify: Shining a Light on the AC Career Framework appeared first on Spotify Engineering.

When it comes to data, state of the art is an ever-moving target. There’s also a lot of hype around “cutting edge” that isn’t always grounded in reality. At Snowflake, we’re able to see how cutting-edge companies are actually working with data on our platform. In our inaugural Data Trends report we examine actual usage […]

The post Four Data Trends Redefining Success for the Modern Business appeared first on Snowflake.

A revolution in data analytics is coming soon. Why are we so sure? Because the enabling technologies are already deployed in Snowflake, and it’s spreading to nearly every function of our business. Best of all, you too can soon get your hands on this solution. For more than 10 years, Snowflake has been dedicated to […]

The post How Snowpark+Streamlit Easily Delivers Machine Learning Apps in Snowflake appeared first on Snowflake.

Sports and gaming companies are forging ahead with the use of data science as a competitive differentiator. According to an industry report, the global AI in media and entertainment market size was valued at $10.87 billion in 2021 and is estimated to grow 26.9% annually until 2030. Companies are continually innovating on ways to use […]

The post Customer 360 for Sports and Gaming Fans: The Data Science Best Practices You Need to Know appeared first on Snowflake.

Today, we’re excited to announce the Snowflake Connector for Microsoft Power Platform is now available. This connector provides instant access to up-to-date data within your Snowflake instance without manually integrating against API endpoints. Now anyone can easily build low-code applications or workflows on Power Platform that leverage Snowflake data without any previous technical or app […]

The post Snowflake Connector for Microsoft Power Platform Now Available appeared first on Snowflake.

Welcome to Snowflake’s Startup Spotlight, where we highlight the people and companies building businesses on Snowflake. In this Q&A series, Jacques Nadeau, Co-Founder and CEO of Sundeck and co-creator of Apache Arrow, talks about what inspires him to make powerful data tools available to all, how Sundeck’s query engineering platform can help Snowflake users, and […]

The post Startup Spotlight: Making Snowflake Queries Smarter and Cheaper with Sundeck appeared first on Snowflake.

In my last article, I outlined how we in Snowflake Support use contextual data about where our customers get stuck to improve the overall product experience. Now I’ll take you through how your organization can also implement these important feedback loops from support to product enhancements, to your company’s—and your user’s—benefit. Customers don’t wake up […]

The post 3 Steps to Creating a Support-to-Product Feedback Loop in Your Organization appeared first on Snowflake.

Search is fundamental to how businesses interact with data, and the search experience is evolving rapidly with new conversational paradigms emerging in the way we ask questions and retrieve information, enabled by generative AI. The ability for teams to discover precisely the right data point, data asset, or data insight is critical to maximizing the […]

The post Snowflake acquires Neeva to accelerate search in the Data Cloud through generative AI appeared first on Snowflake.

After 30 years of working in tech across Asia, I’ve seen a lot of ups and downs in these markets. Not long ago, I wrote a blog about what US and European software companies can do to ensure their success when opening for business in the region. Now, as the US wavers between higher inflation […]

The post How to Navigate Economic Headwinds When Selling in Asia appeared first on Snowflake.

In April, Snowflake released exciting features including general availability of Account Replication and the Snowflake Connector for Django on Snowflake Labs. Read on to learn about these enhancements and more. Cross-Cloud Snowgrid Account Replication expands replication beyond databases – general availability Account Replication, now generally available, expands replication beyond databases to account metadata and integrations, […]

The post New Snowflake Features Released in April 2023 appeared first on Snowflake.

In April, Snowflake released exciting features including general availability of Account Replication and the Snowflake Connector for Django on Snowflake Labs. Read on to learn about these enhancements and more. Cross-Cloud Snowgrid Account Replication expands replication beyond databases – general availability Account Replication, now generally available, expands replication beyond databases to account metadata and integrations, […]

The post New Snowflake Features Released in April 2023 appeared first on Snowflake.

Welcome to Snowflake’s Startup Spotlight, where we learn about innovative companies building businesses on Snowflake. In this edition, we’ll hear from Pipedream Co-Founder Dylan Sather about what it takes to build integrations right and how an engaged community becomes a powerful resource. Tell us about yourself. I’m Dylan Sather, co-founder and Software Engineer at Pipedream. […]

The post Startup Spotlight: Simplifying Integration Development with Pipedream appeared first on Snowflake.

Multi-touch attribution (MTA) is a data-driven approach to measuring the impact of various marketing channels and touchpoints on a consumer’s journey toward making a purchase or completing a desired action. Unfortunately, marketers struggle with gaining such a view because most solutions make it difficult, if not impossible, to centralize data and deliver data-driven insights in […]

The post Real-Time Marketing Attribution Modeling With Snowplow and Snowflake appeared first on Snowflake.

We’re excited to announce that the Snowflake Connector for Django is now available on Snowflake Labs on GitHub. This integration provides Django apps easy access to data within the Snowflake Data Cloud without manually integrating against API endpoints. Now Python developers can easily and quickly build web applications that access Snowflake data by leveraging the […]

The post Snowflake Connector for Django Now Available appeared first on Snowflake.

GEOMETRY, a data type designed for those using local spatial reference systems (SRS), is now generally available in Snowflake. In addition, Snowflake has joined the Open Geospatial Consortium (OGC), an organization uniting over 500 businesses, government agencies, research organizations, and universities with the goal of making location information findable, accessible, interoperable, and reusable. GEOMETRY data […]

The post Advancing Geospatial Analysis in Snowflake with a New Data Type: GEOMETRY appeared first on Snowflake.

What is a dead letter queue (DLQ)? Cloudera SQL Stream builder gives non-technical users the power of a unified stream processing engine so they can integrate, aggregate, query, and analyze both streaming and batch data sources in a single SQL interface. This allows business users to define events of interest for which they need to […]

The post Using Dead Letter Queues with SQL Stream Builder appeared first on Cloudera Blog.

CDO Spotlight

The post Trusted Data: Alchemy For Misinformation appeared first on Cloudera Blog.

What are materialized views and how to configure them

The post Materialized Views in SQL Stream Builder appeared first on Cloudera Blog.

Developing and using custom User Defined Functions on SSB

The post Implementing and Using UDFs in Cloudera SQL Stream Builder appeared first on Cloudera Blog.

Special co-author credits: Adam Andras Toth, Software Engineer Intern With enterprises’ needs for data analytics and processing getting more complex by the day, Cloudera aims to keep up with these needs, offering constantly evolving, cutting-edge solutions to all your data related problems. Cloudera Stream Processing aims to take real-time data analytics to the next level. […]

The post Job Notifications in SQL Stream Builder appeared first on Cloudera Blog.

A study of the impact of suboptimal Spark code on performance

The post Spark Technical Debt Deep Dive appeared first on Cloudera Blog.

The move toward renewable energy has a distinct and significant impact on energy generation and distribution that needs to be carefully managed. Efficient use of data will therefore be critical to improving the competitiveness and productivity of assets, both traditional and renewable generation.

The post Optimizing the Energy Sector with Data Analytics appeared first on Cloudera Blog.

We are pleased to announce that Cloudera has been named a Leader in the 2022 Gartner® Magic Quadrant™ for Cloud Database Management Systems. Cloudera has been recognized in this cloud DBMS report since its inception in 2020. This year we’ve been named a Leader. This validates our significant momentum in global enterprises. And together, with […]

The post Cloudera Named a Leader in the 2022 Gartner® Magic Quadrant™ for Cloud Database Management Systems (DBMS) appeared first on Cloudera Blog.

Since we announced the general availability of Apache Iceberg in Cloudera Data Platform (CDP), Cloudera customers, such as Teranet, have built open lakehouses to future-proof their data platforms for all their analytical workloads. Cloudera partners are also benefiting from Apache Iceberg in CDP. For example, Modak Nabu is helping their enterprise customers accelerate data ingestion, […]

The post Implement a Multi-Cloud Open Lakehouse with Apache Iceberg in Cloudera Data Platform appeared first on Cloudera Blog.

Introduction Stream processing is about creating business value by applying logic to your data while it is in motion. Many times that involves combining data sources to enrich a data stream. Flink SQL does this and directs the results of whatever functions you apply to the data into a sink. Business use cases, such as […]

The post Enriching Streams with Hive tables via Flink SQL appeared first on Cloudera Blog.

Innovation Accelerator Spotlight: Data teams can collaborate to streamline data transformation and analytics pipelines in the open data lakehouse using any engine, and in any form factor to produce high quality data that your business can trust.

The post Cloudera’s Open Data Lakehouse Supercharged with dbt Core(tm) appeared first on Cloudera Blog.

The promise of a modern data lakehouse architecture Imagine having self-service access to all business data, anywhere it may be, and being able to explore it all at once. Imagine quickly answering burning business questions nearly instantly, without waiting for data to be found, shared, and ingested. Imagine independently discovering rich new business insights from […]

The post The Modern Data Lakehouse: An Architectural Innovation appeared first on Cloudera Blog.

Cloudera Machine Learning (CML) is a cloud-native and hybrid-friendly machine learning platform. It unifies self-service data science and data engineering in a single, portable service as part of an enterprise data cloud for multi-function analytics on data anywhere. CML empowers organizations to build and deploy machine learning and AI capabilities for business at scale, efficiently […]

The post Building Custom Runtimes with Editors in Cloudera Machine Learning appeared first on Cloudera Blog.

Artificial intelligence technology is significantly changing the software development profession. According to Github, 1.2 million developers already rely on artificial intelligence technology to do their jobs. However, despite their knowledge about programming, many developers do not fully grasp the benefits that AI can bring to their profession. There are a number of reasons that they […]

Big data technology has significantly changed the marketing profession over the last few years. One of the biggest changes brought on by big data has been in the field of social media marketing. Most savvy marketers recognize the importance of using analytics technology to optimize their strategies to get a higher ROI. One example of […]

The rate of growth at which world economies are growing and developing thanks to new technologies in information data and analysis means that companies are needing to prepare accordingly. As a result of the benefits of business analytics, the demand for Data analysts is growing quickly. The Bureau of Labor Statistics reports that the role […]

The world of artificial intelligence (AI) is constantly changing, and we must be vigilant about the issue of bias in AI. AI translation systems, particularly machine translation (MT), are not immune to this, and we should always confront and overcome this challenge. Let us uncover its implications in AI translation and discover effective strategies to […]

Great customer support plays a central role in a company’s success and profitability. Businesses with an excellent reputation for customer service tend to do better overall and stay in business longer. Companies that miss the mark often lose customers and generate negative reviews online. Unfortunately, bad reviews can deter new customers. What makes some businesses […]

Few industries have been untouched by changes in artificial intelligence technology. However, the financial industry has been affected more than most others. Therefore, it should not be surprising to hear that the global market for AI in the financial services sector was worth $9.45 billion in 2021 and is growing at a rate of 16.5% a year. […]

AI technology has become crucial for modern businesses trying to maintain a competitive edge in the 21st Century. Around 35% of businesses are already using AI and another 42% plan to use it in the future. The rapid proliferation of ChatGPT has gained a lot of attention over the last few months, but it is […]

AI has been the latest controversy, as it may seem to eliminate the need for human working positions in most professions. Artists, especially, were vocal about their concerns about the technology, considering the system’s merging way of creating art. ChatGPT doesn’t seem to think about the importance of artists after it tells a writer they don’t […]

AI technology has taken off over the past year. While many discussions center around ChatGPT, some of the most critical developments in AI can be seen with mobile devices. Android, in particular, is one of the most popular smartphones that 2.5 billion people worldwide use. David Curry of Business of Apps points out that the […]

The times are becoming tougher every day, and it doesn’t help that there’s a potential recession on the horizon. As early as now, you might be looking for ways to cut costs and keep your factory afloat. You understand that lowering costs is the key to surviving tough times, but you need help figuring out […]

Understaffed, with their budgets cut, and overworked — why does that describe the state of security operation centers today when businesses need effective protection more than ever? Cyber professionals are facing more hacking threats than ever before, there’s a shortage of skilled cybersecurity professionals and a flood of data that is coming from a large […]

Marketing is becoming more science than art due to digitization. Data-savvy marketers have access to valuable insights into their customers, performance, and opportunities for improvement. Marketing departments that don’t embrace analytics risk being outpaced by competitors and consumer expectations. A recent survey found that 73% of consumers expect marketers to anticipate their needs. Marketing analytics […]

Big data technology has had a number of important benefits for businesses in all industries. One of the biggest advantages is that big data helps companies utilize business intelligence. It is one of the biggest reasons that the market for big data is projected to be worth $273 billion by 2026. Companies are finding more […]

Predictive analytics technology has had a huge affect on our lives, even though we don’t usually think much about it. Therefore, it should not be a surprise that the market for predictive analytics tools will be worth an estimated $44 billion by 2030. There are many ways that predictive analytics is changing the way we […]

You probably have heard all about the role of ChatGPT. This tool got a lot of attention after many people realized how efficiently it can help people write content. We even wrote a post talking about ChatGPT as a content marketing tool. However, we have quickly realized that ChatGPT has benefits that go well beyond […]

Reading Time: 5 minutes In a microservice architecture, There are multiple services connecting threw each other and there is always the possibility that the other service being called is unavailable or unable to respond. So, what can we do then? Here resilience4j circuit breaker comes into the picture INTRODUCTION Resilience is essential for any system that needs to function effectively, and the resilience4j Circuit Breaker is no exception. The Continue Reading

The post Introduction to Resilience4j Circuit Breaker appeared first on Knoldus Blogs.

Reading Time: 6 minutes In this blog, we will get the opportunity to come across what Kafka is, and explain how Kafka works from the inside out. How does it replicate data between nodes, what happens if replication fails, and how do consumers scale-out automatically? Insights of Apache Kafka Kafka is a statistics streaming system that permits builders to react to new activities as they arise in real-time. Kafka Continue Reading

The post An Introduction to Kafka’s Internals appeared first on Knoldus Blogs.

Reading Time: 3 minutes Overview This Blog will see how we could use Spring WebFlux WebClient for making non-blocking HTTP requests. What Is the WebClient? Just put, the WebClient class which provides a common method for sending or receiving data from any local, intranet, or Internet resource which is identified by a URI. The WebClient class uses the WebRequest class which provides the access to resources. It is an interface that stands for Continue Reading

The post Spring WebFlux — WebClient appeared first on Knoldus Blogs.

Reading Time: 9 minutes This is Part 2 of an ongoing series of blogs explaining the use cases of Apache HttpClient(Part-1). This blog is going to take you a step ahead and help you know more about the various use cases such as Authentication, Connection Pooling, Cookie Management, GZIP Compression, Multithreading, Content-Encoding, Redirection, and Retries 1. Authentication It’s important to use secure connections (HTTPS) when sending sensitive information over Continue Reading

The post Use-Cases of Apache HttpClient appeared first on Knoldus Blogs.

Reading Time: 3 minutes Introduction Spring Boot is a popular Java-based framework that provides a rapid development environment for building web applications. One of the most important components of any web application is a database. In this blog, we will discuss how to establish an SQL connection in Spring Boot with JPA. SQL Connection with Spring Boot Spring Boot provides support for the Java Persistence API (JPA), which is Continue Reading

The post MySql connection with Spring boot using JPA appeared first on Knoldus Blogs.

Reading Time: 6 minutes What is Zio? ZIO is a functional programming library for building concurrent and asynchronous applications in Scala. It provides a set of composable and type-safe abstractions for managing side effects, such as IO, error handling, and concurrency primitives like fibers, promises, and queues. ZIO is designed to make it easier to write correct and performant concurrent code by providing a more expressive and composable API Continue Reading

The post Getting started with Zio-Http appeared first on Knoldus Blogs.

Reading Time: 6 minutes Design thinking is a problem-solving approach that places the needs and experiences of the end-user at the center of the process. It is a human-centered approach to innovation and problem-solving that involves empathy, creativity, and experimentation. In project management, design thinking is used to develop innovative solutions to complex problems, with the goal of creating products or services that meet the needs of the end-user. Continue Reading

The post Design Thinking in Project Management appeared first on Knoldus Blogs.

Reading Time: 7 minutes Functional programming helps to solve problems in an easier way. Unlike other programming paradigms, such as imperative programming, functional programming focuses on what needs to be done rather than how it should be done. Functional programming also relies on higher-order functions, which are functions that take other functions as arguments or return functions as results. This allows for the composition of functions, which can simplify code Continue Reading

The post Functional programming appeared first on Knoldus Blogs.

Reading Time: 3 minutes A transition is an animation usually used to move content in or out of view. Transitions help to make a UI expressive and easy to use.

The post Make Transitions in React with Material UI appeared first on Knoldus Blogs.

Reading Time: 3 minutes In the browser, DOM manipulation is expensive and time-consuming, both in mounting and unmounting. Part of what makes React very performant is its Reconciliation algorithm. In short, it watches closely for differences, only updates the DOM when necessary, and tries to update only the parts which need to be changed. In this blog, we will explore how DOM manipulation gets easier with the reconciliation algorithm Continue Reading

The post How Does React updates DOM so Efficiently? appeared first on Knoldus Blogs.

Reading Time: 4 minutes In this blog, we will be gaining a basic understanding of Domain Name Systems (DNS) like what is DNS, what is an IP Address and how a DNS actually works. So stick to this blog, to learn the basic fundamentals of a Domain Name System. Introduction In the world of networking, computers don’t go by names as we humans do, they go by numbers. That’s Continue Reading

The post Understanding the Basic Fundamentals of DNS appeared first on Knoldus Blogs.

Reading Time: 5 minutes Styling is the most important aspect when you are developing any application. You might have the best functioning application but if your UI is not that great it is difficult to maintain active users. Styling is essential to build any web application. So, In this blog, we will be discussing how we can implement styling in Next.js and will see how we can implement global Continue Reading

The post How to Implement Styling in Next.js appeared first on Knoldus Blogs.

Reading Time: 4 minutes Reactive programming is a programming paradigm that focuses on asynchronous and event-driven programming. Reactive programming is designed to handle streams of data and events, and it has become popular in recent years due to the rise of modern web applications and the need for real-time data processing. Java, being a popular language for enterprise applications, has several libraries and frameworks that support reactive programming. In Continue Reading

The post Reactive Programming in Java appeared first on Knoldus Blogs.

Reading Time: 4 minutes Introduction Software architecture is an essential aspect of any software development project. It defines the structure of the software system and helps in achieving the desired qualities of the system. There are several software architecture patterns, and one of them is the Onion Architecture. In this blog, we will discuss Onion Architecture in detail. What is Onion Architecture? Onion Architecture is a software architecture pattern Continue Reading

The post Peeling Back the Layers: Exploring Onion Architecture appeared first on Knoldus Blogs.

Reading Time: 4 minutes Resilience4J is an open-source library that provides different resilience patterns for building resilient applications. Bulkhead is one of the patterns provided by Resilience4J to prevent the cascading failure of an application by limiting the resources used by a failed component. In this blog, we will discuss in detail what it is and how Resilience4J implements it. What is a Bulkhead? It is a physical barrier Continue Reading

The post Resilience4J: Introduction to Bulkhead appeared first on Knoldus Blogs.

The business analyst is an in-demand data science job with a highly competitive salary range. Here are the numbers for 2023. The job market is having a moment right now, and many people are considering a job switch. Enter the business analyst . . . Business analysts are trained data specialists with database and business […]

Learning SQL might not be as "sexy" as learning Python or R, but it's a fundamental skill for almost every data scientist and data analyst job. Here's why.

Thinking about kickstarting a career in data analytics? These 10 high-paying jobs may just be the motivation you need to learn more about the data science industry and gain the specific skills you need to succeed.

If you want to know how to become a data scientist, then you’re in the right place. I’ve been where you are, and now I want to help. A decade ago, I was just a college graduate with a history degree. I then became a machine learning engineer, data science consultant, and now CEO of […]

Will getting a SQL certification actually help you get a data job? The answer to this question can be confusing, since there’s a lot of conflicting information out there. But don’t worry, we’ve got you covered. In this article, we’ll dispel some of the myths regarding SQL certification, shed light on how hiring managers view […]

What certificate should I get for data science? We interviewed data science recruiters about job applications and none of them cared about certificates.

What’s the best Python certificate to get? Python certifications can cost up to thousands of dollars. Are they worth your time?

Since data is such an essential aspect of business intelligence, data analysts are very much in demand — and this trend is only increasing! The job is key for many types of projects, such as analyzing market trends or collecting data for political polls. If you want to learn to become a data analyst, you’re […]

How can you get a data science job? It all starts with a great resume: one that frames your data analysis and data science projects in the right way.

In this article, we’re sharing the 20 most common business analyst interview questions and answers that you could encounter during a job interview. Being ready for these questions can not only help you prepare for and feel more comfortable in an interview for a business analyst role, it can also identify the gaps you may […]

Do I need a data analytics certificate? If you’re set on becoming a data analyst, you’ve no doubt asked yourself this question more than once. And you’re not alone. Even so, getting a straight answer about required certifications for data analysts is tricky. Why? Because there are dozens of companies offering data analytics certificates online. […]

Becoming a data journalist and learning to code isn't as difficult as you might think, but you have to approach it in the right way to avoid common mistakes.

PyTorch is a machine learning (ML) framework that is widely used by AWS customers for a variety of applications, such as computer vision, natural language processing, content creation, and more. With the recent PyTorch 2.0 release, AWS customers can now do same things as they could with PyTorch 1.x but faster and at scale with […]

Amazon EMR on EKS provides a deployment option for Amazon EMR that allows organizations to run open-source big data frameworks on Amazon Elastic Kubernetes Service (Amazon EKS). With EMR on EKS, Spark applications run on the Amazon EMR runtime for Apache Spark. This performance-optimized runtime offered by Amazon EMR makes your Spark jobs run fast […]

DoGet App is a mobile application that connects friends for sharing in-person moments together. Suggestions for activities to engage in with friends are presented to users in card deck format: swiping up indicates no interest in an activity, and swiping down indicates interest and prompts a follow-up on when a user is available (such as […]

Amazon Relational Database Service (Amazon RDS) for SQL Server supports several security features that can help you secure your application data on AWS. These features protect your data both in transit and at rest, while also providing separation of duties and auditing capabilities. The majority of these features are built into SQL Server and can […]

Amazon Transcribe is a speech recognition service that generates transcripts from video and audio files in multiple supported languages and accents. It comes with a rich set of features, including automatic language identification, multi-channel and multi-speaker support, custom vocabularies, and transcript redaction. Amazon Transcribe supports two modes of operation: batch and streaming. In batch mode, […]

Amazon SageMaker Feature Store is a purpose-built service to store and retrieve feature data for use by machine learning (ML) models. Feature Store provides an online store capable of low-latency, high-throughput reads and writes, and an offline store that provides bulk access to all historical record data. Feature Store handles the synchronization of data between […]

We are excited to announce the General Availability of AWS Glue Data Quality. Our journey started by working backward from our customers who create, manage, and operate data lakes and data warehouses for analytics and machine learning. To make confident business decisions, the underlying data needs to be accurate and recent. Otherwise, data consumers lose […]

AWS Glue Data Quality allows you to measure and monitor the quality of data in your data repositories. It’s important for business users to be able to see quality scores and metrics to make confident business decisions and debug data quality issues. AWS Glue Data Quality generates a substantial amount of operational runtime information during […]

Alerts and notifications play a crucial role in maintaining data quality because they facilitate prompt and efficient responses to any data quality issues that may arise within a dataset. By establishing and configuring alerts and notifications, you can actively monitor data quality and receive timely alerts when data quality issues are identified. This proactive approach […]

Data is the lifeblood of modern businesses. In today’s data-driven world, companies rely on data to make informed decisions, gain a competitive edge, and provide exceptional customer experiences. However, not all data is created equal. Poor-quality data can lead to incorrect insights, bad decisions, and lost opportunities. AWS Glue Data Quality measures and monitors the […]

AWS Glue is a serverless data integration service that makes it simple to discover, prepare, and combine data for analytics, machine learning (ML), and application development. You can use AWS Glue to create, run, and monitor data integration and ETL (extract, transform, and load) pipelines and catalog your assets across multiple data stores. Hundreds of […]

In the first post of the series, we described some core concepts of Apache Kafka cluster sizing, the best practices for optimizing the performance, and the cost of your Kafka workload. This post explains how the underlying infrastructure affects Kafka performance when you use Amazon Managed Streaming for Apache Kafka (Amazon MSK) tiered storage. We […]

This is a guest blog post by Mira Daniels and Sean Whitfield from SumUp. SumUp is a leading global financial technology company driven by the purpose of leveling the playing field for small businesses. Founded in 2012, SumUp is the financial partner for more than 4 million small merchants in over 35 markets worldwide, helping […]

Today, AWS is announcing the availability of in-place version upgrades for Amazon Managed Workflow for Apache Airflow (Amazon MWAA). This enhancement allows you to seamlessly upgrade your existing Apache Airflow version 2.x environments to newer available versions while retaining the workflow run history and environment configurations. You can now take advantage of the latest capabilities […]

Amazon Keyspaces (for Apache Cassandra) is a scalable, highly available, and managed Apache Cassandra-compatible database service. With Amazon Keyspaces, you can run your Cassandra workloads on AWS using the same Cassandra application code and developer tools that you use today. Today we are introducing Amazon Keyspaces Multi-Region Replication. Amazon Keyspaces Multi-Region Replication is a new […]

Data is the foundation for machine learning (ML) algorithms. One of the most common formats for storing large amounts of data is Apache Parquet due to its compact and highly efficient format. This means that business analysts who want to extract insights from the large volumes of data in their data warehouse must frequently use […]

Amazon SageMaker Automatic Model Tuning has introduced Autotune, a new feature to automatically choose hyperparameters on your behalf. This provides an accelerated and more efficient way to find hyperparameter ranges, and can provide significant optimized budget and time management for your automatic model tuning jobs. In this post, we discuss this new capability and some […]

This post is co-written with Philipp Schmid from Hugging Face. We have all heard about the progress being made in the field of large language models (LLMs) and the ever-growing number of problem sets where LLMs are providing valuable insights. Large models, when trained over massive datasets and several tasks, are also able to generalize […]

AWS SDK for pandas is a popular Python library among data scientists, data engineers, and developers. It simplifies interaction between AWS data and analytics services and pandas DataFrames. It allows easy integration and data movement between 22 types of data stores, including Amazon Simple Storage Service (Amazon S3), Amazon Athena, Amazon Redshift, and Amazon OpenSearch […]

This post is co-written with Philipp Schmid and Jeff Boudier from Hugging Face. Today, as part of Amazon Web Services’ partnership with Hugging Face, we are excited to announce the release of a new Hugging Face Deep Learning Container (DLC) for inference with Large Language Models (LLMs). This new Hugging Face LLM DLC is powered […]

Amazon QuickSight is a fully managed, cloud-native business intelligence (BI) service that makes it easy to connect to your data, create interactive dashboards, and share these with tens of thousands of users, both within QuickSight and embedded in your software as a service (SaaS) applications. QuickSight Enterprise edition started supporting nested conditions within row-level security […]

To migrate a SQL Server database to Babelfish for Aurora PostgreSQL, you usually need to perform both automated and manual tasks. The automated tasks involve automatic code conversion using the Babelfish Compass tool with the -rewrite flag and data migration using AWS Database Migration Service (AWS DMS). The manual tasks involve database compatibility check using […]

This is a guest post by Joseph Landucci from BWH Hotels. In their own words, “BWH Hotels is a leading, global hospitality enterprise comprised of three hotel companies, including WorldHotels, Best Western Hotels & Resorts and SureStay Hotels. Our mission is to deliver trusted guest experiences, drive hotel success and foster a caring, inclusive culture that respects […]

A common trend in modern application development and data processing is the use of Apache Kafka as a standard delivery mechanism for data pipeline and fan-out approach. Amazon Managed Streaming for Apache Kafka (Amazon MSK) is a fully-managed, highly available, and secure service that makes it simple for developers and DevOps managers to run applications […]

Amazon Redshift is a widely used, fully managed, petabyte-scale cloud data warehouse. Tens of thousands of customers use Amazon Redshift to process exabytes of data every day to power their analytic workloads. Customers are looking for tools that make it easier to migrate from other data warehouses, such as Google BigQuery, to Amazon Redshift to […]

Migrating your relational databases on Amazon Aurora MySQL-Compatible Edition from one AWS account to another AWS account is a common use case in scenarios when you acquire, sell, or merge operations, or if you’re reorganizing your AWS accounts and organizational structure. These migrations can be complex, especially for large workloads. It is important to perform […]

Apache Flink is a framework and distributed processing engine for stateful computations over data streams. Amazon Kinesis Data Analytics for Apache Flink is a fully managed service that enables you to use an Apache Flink application to process streaming data. The Deep Java Library (DJL) is an open-source, high-level, engine-agnostic Java framework for deep learning. […]

In this post we show you how to migrate from Azure to Amazon Relational Database Service (Amazon RDS) Custom for SQL Server. using the native backup and restore method. We also dive deep into the data-tier application backup package file. Amazon RDS Custom for SQL Server is a managed database service for legacy, custom, and […]

The demand for multi-object tracking (MOT) in video analysis has increased significantly in many industries, such as live sports, manufacturing, and traffic monitoring. For example, in live sports, MOT can track soccer players in real time to analyze physical performance such as real-time speed and moving distance. Since its introduction in 2021, ByteTrack remains to […]

The title summarizes it pretty well. I write summaries of data engineering topics that I am interested in and to keep up with it regularly, I do it publicly because, well, it forces me to do it regularly. :) Please check it out if you are interested. https://patrikbraborec.substack.com/p/data-news-30 submitted by /u/AmphibianInfamous574 [link] [comments]

I have an interview for Analytics Engineer , what kind of questions i can expect? submitted by /u/Wonderful_Moose_3695 [link] [comments]

submitted by /u/Luxi36 [link] [comments]

I am reading this part of the documentation, and I came across this line A Presto catalog contains schemas and references a data source via a connector I really don't understand what catalogs are and how they relate to schemas. Connectors on the other hand sounds understandable enough. It later then said Catalogs are defined in properties files stored in the Presto configuration directory. So I thought to better understand catalogs and how they relate to schemas, I can take a look at how they are defined. So I went to check the defaults ones and I see bash-4.2# cat jmx.properties connector.name=jmx So I only see a connector being defined here. But if I use the presto-cli I can list the cata…

I am looking for a solid stack to start with data-science. - Pandas - NumPy - scikit-learn - TensorFlow - PyTorch - Keras - Jupyter Notebook - ... ​ can anyone refer to such a stack, which i can deploy on my docker-server? ​ tyvm!! submitted by /u/alber7777 [link] [comments]

Hey data experts and enthusiasts! I've had a look for relevant posts and couldn't find any, but please direct me if you know of one. I'm also only an application admin and not an experienced data analyst so apologies for any incorrect terminology. I manage the primary apps and integrations for my company, which includes tools for marketing, PSA/CRM, quoting , process mapping etc (we're an MSP). I've been tasked with a "data maturity" piece that I'm not sure how to begin. Our CTO would like a comprehensive understanding of all of the data we manage across our application stack (about 20 mostly SAAS tools, some of which I don't manage directly). He would like to know the type of field (text i…

In my 4 years of work experience as a BI Analyst/Engineer in a top tech company, I have worked majorly on SQL, Tableau and QuickSight for 3 of those 4 years. But since last 1 year I've been working in a DE role. For the DE role I had to rebuild my tech skills as I worked on Crawlers, Glue, Pyspark, Lambda, Redshift and data modelling. Barely scratched the surface on these as the business need was to move fast from one project to another. Major use cases have been moving data from S3 to Redshift or data lake. Sometimes with minimal processing in between. I had never worked on Python before so coding in Pyspark was bit of a learning curve but I really enjoyed developing the code. Apart from t…

I know this is too dumb to ask this question, but I don't truly understand the importance of dimensional modelling. Can't is simply pull exact replicas of oltp data to a database/datawarehouse(as per my knowledge, I feel both are similar when we consider the storage part) and build bi reports on top of it without building fact and dim tables. lets take the example of simple book sales. In OLTP we have 3 tables books, authors and sales. even if we build fact and dim tables we will end up having same tables except that we will not have relation ships between dim tables(books and authors) that exists in oltp and aditionally we use date dim tables in dimensional modelling. These changes really …

I am reading this post that explains concepts in presto. I am really confused by the definition of Schemas. The post says Schema is what you use to organize your tables. This is confusing to me because I have always thought of schema's as a way to describe the shape of a table. Ie the columns present and the types of the columns. So this line is telling me Schema is a way to organize my tables? What does that even mean? I am familiar with databases like MySQL, and I have mostly interacted with databases, and the tables contained within those databases Presto seems to be introducing another concept of Schemas? And I find this confusing how it fits into the big picture. So please what exactly…

I'm currently in my first job with 2 years of experience. I feel lost and I'm not as confident as I probably should be in data engineering. What things should I be doing over the next few years to become more experienced and valuable as a Data Engineer? What is data engineering really about? Which parts of data engineering are the most important? Should I get experience with as many tools as possible, or focus on the most popular tools? Are side/personal projects important or helpful? What projects could I do for data engineering? Any info would be great. There are so many things to learn that I feel paralyzed when I try to pick one. submitted by /u/KP_DaBoi99 [link] [comments]

submitted by /u/Perfect_Kangaroo6233 [link] [comments]

Changing Perspective on Large Language Models emerging propertiesContinue reading on Towards Data Science »

Learn 3 best ways to write easy to read, easy to debug and easy to modify SQL queryContinue reading on Towards Data Science »

One of the most frequently used file formatsContinue reading on Towards Data Science »

Mapping pixel positions to geographic coordinates using Landsat metadata and RasterioContinue reading on Towards Data Science »

Statistical sampling is a fundamental block of statistics that allows us to obtain information on the population of interest efficiently…Continue reading on Towards Data Science »

Mastering the Art of Python Project Setup: A Step-by-Step GuideContinue reading on Towards Data Science »

Optimizing the residual point distribution to boost PINN training efficiency and accuracyContinue reading on Towards Data Science »

A comprehensive guide to integrating synchronous and asynchronous programming in PythonContinue reading on Towards Data Science »

Programmatically list all datasets and tables using BigQuery API and PythonContinue reading on Towards Data Science »

Learn how a decision tree splits nodes only to minimize its loss functionContinue reading on Towards Data Science »

How to use time series analysis and forecasting to tackle climate changeContinue reading on Towards Data Science »

Multi-GPU Training on a single GPU System in 3 MinutesAn Advanced Guide for TensorFlowPhoto by Chris Liverani on UnsplashI want to share with you a neat little trick on how I test my multi GPU training code on a single GPU.MotivationI guess the problem is obvious and you probably experienced it yourself. You want to train a deep learning model and you want to take advantage of multiple GPUs, a TPU or even multiple workers for some extra speed or larger batch size. But of course you cannot (let’s say should not because I’ve seen it quite often 😅) block the usually shared hardware for debugging or even spend a ton of money on a paid cloud instance.Let me tell you, it is not important how many…

There has been a flurry of exciting open-source LLMs which can be fine-tuned. But how does that compare to just using a closed API?Continue reading on Towards Data Science »

Understand the most common loss functions and when to use each oneContinue reading on Towards Data Science »

Clustering of Twitter data with K-Means, TF-IDF, Word2Vec, and Sentence-BERTContinue reading on Towards Data Science »

Learn how Backcountry reduced time to detection and resolution while increasing data team efficiency with Monte Carlo.

The characteristics and value of reactive vs. proactive data teams

With Monte Carlo and Atlan's new integration, data teams can easily access up-to-date information about the quality of data assets before they use them so they can build trust at scale.

Learn how FinServ leader Assurance leveraged data observability to mitigate the risk and financial impact of data quality issues at scale.

We reviewed hundreds of real world deployments to highlight 61 ways data teams are finding value from data observability use cases.

Discover Monte Carlo's new GitHub integration to investigate breaking changes and understand the downstream impact of new pull requests.

Monte Carlo’s new integrations with Postgres, MySQL, and Microsoft SQL Server enable customers to deploy custom monitors across popular transactional databases.

Learn how Swimply, the two-sided experiences marketplace, delivers reliable, trustworthy data with Monte Carlo, Snowflake, and Fivetran.

Monte Carlo takes home 10 spring 2023 G2 awards, including Easiest Setup, Easiest To Do Business With, and Users Love Us.

Check out some of the stunning statistics in our annual data quality survey such as how data quality impacts 31% of revenue on average.

With this integration, Sigma and Monte Carlo users can be confident that the upstream data systems powering their analytics are being monitored so any data incident or anomaly is quickly detected and resolved, or prevented altogether.

How and why organizations are turning to solutions like composable customer data platforms built directly on the data warehouse to drive their business forward.

Struggling with data quality? You’re not alone. But how should you get started? We walk through the three most common approaches and their tradeoffs.

Is it better to build vs buy data pipeline layers? In this article, we walk through the framework behind these decisions, plus how you can optimize your pipelines for scale.

Аналитик-разработчикМонорепозиторий Аркадии хранит исходный код большинства сервисов Яндекса. Каждый день разработчики Яндекса создают в нём тысячи пул-реквестов. Для репозиториев такого масштаба не существует готовых решений, и мы развиваем свои: систему контроля версий, веб-портал разработчика, плагины для среды разработки, сервис для разработки в облачном окружении. Наша служба постоянно работает над тем, чтобы делать наши системы удобнее, надёжнее, быстрее и понятнее.Мы ищем опытного аналитика, который поможет разработать систему метрик для наших внутренних продуктов и внедрить A/B-эксперименты, найдёт пути улучшения наших систем.Что нужно делать:-разрабатывать систему метрик качества д…

Прием заявок на выступление на SmartData 2023 открыт до 1 июня.Конференция будет идти четыре дня: 6–7 сентября в онлайне и 13–14 сентября в Москве с возможностью подключиться онлайн.Если хотите поделиться опытом в инженерии данных — подавайте заявку на выступление.С вас только материал и желание выступить, а организаторы помогут на всех этапах — от идеи до выступления: доработают с вами материал, проведут репетиции и дадут рекомендации по выступлению.Можно выбрать любой формат выступления — доклад, воркшоп, интервью, обсуждение, BoF-сессию или придумать что-то свое. Тему для выступления можно выбрать из списка, а можно предложить свою.Подать заявку можно на сайте SmartData.

Внимание, внимание! Все, кто пишет код на Python — важное сообщение от организатора IT онлайн-конференций Podlodka Crew: первая конференция Podlodka Python Crew стартует уже 22 мая!Тема сезона: «Асинхронность». Участники получат возможность рассмотреть эту непростую и многослойную тему с разных сторон вместе с экспертами из Точка, ЛитРес, Novakid, winePad GmbH и других компаний:🟡 Узнают основные принципы asyncio, способы не выстрелить себе в колено, используя асинхронщину в продакшене;🟡 Разберут реальные кейсы использования asyncio в проекте с CPU-bound операциями и работе с легаси;🟡 Обсудят с другими участниками альтернативы asyncio и их преимущества, организацию конкурентности в других се…

Аналитик - разработчик#вакансия #Москва #гибрид #middle #seniorYandex Cloud — это облачная платформа, которую используют тысячи компаний и предпринимателей, от технических специалистов до международных корпораций. Наши сервисы позволяют быстро и просто получить доступ к современным технологиям обработки и хранения данных – виртуальным машинам, управляемым базам данных, распознаванию и синтезу речи.Мы ищем аналитика-разработчика. Ждём вдумчивых кандидатов с глубокими знаниями Python и желанием развиваться в сфере аналитики.Что нужно делать:— собрать юнит-экономику бизнеса;— заниматься построением прогнозной модели бизнеса (бизнес-моделирование процессов, форкастинг временных рядов);— работат…

Аналитик в 360#вакансия #Москва #Армения #Казахстан #Сербия #гибрид#middle #seniorЯндекс 360 — это набор сервисов для решения повседневных задач: от хранения личных воспоминаний до деловой переписки в любое время и на любом устройстве.Команда аналитики Яндекс 360 ищет сильного и инициативного аналитика, который взял бы на себя роль эксперта по экспериментам. Вы будете вместе с нами развивать функциональность наших сервисов и улучшать их, основываясь на анализе данных, помогать команде внедрять только те изменения, которые несут понятную и доказанную пользу для продукта и бизнеса.Что нужно делать:— формировать приёмочные метрики для A/B-тестов, выбирать необходимый размер выборки, ограничени…

pandas 2.0Вчера вышла новая мажорная версия pandas — 2.0.0В новую версию добавили бэкенд Apache Arrow для повышения производительности. Более подробно про изменения можно прочитать в статье pandas 2.0 and the Arrow revolution.

📊 Как построить и прокачать систему аналитики интернет-магазина от базового уровня до Enterprise? Расскажем на вебинаре ⏰ Когда: 16 марта, 17:00 по Москве📍 РегистрацияНа каждом из этапов развития бизнеса компании требуется определенный технологический стек для работы с данными. На вебинаре рассмотрим построение систем аналитики разных уровней сложности для интернет-магазинов в облаке. Вы узнаете, как собрать решение с базовым набором инструментов, развить его до продвинутого уровня и затем построить решение «промышленного класса». Подробно разберем стек технологий и обсудим архитектурные схемы решений для анализа продаж, маркетинговой аналитики, управления ассортиментом, ценообразованием, а…

Тимлид в команду продуктовой аналитики Yandex CloudYandex Cloud — это облачная платформа, которую используют тысячи компаний и предпринимателей: от технических специалистов до международных корпораций. Мы ищем тимлида.Что нужно делать:- руководить командой продуктовых аналитиков;- анализировать поведение клиентов: как оно меняется в разных каналах коммуникации;- исследовать тренды потребления продуктов, применения возможностей и операционных метрик;- создавать управленческие отчёты и дашборды с данными о клиентах и продуктах;- находить точки роста и улучшать бизнес-показатели, выдвигать гипотезы и проверять их, участвовать в развитии сервисов;- взаимодействовать со смежными командами аналит…

Стать сотрудником Яндекса быстрее и проще, чем кажется. Участвуйте в днях быстрого найма: решите тестовое, пройдите несколько секций собеседования и получите офер за несколько дней.Теперь дни быстрого найма будут проходить регулярно. Чтобы вам было удобно следить за расписанием, собрали его на отдельной странице.Ближайшие мероприятия:• 4-5 марта — Fast Track для разработчиков пишущих на Python и Java, офер за 2 дня в команду HR Tech Яндекса.• 4-5 марта — Fast Track для разработчиков пишущих на С++ и Python, офер за 2 дня в команду робототехники Яндекс Маркета.• 4-5 марта — Fast Track для дата инженеров и разработчиков платформы, аналитиков со знанием Python и SQL, офер за 2 дня в команду DW…

Видео про архитектуру PostgreSQL: https://www.youtube.com/watch?v=Q56kljmIN14

Знакомы слова SQL, ETL, DWH?Тогда у вас есть возможность получить оффер за выходные в команду Тинькофф!За прошлый год экосистема Тинькофф выросла в два раза — продуктами компании пользуются уже 28 млн клиентов. В связи с этим расширяется дата-команда: нужны дата-инженеры, системные аналитики DWH и разработчики ETL с опытом работы больше двух лет.Пройти собеседование можно онлайн за выходные — на Data Weekend Offer. Если все хорошо, вы получите оффер уже в понедельник.Ближайшее мероприятие 11-12 марта. Успейте подать заявку до 7 марта.

💣 Собираетесь переходить в дата-инжиниринг? 🚀 Присоединяйтесь 7 февраля в 20:00 мск на открытый урок онлайн-курса «Data Engineer» в OTUS. 🟠 Тема вебинара — Clickhouse vs. Greenplum. Какую MPP базу данных выбрать?❇️ Вы узнаете:🔸 Что такое MPP-БД на самом деле🔸 Познакомитесь с различными представителями таких систем🔸 Разберетесь, когда и в каких случаях стоит выбирать каждую из них🔸 На практике изучите наглядные примеры работы БД Clickhouse и Greenplum💻 Спикером выступит Алексей Железной, преподаватель курса и Data Engineer в компании Wildberries.🔥 Пройдите вступительный тест, чтобы участвовать: https://otus.pw/GxBr/Реклама. Информация о рекламодателе на сайте www.otus.ru.

🔥 Хотите перейти в область дата-инжиринга и работать с большими данными? 👉 Сделайте первые шаги в этом направлении на открытом уроке онлайн-курса «Data Engineer» в OTUS! 27 января в 20:00 мск пройдет вебинар «Elasticsearch как NoSQL хранилище документов». Глубокое понимание этого инструмента — ключевой момент для его правильного применения.💻 В результате урока вы:🔸 Изучите классификацию NoSQL СУБД🔸 Узнаете про отличительные черты Elasticsearch и его применимости к разным задачам🔸 Узнаете, почему Elasticsearch — одних из наиболее популярных инструментов для создания поисковых датасетов в современном мире🔸 Поймете, чем так хорош Elasticsearch и задумаетесь об его внедрении в вашей команде🟢 Чт…

Чтобы поиграть с БД ClickHouse отныне её не нужно устанавливать себе, появился официальный ClickHouse FiddleДока про сам проект: https://clickhouse.com/blog/clickhouse-fiddle-sql-playground

⚡️ CockroachDB vs YDB vs YugabyteDBНашли ультимативный гайд по базам данных на английском языке.В статье 🇬🇧• исследование БД на основе популярного бенчмарк-теста YCSB;• «сравнение яблок и апельсинов» или небольшая ретроспектива в историю исследований баз данных SQL;• проверка производительности БД на разных сценариях.Есть ли одна лучшая СУБД SQL, узнайте по ссылке 😉#реклама

Вот и у Apple вышел AR. Посмотрим скоро, можно ли реально работать в нем или нет, или снова немножко buzz words.Microsoft HoloLens AR- фигняOculus Quest VR - фигняValve headset VR - фигняApple AR - ? Тут вообще важно правильные термины использовать.VR - мы смотри в маленький телевизор (экран), а вот AR - мы смотрим сквозь. Я как то пытался записать видос для Data Learn в HoloLens, но так все тормозило и было криво, что забил.Говорят, в VR взрослый контент хорошо заходит, но не пробовал еще, интересно в AR там как с этим?!

The Position of Fuck You - очень удобная позиция, stress free, так сказать.

Офигенный пост про то, как давать talks, то есть делать презентации. Я уже давно на своем опыте понял, что презентация должны быть веселыми, с шутками, картинками и мемами, чем проще, тем лучше. Люди хотя отдохнуть, развлечься или отвлечься. Поэтому грузить их нудятиной - ну такое... Но 95% выступлений именно такие 😬 бесполезные, скучные, waste of time. Поэтому, если есть возможность выступать перед аудиторий, постарайтесь не грузить людей, доставьте им удовольствие. Мое собственное самое любимое выступление было в Москве, в Mailru - Как технологии помогают Amazon быть самой клиентоориентированной компанией на Земле? Я очень действительно потратил много времени на подготовку, и на контент, …

Аналитика данных - это не только о числах и создании дашбордов. Это о понимании бизнес-контекста, задавании правильных вопросов и интерпретации данных в бизнес рекомендации и решения.Эффективные аналитики и инженеры обладают сочетанием технической экспертизы, бизнес проницательности и критического мышления, позволяющих преобразовывать сырые данные в пользу для бизнеса.

7 июня пройдёт Alfa Analyze IT Meetup — встреча для системных аналитиков. Основные темы и спикеры:🎯 Как аналитику проще погрузиться в архитектуру?Борис Пишванов и Михаил Салахов, Solution-архитекторы из Альфы, расскажут, почему может твориться «дичь» на проекте и как из неё приготовить «шашлык» 🎯 Как вести фронтовую документацию рядом с кодомИгорь Савинов, System Analyst, поделится тем, как ведется документация в Альфа-Банке, какие проблемы приходится решать🎯 Метрики эффективности процессов системного анализаС Сергеем Воробьевым, Head of Efficiency Development в Альфе, разберёмся в процессах погружения в компетенции 🎯 Куда расти системному аналитику?Юлия Лебедева, Competency Lead в Сбере, А…

Титаны инжиниринга данных обсуждают How Data Engineers Manage Data At A Hyperscale At FAANGs - The Vs of Big Data

Путь аналитика. Практическое руководство IT-специалистаЛет шесть назад я прочитал эту книгу Веры Ивановой и Андрея Перерва и она показалась мне достаточно неплохой. Плюс книги в том, что авторы довольно структурировано описывает карьерную лестницу аналитика, приводя список требований к каждой из ступенек, а также указывая способы перехода на новую ступеньку. Также в книге есть много указаний на материалы, которые реально стоит изучить. А минусы в том, что ряд моментов, указанных автором, относится к дискуссионным и с моей точки зрения не нужны:) Если говорить про содержание книги, то она состоит из 7 глав, среди которых есть вводная часть, шаги карьерной лестницы аналитика и заключение, а т…

4 часа и вы в теме! Бесплатные курсы от Deeplearning:- ChatGPT Prompt Engineering for Developers- LangChain for LLM Application Development- How Diffusion Models Work- Building Systems with the ChatGPT APIНе уверен, что вам это поможет, но трендово же?!

VK Cloud Conf: как перенести лучшие практики разработки ИТ-компаний в классический бизнес⏰Когда: 8 июня, 12:00📍 Где: Москва⚡️ Last call: успевайте зарегистрироваться на конференцию для руководителей компаний и ИТ-специалистов разных направлений. Регистрация закрывается 7 июня в 12:00В программе:🔹 Как повысить эффективность разработки ИТ-решений с помощью облачных сервисов.🔹Подходы к работе с данными: примеры масштабных дата-решений, особенности и результаты проектов.🔹 Тренды и примеры миграции на российские базы данных.🔹 Лучшие практики облачной безопасности.У вас будет возможность задать вопросы экспертам и узнать мнение коллег из других компаний. Не упустите возможность получить новую инф…

The State of Data Engineering 2023 - еще один landing page, но уже от LakeFS. Я не использовал LakeFS, по-моему это решения для версионности озера данных и работает с различными платформами - Athena, Spark, Kafka, Presto. Если кто использует, расскажите на пальцах, что за штука и зачем? Век живи, век учись! А лучше вебинарчик! Я вообще за любой вебинарчик!🥹В отчете следующие категории:- Ingest - решения для стриминга и batch, ETL/ELT, low-code/no-code/code. Многие решения выглядят знакомыми и популярными. Действительно, все они могут грузить данные из источника в таргет.- Data Lake - решения, которые хранят файлы - Hadoop, S3, Azure Storage и тд. Тоже, все выглядит логично.- Metadata - сост…

Интересная графика, сколько в среднем инженер работает 2 года на одном месте, потому что, если вы останетесь, то вы будете получать на 50% меньше, чем могли бы. Все мы смены работы, обычно на 40%. А когда я сидела в Амазоне 5 лет, я отставал на 80% от рынка. Сидеть хорошо, если у вас есть другие интересы или источники дохода. А иначе, ни денег, ни знаний.

State of the art - замечательный Landing Page, судя по-всему сделан Airbyte. Не знаю насколько можно ему верить, но зарплата в 600к в наши дни для "честных" инженеров, мне кажется, редкость, даже в долине. Хотя после массовых увольнений акции Meta, Microsoft, Amazon пошли вверх. В Канаде, по моим подсчетам, можно за год заработать 600к+ канадских, но как было сказано в видео выше, про стоимость жизни в Канаде, очень обидно отдавать 50% на налоги, при этом содержать бомжей и дармоедов и на дом мечты, да и просто на дом, все равно не хватит. Не будем о грустном, лучше про опрос.В нем поучаствовало 886 человек. Я думаю, что это определенная аудитория, которая использует популярные решения, то …

Orb: новый криптопроект от основателя OpenAI и WorldcoinСэм Альтман, CEO OpenAI, и основатель крипто стартапа Worldcoin, с которым мы активно сотрудничаем в рамках проекта по разработке процессов инжиниринга и аналитики для них, решил приблизить наступление цифровизации общества на еще один шажочек своим новым проектом. OpenAI — это те самые, кто ChatGPT. А, если кто не знает, Worldcoin — это криптовалюта с собственным блокчейном и открытым исходным кодом.Orb: прибор для сканирования радужкиСфера стального цвета, которую вы могли видеть в новостях — это и есть Orb, устройство, которое, просканировав вашу радужку, присваивает вам World ID, своеобразный цифровой паспорт, и делает доступными л…

⚖️ ChatGPT: доверяй, но проверяй 🧑‍⚖️Хотя, возможно, другой заголовок был бы уместнее для сегодняшнего поста: «Подлог в заведомо корыстных целях с использованием ChatGPT». А дело все вот в чем: англоязычный Twitter бурлит тредами о шумной истории, в которой юридическая компания в качестве примеров для суда в рамках одного дела привела кейсы, полностью выдуманные ChatGPT.🔵 КраткоАдвокат Стивен Шварц в деле против авиакомпании, во время рейса которой получил травмы его подзащитный, в качестве примеров аналогичных судебных тяжб привел названия, описания и имена участников дел, сгенерированные ChatGPT. Чтобы упростить суду работу (или, возможно, разъярить судью), он даже сопроводил дело скриншо…

👀 Под утренний кофе: еженедельный дайджест о технологиях, данных и аналитике🔵 На радость таргетологам: чат с ИИ в Google AdsНа днях в блоге Google вышла новость о том, что Google Ads теперь — «умный» сервис, который может сгенерировать текст для рекламы на основе вашего лендинга, изменить заголовок рекламы, чтобы он больше соответствовал поисковому запросу, собрать ключевики, подходящие под ваш продукт, и многое другое. Хочется верить, что рекламные таланты ИИ не навредят обычному пользователю Google и не сделают рекламу в поисковике чем-то, для чего нужен свой AdBlock.🔵 Новая веха для NVIDIA: капитализация превысила $1 триллионИ все благодаря золотой лихорадке, распространенной спорами ИИ:…

Подарок подписчикам: SQL data-аналитик вместо вас на ChatGPT 🚀 Наслушавшись курсов про промпт-инжиниринг, мы c коллегой Егором собрали небольшое решение, которое будет писать SQL-запросы для вашей базы данных вместо вас.Как оно работает?Используя Jupyter ноутбук и ChatGPT API, вы сможете сгенерировать структуру вашей базы данных в формате JSON с помощью нашего скрипта. А затем, используя созданный контекст и описание БД, ChatGPT начнет писать SQL-запросы, как это делает любой аналитик, прошедший курсы Яндекс.Практикума.Круто, где можно найти решение?Код доступен в открытом репозитории, и каждый может забрать его себе. You’re welcome!Кстати, про подобные фишки и примеры кейсов моей компании …

Что происходит за кулисами подкастов? Разбираемся в новом эпизоде Data Heroes! 🦸‍♂️Сегодня мы раскроем все секреты нашего подкаста и расскажем, как мы его создаем. Кроме того, мы пообщаемся с ведущими других известных подкастов, таких как "Data Coffee", "IT-шниками не рождаются" и "Это считается». В этом выпуске Николай и гости поделятся тем, какой путь проходит выпуск от идеи до релиза, поделятся своими фишками и личным опытом. Вы узнаете:🔵Почему Николай записывал первые выпуски в душном автомобиле? 😢🔵Как набрать аудиторию и монетизировать подкаст?🔵Что значит быть подкастером? Сколько очков популярности это дает (и дает ли вообще)?🔵Как успевать работать, жить и делать контент? Что мотивиру…

☕️ Rebooted! Под утренний кофе: еженедельный дайджест о технологиях, данных и аналитике 🗞Не ждали? Или скучали и сгорали от любопытства, когда мы снова начнем выпускать новостные дайджесты? Надеемся, что второй вариант! Возрождаем нашу «кофейную» традицию и угощаем вас порцией свежих новостей.🔵 Microsoft Fabric: новый продукт на основе ИИНа этой неделе разработчики из Microsoft анонсировали релиз предварительной версии своего нового детища, единой интеллектуальной платформы для хранения данных и аналитики Microsoft Fabric. Намеченный в преемники PowerBI, этот многофункциональный «тяжелоатлет» объединит в себе и пространство для данных, и платформу для управления моделями, и аналитический ин…

SETTERS MEDIA — издание для тех, кто согласен на будущееНа этой неделе наши друзья @setters вышли на совершенно новый уровень создания контента — запустились как полноценное медиа о будущем.Медиа о будущем — что это?Теперь их обновленном сайте будут выходить материалы в рамках четырех важных тем:🔵 Дело — истории людей, которые выбирают делать: строить карьеру, запускать бизнесы и развивать команды.🔵 Техно — будущее технологично, поэтому стоит внимательно следить за развитием технологий. 🔵 Тренды — чтобы понять, куда катится мир, нужно наблюдать за тем, что в этом мире обсуждается ярче всего.🔵 Смыслы — то, чего всем нам не хватает — основные идеи в искусстве, психологии и культуре.Причем тут…

Новые вакансии по вашему запросу на сайте: Prompt EngineerРанее мы уже писали про reverse prompt engineering и бесплатный курс по созданию промтов для ChatGPT. А сегодня хотели бы поделиться новостями русскоязычного рынка труда, ведь, как выяснилось, многие из наших подписчиков находятся в России.Если вы введете название вакансии «Prompt Engineer» в поисковую строку hh.ru и снимете ограничение поиска по городу, в котором HH вас «поселил», то увидите не менее 20 подходящих вакансий.Сейчас может быть самое удачное время для того, чтобы освоить новые навыки и влиться в индустрию, пока многочисленные онлайн школы не начали выпускать «сертифицированных» специалистов.А если кто-то уже успел занят…

Инструмент AI Functions для Databricks SQL: на заметку онлайн магазинам (и не только)Зачастую, служба поддержки — один из самых высоконагруженных отделов компании. И у нас есть хорошие новости!В этой статье в блоге Databricks подробно разбирается способ применения модели GPT для оптимизации работы службы поддержки. Подобное взаимодействие с языковыми моделями и встраивание их в рабочий процесс менеджеров, взаимодействующих с обращениями и отзывами клиентов, в ближайшем будущем неизбежно станет новой реальностью, поэтому спешим вас познакомить!Основная идеяAI Functions позволяет использовать весь генеративный и аналитический потенциал языковой модели GPT-3.5 Azure OpenAI прямо внутри Databri…

Перезагрузка блога leftjoin.ru: на старт, внимание, марш!Последний год наш блог был на паузе, так как мы уделяли больше внимания другим проектам. Но делиться информацией в формате статей и лонгридов нам ой как хотелось, поэтому мы приняли решение вернуться!Первая статья уже на сайтеЧтобы стать полноценным медиа о данных и технологиях, мы усердно взялись за блог. И уже выпустили первый материал — обзор на достаточно свежую базу данных Hydra (нет-нет, ничего общего с почившим маркетплейсом в даркнете). В статье мы расскажем о её основных особенностях, составим запросы для решения нескольких задач и сравним время их выполнения.Ну, что ж, с перезапуском нас! 🔥P.S. Делитесь в комментариях, как в…

Автор книги «Пиши, сокращай» ОЧЕНЬ нервно курит

Reverse Prompt Engineering или «Верни все, как было!»Знаете, кто такой «засланец»? В кино это пришелец, который попадает на Землю и живет среди людей, не раскрывая своей натуры. Мы к чему: судя по буму статей, публикуемых в англоязычных источниках, «засланцев» в мире контента скоро станет очень много.А спонсором такого натиска являются, конечно же, языковые модели. С этим фактом остается только смириться, но что если хочется не просто плавать в этом океане контента, сгенерированном AI, но и самому седлать волну и стоять у штурвала?И вот тут-то и возникает необходимость в таком приеме по работе с языковыми моделями, как reverse prompt engineering. Какие возможности он открывает?🔵 Узнать, как…

Это Data Heroes и мы… немного волнуемся 😌Потому что сегодня мы пробуем совершенно новый формат подкаста — интервью с гостем! В этом эпизоде Николай пообщается с Владимиром Шаровым — со-основателем международной компании в области IT-консалтинга Navicon.Владимир поделился с нами историей своего пути в бизнесе и того, как Navicon стал одной ведущих компаний в своей нише. Вы узнаете:🔵Как компания выходила из кризисов (а их было аж 3!)? 🔵Как строили бизнес раньше, когда не было коучей и тренеров по бизнес-мышлению?🔵В чем главный ингредиент успеха Navicon?🔵С какими трудностями могут столкнуться начинающие руководители и как к ним подготовиться?🔵Кто такой хороший руководитель и как им стать?И, ко…

2023: год ChatGPT. И курсов по ChatGPTChatGPT продолжает штурмовать заголовки новостей и уже стал самым частым инфоповодом, связанным с ИИ. Один за другим появляются онлайн курсы. Недавно я наткнулся на один такой, который советую к прохождению, «Бесплатный курс по ChatGPT».Курс AIacademy содержит полезные инсайты, которые пригодятся тем, кто планирует работать с ChatGPT. Лектор курса Илья Мартын вообще порадовал тем, как он вежливо общается с чат-ботом. Вы только взгляните на отрывок!

SQL-рецепт: Сравнение с соседямиПредположим, мы хотим сравнить каждую запись с соседними. Например, сравнить продажи за месяц с предыдущим месяцем или с аналогичным месяцем в прошлом году.Решение — использовать функцию lag() поверх SQL-окна.ПримерСравним расходы компании от месяца к месяцу в абсолютном выражении:select year, month, expense, expense - lag(expense) over w as difffrom expenseswindow w as ( order by year, month)order by year, month;year mon exp dif2020 1 82 2020 2 75 -72020 3 104 292020 4 94 -102020 5 99 52020 6 105 62020 7 95 -102020 8 110 152020 9 104 -6lag(value, offset) возвращает значение value из строки, отстоящей на offset строк назад от текущей. По умолчанию offset равн…

Кодирование данных в SQLiteВсе знают про шестнадцатеричное кодирование (hex):select hex('hello');-- 68656C6C6Fselect unhex('68656C6C6F');-- helloНо есть и другие способы.Base32:select encode('hello', 'base32');-- NBSWY3DPselect decode('NBSWY3DP', 'base32');-- helloBase64:select encode('hello', 'base64');-- aGVsbG8=select decode('aGVsbG8=', 'base64');-- helloBase85:select encode('hello', 'base85');-- BOu!rDZselect decode('BOu!rDZ', 'base85');-- helloURL-кодирование:select encode('hel lo!', 'url');-- hel%20lo%21select decode('hel%20lo%21', 'url');-- hel lo!И все они теперь доступны в SQLite с помощью расширения crypto.

Неподдерживаемые фичиНекоторым фичам SQL-стандарта уже больше 30 лет, а они до сих пор не реализованы (и, вероятно, никогда не будут).Например, стандарт разрешает накладывать условия на таблицу целиком, но СУБД это не поддерживают.Есть таблица сотрудников:create table employees ( id integer primary key, name varchar(50), salary integer);Накладываем условие «зарплатный фонд должен быть меньше 3000»:create assertion salary_fundcheck ( 3000 > (select sum(salary) from employees));И получаем:error: CREATE ASSERTION is not yet implemented🤷‍♀️

SQL-рецепт: Сегментация данныхПредположим, мы хотим разбить данные на несколько сегментов, ориентируясь на значения в столбцах.Решение — использовать функцию ntile() поверх SQL-окна.ПримерРазобьем сотрудников из таблицы employees на три группы в зависимости от размера зарплаты:— высокооплачиваемые,— средние,— низкооплачиваемые.select ntile(3) over w as tile, name, salaryfrom employeeswindow w as (order by salary desc)order by salary desc, id;t sal name1 120 Иван1 104 Леонид1 104 Марина1 100 Анна2 96 Вероника2 96 Григорий2 90 Ксения3 84 Елена3 78 Борис3 70 Дарьяntile(n) разбивает все записи на n групп и возвращает номер группы для каждой записи. Если общее количество записей (10 в нашем случ…

Выпуск «Подлодки» про SQLВышел новый эпизод лучшего айтишного подкаста Podlodka, полностью посвященный SQL! Вместе с ведущими Катей и Стасом обсудили широкий спектр тем, посвященный языку — от самых основ до новейших фич 2023 года.Получился очень насыщенный тур по SQL. Даже если отлично знаете его — наверняка найдете для себя что-нибудь новенькое. Мне очень понравилось (но я тут, конечно, не объективен).Выпуск на 2+ часа, так что вот темы с таймкодами, чтобы лучше ориентироваться:0:00 Что такое SQL. Почему SQL прекрасен. Зачем SQL разработчику. Стандарт SQL.15:20 Базовый SQL. DDL и DML. Джойны.22:12 Транзакции. Что это и зачем. ACID. Изоляция. Уровни изоляции.45:53 Быстродействие. Фулсканы …

SQL-шпаргалкаОбычно не публикую материалы совсем уж для начинающих, но сегодня исключение.Сделал шпаргалку по SQL-селектам для всех, кто знал, но подзабыл. Примеры интерактивные, можно заодно и потренироваться.https://antonz.ru/sql-cheatsheet/

SQL-рецепт: Ранжирование строкПредположим, мы хотим создать рейтинг, в котором позиция каждой записи определяется значением одного или нескольких столбцов.Решение — использовать функцию rank() поверх SQL-окна, упорядоченного по целевым столбцам.ПримерОтранжируем сотрудников из таблицы employees по зарплате:select rank() over w as "rank", name, department, salaryfrom employeeswindow w as (order by salary desc)order by "rank", id;r sal name1 120 Иван2 104 Леонид2 104 Марина4 100 Анна5 96 Вероника5 96 Григорий7 90 КсенияФункция rank() присваивает каждому сотруднику ранг в соответствии с его зарплатой (order by salary desc).Обратите внимание, что сотрудники с одинаковой зарплатой получили одина…

Тут вопрос на английском, но по-русски тоже понимает

SQL-консультант в песочницеКому-то нравится заставлять искусственный интеллект делать всякую дичь, ну а я предпочитаю более практичное и полезное применение.Поэтому с сегодняшнего дня в SQLite-песочнице заработала функция «Ask AI».ИИ может объяснять, исправлять и комментировать ваш SQL — не покидая песочницы:➊ Напишите вопрос в виде комментария перед SQL-запросом.➋ Нажмите кнопку «Ask AI».➌ Получите не очень быстрый, но часто полезный ответ от ИИ.Попробуйте! Все, что нужно — API-ключ для OpenAI.https://sqlime.orgP.S. Если API-ключа у вас нет, задать вопрос всегда можно в нашем чате @sqliter_chat. ИИ там тоже иногда отвечает, ну и не только он ツ

regexp_captureЧастая задача в регулярках — извлечь конкретную группу вместо всего совпадения.Например:— строка = 'abc'— паттерн = 'a(.)c'— группа 1 = 'b'regexp_substr в Oracle и MySQL так не умеет, а Postgres требует указывать 4 дополнительных параметра.Поэтому для SQLite я запилил отдельную функцию regexp_capture, которая делает ровно это — извлекает конкретную группу из совпадения:select regexp_capture('abc', 'a(.)c', 1);-- b

Интерактивные SQL-примерыЕсть новость для всех поклонников SQL 🙂1.5 года назад я сделал онлайн-песочницу для отладки и шеринга SQL-запросов. С тех пор постоянно использую ее, для обучения и преподавания.Но кое-чего не хватало.Я хотел, чтобы была возможность превратить любую статью или заметку в блоге в интерактивную SQL-песочницу.Чтобы читатели могли отредактировать запрос и посмотреть, как изменится результат. Или даже попробовать собственные запросы.Я хотел интерактивные SQL-примеры в браузере.И в итоге их сделал!Теперь каждый может превратить статичные SQL-запросы в статье, заметке или веб-странице — в интерактивные примеры.Что особенно приятно, это требует минимальных изменений в HTML-к…

Новые уроки по оконным функциямДля выпускников курса по окошкам — вышли три новых урока:— Мат. статистика. Изучаем относительный ранг, медиану и процентили.— Острова и кластеры. Объединяем похожие значения в группы.— Очистка данных. Удаляем дубликаты и заполняем пропуски.Приглашаю попробовать!

Импорт-экспорт в SQLiteНаписал небольшое руководство по импорту и экспорту данных в SQLite:— Загрузить JSON-документ из файла.— Построчно прочитать текстовый файл.— Построчно записать результаты выполнения запроса в файл.— Импортировать файлы из каталога.https://antonz.ru/sqlean-fileio/

Работа с файлами в SQLiteУ SQLite есть расширение для работы с файлами с такими функциями:— readfile(path)— writefile(path, data)Они читают или пишут файл одним куском, что плохо подходит для больших файлов.Чтобы работать с файлами было удобнее, я сделал расширение fileio с парой дополнительных функций:fileio_scan(path)Построчно читает файл:select rowid, value, namefrom fileio_scan('hello.txt');fileio_append(path, str)Дописывает строку в файл:create table hello(value text);-- insert some dataselect sum( fileio_append( 'hello.txt', value||char(10) )) from hello;Теперь можно работать с файлами построчно, экономя память!

Ну очень грубая (примерно как π = 3) иллюстрация того, как работает поиск по индексу

👉Присоединяйтесь к нашему сообществу Data Analyst REBRAIN, если вы интересуетесь аналитикой данных, управлением проектами или маркетингом. У нас для вас есть множество открытых онлайн-практикумов каждый месяц, которые проводят профессиональные аналитики. В рамках практикумов мы разбираем реальные кейсы анализа данных с использованием самых актуальных инструментов, таких как Python, SQL, Tableau, бизнес-метрики и визуализация данных, статистика, теория вероятностей и другие. Уровень сложности и направление каждого практикума подобраны таким образом, чтобы каждый мог найти для себя интересные задачи и развиваться в соответствии с уровнем своей компетенции. ✔️ Подключайтесь к нам уже сегодня и…

В сервисе Yandex Data Proc стало доступно создание управляемых кластеров Hive Metastore (Public Preview)Hive Metastore связывает разнородные ETL-системы и инструменты для работы с общими данными и упрощает их развёртывание. Кластеры Metastore управляют табличными метаданными объектов, которые находятся в бакетах Object Storage.Теперь решать задачи подготовки и очистки данных, создания хранилищ и предметно-ориентированных витрин данных стало проще.➡️ Подробнее о новинке и о том, как первым получить доступ по ссылке

Мои хорошие знакомые из eLama ищут человека на позицию руководителя отдела аналитикиeLama — это единая платформа для управления интернет-рекламой. Они объединили рекламные системы в один личный кабинет, создали около 30 собственных инструментов, что позволило сделать жизнь рекламодателей намного прощеЧто предстоит на этой позиции:🟢развивать команду аналитиков, состоящую из Data engineers, data analysts, BI analysts, product analysts: проводить оценки производительности, обучать и менторить сотрудников для достижения оптимальных результатов и развития их профессионального потенциала;🟢управлять аналитическим отделом из 14 человек: формировать стратегии, планировать и выполнять аналитические п…

Ещё вчера они отвечали за код и технологии, а сегодня в их подчинении специалисты, к которым никто не приложил инструкцию. Да, быть начинающим управленцем в IT — рискованно, но интересно. Открывается много новой информации и определений.Насчёт определений — в карточках собрали несколько ключевых, которые познакомят вас с профессией руководителя в IT поближе. А по поводу новой информации: в Практикуме появился курс по управлению командой разработки с воркшопами, личными консультациями и интерактивным учебником. Пройдите первый бесплатный урок

Продакт-менеджер + ИИ. На входе идеи, на выходе — деньгиИИ позволяет делать резюме встречи за 1 минуту, анализировать рынок — за 5, создать десяток проработанных гипотез улучшения продукта — за 15; и аудит продаж — за 30. А если вооружить его фреймворками — JTBD, Riskiest Assumption Test, Growth Hacking, Юнит-экономикой; добавить туда продуктовую аналитику, тестирование каналов продаж и стратегии выхода на рынок — получиться адронный коллайдер для запуска и развития продуктов. Быстрый и дешевый — как вы и мечтали.С 3 июня начинаем собирать его из ИИ-сервисов и палок. Каждый для себя. Возьмем идею продукта (вот список), найдем клиентский сегмент, создадим MVP, протестируем каналы продаж, пол…

#полезноВебинар «Введение в рекомендательные системы»🔥1 июня на YouTube канале пройдёт вебинар на котором раскроется одна из самых важных и популярных задач, которым приходится заниматься сейчас специалистам по анализу данных.👨🏻‍🏫Спикер: Дмитрий Шипилов, более 3-х лет ex. Data Scientist в Х5 Group, сейчас Data Scientist и аналитик в JobToday.com.Что разберём:🔹Где обычный пользователь сталкивается с рекомендательными системами.🔹Какие подходы к решению этой задачи бывают.🔹Как новичку попробовать построить свою первую рекомендательную систему для портфолио.Где и когда?🧑🏻‍🎓 1 июня.⏰ Онлайн в 19.00 по Мск. Трансляция на YouTube канале.

Привет! Предлагаем вашему вниманию подборку интересных статей из области Анализа данных: ▪︎ Какая бывает аналитика: предиктивная, описательная и еще 2 вида аналитики больших данных ▪︎ 10+ книг по аналитике данных для начинающих и не только ▪︎ Анализ больших данных в Excel: используем сводную таблицу для работы с BigQuery, Snowflake и ClickHouse ▪︎ Технологии big data: как анализируют большие данные, чтобы получить максимум прибыли ▪︎ Что такое бессерверный SQL? И как использовать его для анализа данных? ▪︎ 30 лучших инструментов больших данных для анализа данных ▪︎ БАЗОВЫЕ ВОЗМОЖНОСТИ ЯЗЫКА PYTHON ДЛЯ АНАЛИЗА ДАННЫХ ▪︎ Как создать простой SQL запрос на выгрузку данных из базы ▪︎ Сбор, консо…

Принёс вам подборку каналов и чатов с вакансиями для аналитиков, data scientists и дата-инженеров🟢 Datalytics Jobs — Канал с вакансиями для DA, DS, DE🟢 Работа ищет аналитиков — Пожалуй, самый большой чат с вакансиями для аналитиков. Не только вакансии, но и чат, где можно обсудить наболевшие вопросы🟢 Business Intelligence HeadHunter — Вакансии для BI-аналитиков и не только🟢 Job for Analysts & Data Scientists — Вакансии для Digital-аналитиков и Data scientists от NewHRЕщё больше каналов доступно в папке — https://t.me/addlist/5bF19kBJLrI0NTQy

Конференция по продуктовой аналитике Aha!’23 пройдет 30 мая в МосквеПрактическая конференция по продвинутой продуктовой аналитике и marketplace effiency состоится 30 мая на площадке Центра делового предпринимательства. Среди спикеров конференции представители крупных компаний: Avito, Яндекс, Тинькофф, Мегафон, МТС, OZON и др. Целевая аудитория — продуктовые аналитики и менеджеры, директора по маркетингу, ML-специалисты.Ключевые темы конференции: продуктовые эксперименты, a/b-тестирование, модели монетизации, surge pricing, supply & demand balance, ranking and personalization, network effects, экономика и оптимизация.С подробной программой конференции можно ознакомиться по ссылке В конференц…

Для всех, кто интересуется AI, нейронными сетями, машинным обучением, - мы собрали папку с материалами, как для новичков, так продвинутых датасаентистов.Мы с авторами известных каналов, на каждый из которых я подписан более года подготовили для вас вот эту прекрасную ссылку: https://t.me/addlist/2Ls-snqEeytkMDgyПолезные материалы от разбора алгоритмической базы до продвинутых гайдов по нейроесетям, лайфаками с кодом.Сохраняйте себе и отправляйте друзьям, в этой подборке каждый найдет что-то для себя: https://t.me/addlist/2Ls-snqEeytkMDgy

Ребята из Авито ищут аналитиков в кластеры Trust and Safety и Business Security.Открыты позиции:➡️ Команда жилой недвижимости➡️ Команда модерации➡️ Команда рейтингов и отзывовИз приятного: • Много качественных данных, мощная инфраструктура и инструменты, любое необходимое железо — всё готово для продуктивной работы; • Возможность влиять на бизнес и развитие продукта; • Прозрачная система премий, достойная зарплата — размер обсудим на собеседовании; • Личный бюджет на обучение — книги, курсы и конференции; • ДМС со стоматологией с первого дня, в офисе принимают терапевт и массажист; • Возможность совмещать работу из дома и комфортного офиса в 2 минутах от «Белорусской» с панорамным видом на …

Курс «Английский для аналитиков» Яндекс ПрактикумаДля специалистов, которые хотят изменить свою профессиональную жизнь и работать в международной команде. Обучение построено вокруг рабочих ситуаций и полезных для карьеры навыков:🗣 Самопрезентация. Рассказ о своей роли, задачах, сфере ответственности на поведенческом интервью и в неформальной беседе.🙌 Работа в команде. Стендапы, планирование спринтов, демонстрация навыков командной работы на собеседовании.👨‍💻 Общение с заказчиками и исполнителями. Сбор требований у стейкхолдеров и постановка задач для разработчиков.📈 Презентация результатов работы. Выступление на митапах, неформальное общение с коллегами из отрасли.📝 Обсуждение решений по пр…

Часто на Hadoop-кластерах не хватает ресурсов. Когда некоторые аналитики просят огромное количество ядер и памяти для своих Jupyter-ноутбуков, другие участники вообще не могут получить ресурсы. Это очень тормозит рабочие процессы. Узнали, согласны?Александр Ледовский, тимлид команды аналитики и DS в Авито, делится опытом использования Apache Spark для работы с поисковыми логами.Всё, что нужно знать аналитикам, дата-инженерам, специалистам по обработке больших данных и тимлидам команд, чтобы задавать параметры Spark-сессии и получать ресурсы.Переходите и читайте по ссылке.Реклама. ООО «Авито Тех». LdtCKHdyF

Все очень любят опросы и обзорыhttps://state-of-data.com/Почему? Потому что это собирает больше всего просмотров. Сначала я хотел написать свои наблюдения по поводу этого State of Data 2023 отчета, но потом увидел, что Дима уже сделал это, а дублировать контент ради контента мне не особо хочется.Ничего нового, ничего необычного, “ходуб умер”. Если очень хочется потратить время, то результаты можно посмотреть.Ладно, одно наблюдение. Ты можешь быть класным инженером, но сделать так, чтобы графики были читаемыми и с них можно было считать легко информацию - это отдельный навык.Тут у ребят такая мешанина с осями и цветами, что становится очень больно[email protected]

https://github.com/modularml/mojoГоворят, тут у Rust и Python случился ребенок в виде нового, хайпового языка программирования под названием Mojo. То есть там концепции и скорость Rust, а еще можно спокойно притаскивать модули Python:You can import and write normal Python modules/packages and code.It looks and feels like Python.Mojo wants to bring “systems programming” to Python.Mojo adds `let` and `var` function declarations to give immutability, or not.Mojo adds those famous `structs`.The ability to have static typing/checks at compile is available.Addition of `fn`s instead of `def`s for more immutable, static, and generally stricter methods.Mojo brings the concepts of borrowing and owner…

Передаю привет Viz команде, которую очень люблю 😂@ohmydataengineer

А ты шо, теперь деврел?Расходился я тут по подкастам, это второй за последний год и, скорее всего, не последний, но ребята из Подлодки пока реагируют как типичный работодатель: мое отклик, прочитали, но не ответили 🤪 С Евгением из @general_it_talks “Тимлид Очевидность” мы знакомы давно, поэтому когда он предложил пообщаться за интересную тему - с удовольствием пришел. Евгений и Виктор ведут подкаст “Кода кода” и мы говорили про “Плохой Код VS Чистая Архитектура”. Вышло очень хорошо.Кстати, в эту же тему дров подкинул Кирил Мокенвин (создатель Hexlet.io) - https://habr.com/ru/articles/508876/ - Вероятно, хватит рекомендовать «Чистый код». Да, на Хабре, но большей РФ площадки для IT статей не…

Про дальнейшее развитиеhttps://www.youtube.com/watch?v=wB0ulHmvU7EКлассический вопрос, который мне задавали нескольких последних карьерных консультациях: а что дальше то делать? Куда дальше идти? Куда движется индустрия?Типичная проблема: IC (расти в техлиды, стаффы, принципалы) или менеджеры (тимлиды, ЕМ и вот это все). На деле, конечно, выбор между “индивидуал контрибутер” и “личинкой манагера” это огромная отдельная тема, требующая индивидуально проработки и все, что в общих фразах я могу сказать это “Делайте то, что хотите, а что хотите - не делайте”.Но вот касательно конкретно IC мне очень понравился доклад и статья с Coalesce “Excel at nothing”. Личное ощущение, что в целом, у general…

Сокращения, что, опять?https://www.getdbt.com/blog/dbt-labs-update-a-message-from-ceo-tristan-handy/Я почти и не писал про сокращения, но это произошло в релевантной компании: в этот раз 15% сокращает dbt, задело всех, и инженеров тоже.Из примечательного, в 2020 году компания была 20 человек, в 2021 - 50, а в 2023 - почти [email protected]

Еще немного бубнежа про Modern Data Stackhttps://www.rudderstack.com/assets/the-data-maturity-guide.pdfПродолжая разговор про modern data stack, у ребят из Rudderstack (rudderstack.com, cloud data platrofm) на своем сайте рассказывают, насколько этот ваш MDS сложная концептуальная штука, ничего не понятно и очень много всяких иконок, в том числе их самих. Ключевая цитата там звучит вот так:Let’s be honest. The modern data stack is an ambiguous concept. It’s confusing and impractical. What we need is a real-world roadmap to help us progressively build more mature data functions. So we developed a practical four-stage framework to guide you along your journey to data maturity.Поэтому за емейл…

Alerts Fatigue в качестве данныхhttps://www.youtube.com/watch?v=hxvVhmhWRJA&Неплохое видео с последнего(?) Coalece: про то, что тестируют в данных. Assumption (предположение что мы ожидаем увидеть) или Assertion (что мы зафорсили в коде). Неплохой рассказ про то, как у людей устроено DQ и как они задолбались получать уведомления о плохом качестве данных. Для себя подсмотрел интересную штуку, которая называется Elementary - OOS Data Observability поверх [email protected]

Ох, сколько интересных вещей я через git blame нашел. И еще в эксельке 😂@ohmydataengineer

ChatGPT прям в IDEНа деле, конечно, было уже пару десятков плагинов, которые встраивали функциональность ChatGPT в IDE, но я решил не пользоваться ими, довольствуясь лишь GitHub Copilot. Очень хорошо ускоряет разработку, особенно если ты понимаешь, что ты делаешь 🤪Относительно недавно Github аннонсировали Copilot X с функцией подключения и общения с ChatGPT прямо в IDE. Прям в IDE тыкаешь в строчки кода и говоришь “Помоги мне поправить это дерьмо” и тебе рефактор предложат, сверху тестов накатят…Осталось только ChatGPT для коммандной строки и все будет шикардос… oh, wait! Это уже тоже есть тут!Короче, залезть в бету продвинутой версии - вот тут https://github.com/features/preview/copilot-xP…

Шо там по зарплатам?https://medium.com/@mikldd/europe-data-salary-benchmark-2023-b68cea57923dДля тех, кто планирует релокацию в Европу (если что, это не про “большие бабки”), полезно знать какие-то ориентиры на рынке, даже не смотря на то, что рынок очень динамичный, разный, вот это все. Очередное исследование рынка и вот забаный момент из него (графички тоже внутри есть по ссылке):В Германии платят в среднем меньше, например 75% перцентиль в Амстердаме, Лондоне и Дублине платит на 50% больше, чем в Германии. Правда, Амстердам и так большой хаб, Лондон просто жутко дорогой, а Дублин, кажется, сильно перекошен зарплатами Амазона.Ну а так:Junior: Медиана $70k и только в бигтехе переваливает з…

Ща мы dbt притащим в проект и все полетит! 😂@ohmydataengineer

Про базовые концепции тестирования в данныхhttps://www.datafold.com/blog/the-state-of-data-testingЕсли вы находитесь на начальной стадии принятия и внедрения тестирования ваших данных, самые базовые концепции и примеры - это то, что вам нужно: Data Accuracy, Data Completeness, Data Consistency, Data Integrity.Это скорее базовый уровень, но для начала хватит. А еще можно тыкнуть в твиты автора и посмотреть, а что же другие делают для тестирования данных. Например, клевый ответ “Метод пристального взгляда” (мы так уравнения в 7 классе решали по математике: внимательно смотришь на пример и видишь ответ). Так и тут, скролишь всю табличку, видишь какую-нибудь фигню, значит что-то не то[email protected]…

Что там с modern data stack?https://mattpalmer.io/posts/hot-takes/Ох уж сколько мне этих статей попадалось и продолжает попадаться! Кто-то продолжает восхвалять, а кто-то начинает ругать уже все подряд. Очередной взгляд на вещи, короткая выдержка оттуда- у dbt нет некоторой функциональности, например column level lineage, которое ей не позволяет стать лучшим инструментом- Редшифт скатился и больше не конкурент- DWH все также сложно- Airflow - окаменелое устарелое 💩. А Airbyte - еще хуже. Поэтому пользуйтесь Mage (https://www.mage.ai/). Его активно форсит пара известных блоггеров, якобы это замена Airflow. Кто-нибудь пробовал?В общем, как всегда, полезно узнать мнения в других пузырях, но св…

Having extensive experience with Looker and dbt I've got several thoughts on⚡️ Replacing Looker with Cube + Superset ⚡️🔸 Future of BI and Analytics revolves around declarative metrics store and polyglot serving— You set your metrics simple way, in a single store and version control them— You then consume these metrics from wherever needed (BI, SQL, Apps, REST API)🔸 Cube is a powerful rival to Looker— Both support: Declarative Metrics, Dynamic SQL generation, Caching, RBAC— Cube is Open Source while Looker is a vendor lock-in (which is tying your options and opportunities)— Cube offers freemium plan while Looker is top-tier in terms of pricing🔸 Cube still has got many things to improve— Look…

Семантический слой для Аналитики ключевых метрик – dbt Metrics vs. Cube🔸 Что такое семантический слой, и в чем разница между Метрикой и Витриной данных.🔸 Пути формирования метрик: SQL (ad-hoc), UI, dbt Metrics, Cube.🔸 Примеры декларативной конфигурации в YAML и использования метрик.🔸 На что обращать внимание при выборе решения: Стек технологий, Доступность vs. Выразительнось, Гибкость vs. Скорость.В продолжение последней темы - для тех, кто любит читать.Читать на Habr →

❗Ссылка на трансляцию: https://www.youtube.com/live/S7U2VTe06tE?feature=share ❓Вопросы задавайте в комментарии к этому посту либо через чат: https://otus.ru/lessons/event-chat/2847/

❗Ссылка на трансляцию: https://www.youtube.com/live/S7U2VTe06tE?feature=share❓Вопросы задавайте в комментарии к этому посту либо через чат:https://otus.ru/lessons/event-chat/2847/

Аналитика ключевых метрик компании: dbt Metrics / Cube.js / LookMLПривет! 25 апреля Вт в 20:00 проведу вебинар на YouTube.Рассмотрим на практике грани интересной темы:🔸 Что такое семантический слой, и в чем разница между Метрикой и Витриной данных🔸 Пути формирования метрик: SQL (ad-hoc), dbt Metrics package, Cube.js, LookML (Looker)🔸 Примеры декларативной конфигурации dbt metrics в yaml🔸 Как использовать продвинутые возможности dbt Metrics (derived metrics, secondary calculations)Важные выводы и идеи при выборе решения:🔸 Open source solutions vs. Vendor lock-in🔸 Flexibility vs. Speed tradeoff (online queries vs. pre-materialized)🔸 Access vs. Expressiveness (in-depth features vs. ease of use…

What I value most in BI tool❄️ I use Looker and totally satisfied with it.Here's my list of features labeled with (H)igh, (M)edium and (L)ow priority and grouped by:— Developer experience— User experience— Administration— Monitoring, System activity— Integrations & AppsI used this list to compare different solutions against what I currently use to see if I can benefit from switching to another tool.You can use it as reference to populate BI tool comparison matrix (included).➡️ https://telegra.ph/What-I-value-most-in-BI-tool-03-14 →#bi #tool #solution

Channel name was changed to «[Technology Enthusiast]»

Why I use dev containers?How to package dbt and dependencies to a reproducible container– works almost instanty for you and team members– latest stable dbt + adapter versions– easy inividual secrets set up– configuring multiple dbt targets– fancy terminal: zsh + git plugin + shell history+ 30 second gif live demo Read more →#dbt #dev #container

⚡️ I have run a Proof of Concept with Redshift ServerlessAnd here's the summary:— Reserving Redshift nodes is the best option given specific usage patterns.— Reserved nodes are 30% cheaper than on-demand ones.— Serverless doesn't show stable and production-ready results: faced with multiple query failures during data refresh.— Moreover, Serverless will definitely cost more with the same usage patterns.Read more →#dbt #redshift #database #serverless

Finishing a new Analytics Engineering Lab on Github🚀 DWH powered by Clickhouse and dbt – Build DWH powered by Clickhouse and dbt– Deploy Infrastructure as Code with Terraform and Yandex.Cloud– Instant development with Github Codespaces– Assignment checks with Github Actions#lab #modeling #dbt #iac

Channel name was changed to «🟧 [Technology Enthusiast]»

🚀 Released myBI dbt Core and myBI Market showcase⚙️ myBI dbt Core module allows quick start transformations on top of data synced by myBI Connect along with multiple useful macros.— Supported Adapters: Clickhouse, PostgreSQL— Reference any data source as simple as select * from source('general', 'dates')— Build staging layer in one command with filters on account_id applied, pre-join with date dimension, comprehensive data testing (unique, not_null, relationships)— Leverage macros: source_filter_rows to limit rows for dev/test environments, any macro from dbt_utils package ⚡️ myBI Market showcase guides you through building Modern Data Stack analytics:— Configure environment— Install and co…

💎 Операционализация аналитики c инструментами класса reverse ETL – опыт использования Census 💎В публикации:— Место reverse ETL в схеме потоков данных— Потребность в решении задач операционной аналитики— Различные способы организации reverse ETL— Кейс: Census для синхронизации данных в Pipedrive CRMСегодня Операционная аналитика и практики reverse ETL - не столько дань моде, сколько насущная потребность многих компаний. Создать идеальное Хранилище мало, ведь данные создают ценность только тогда, когда вы способны их использовать.Читать на Хабр → #Pipelines #reverse-ETL

21 ноября (понедельник) в 20:00 проведу вебинар: 🚀 Аналитика продуктивности команд разработки на основе данных Github 🚀 Вы узнаете: 🔹 Каким образом собирать события организации из Github (Webhook, Airbyte) 🔹 С помощью чего осуществить парсинг, трансформации…

21 ноября (понедельник) в 20:00 проведу вебинар:🚀 Аналитика продуктивности команд разработки на основе данных Github 🚀Вы узнаете:🔹 Каким образом собирать события организации из Github (Webhook, Airbyte)🔹 С помощью чего осуществить парсинг, трансформации, сборку витрин данных (dbt)🔹 Как приготовить метрики: PR Rate, Time to Review / Merge (Looker)Кому подходит:🔹 Начинающим и продолжающим специалистам в области Аналитики данных, Data Engineering🔹 Тем, кто интересуется современными подходами организации Хранилищ Данных🔹 Руководителям команд разработки, менеджерам и даже CTO Результаты:🔹 Познакомитесь с современными инструментами организации DWH🔹 Поймете, как устроены процессы разработки ПО в с…

Книжный клуб + Кабанчик = 🖤Два года назад как начинающий и ответственный дата-инженер заказал оригинал книги Мартина Клеппманна Designing Data-Intensive Applications с Амазона. Но книга так и лежала у меня с тех пор, не смотря на рейтинг 5.0 и рекомендации со всех сторон.И вот в рабочей флудилке заговорили про книжные клубы, я решил что это хороший повод и закинул идею совместно прочитать этот технический бестселлер.План был максимальной простой: одна глава = одна неделя. Встречаемся каждый четверг, обсуждаем прочитанное, вспоминаем байки из опыта (если есть), находим аналоги в нашей инфраструктуре. И вот спустя 12 недель Кабанчик прочитан, книга исчёркана карандашными заметками, в заметках…

потрёпанный жизнью книжным клубом Кабанчик

Промпт-инженерыЗацепила фраза Григория Бакунова (bobuk) про промт для GitHub Copilot (работает на ChatGPT):> Для тех кто не программирует, посмотрите на картинку — вот так выглядит будущее программирование искусственного интеллекта. Действительно эти ~25 предложений можно представить как ~25 абзацев кода для какого-то приложения. Продолжая аналогию с программированием, можно вспомнить с чего начинается почти каждый урок — тот самый Hello world! И то же самое происходит с тем, кто впервые сталкивается с гот-моделями — их промты простые и односложные. А вот продвинутые юзеры гпт-моделей через пробы и ошибки учатся улучшают свои промты и некоторые уже даже не помещаются на страницу. Чем не про…

студенты есть? там открыли конкурс на стажировки, где за деньги можно поконтрибьютить в разный опенсорс: CatBoost, YDB и наш любимый YTsaurus https://foss.kruzhok.org/code-for-all

#послушанодоклад Ивана Ямщикова на TechTrain про практические применения МЛ — от банальных до продвинутых. Медицина, легал и прочие отрасли. В конце общее (позитивное!) напутствие.> Какие сейчас перед нами сценарии развития искусственного интеллекта? Ждет ли нас еще одна «зима»? Как машинное обучение меняет рынки, общества и планету?iTunes, YouTube⌘⌘⌘В яндексовый подкаст позвали двух директоров Такси (и одного таксиста-блогера). Поговорили об актуальном: распределение загрузки сервиса по часам и месяцам, цены на поездки, как внедряют новые фичи. Ещё из подкаста можно узнать, что СЕО Яндекс Такси регулярно таксует в Саратове (до чего работа довела человека!) iTunes, YouTube⌘⌘⌘Спотифай делает…

деньги-денежки-деньжататак-так-так, что тут у нас? это же зарплаты дата-профессий в Европе!что может быть интереснее, чем залезть в карман к брату-инженеру и узнать сколько туда капает каждый месяц.ребята собрали статистику по 500 вакансиям, сконвертили всё в доллары и сделали разрезы по синьорности, стране и компаниям.⌘ что интересного увидели:1. по синьорности: зп есть прямая корреляция на первых 6 лет карьеры, дальше всё по-разному2. по локациям: в Берлина в среднем зп ниже, объясняют наличием там офисов Delivery Hero и Zalando, где зп чуть ниже рынка. А вот в Дублине, кажется, собрались сеньёристые ребята и там явный перекос зп в сторону высоких грейдов.3. по компаниям: Delivery Hero и …

короткой строкой про дата-инженерские вакансии в Яндексе:1. открыта вакансия в Практикум. Судя по описанию, всё довольно стандартно: там собрать, сюда положить, сверху витрины; ждут кандидатов с 3+ годами опыта. Если я ничего не путаю, Практикум работает удалённо, а ещё там супер душевная команда ❤️2. а ещё случайно узнал, что 4-5 марта (это уже ЗАВТРА!) можно получить фаст оффер в DWH Яндекс Маркета. Про требования к кандидатам всё написано общо́. Маркет использует подходы к двх-строению как у нас в Go, поэтому там должно быть круто. Я б сходил чисто по фану — часто перетереть за данные с умными людьми без каких-то обязательств 😉3. ну и к нам в Доставку тоже ищут инженера. У нас YT (Hadoop)…

в каждом меме есть доля шутки — в далёком 2020 я присматривался куда пойти… и не пошёл в ML 🙃 типа ща я тут по-быстрому с аналитикой сперва разберусь, а там до мл уже шапкой докинуть!

Легенды базостроительства в подкасте от dbtMike Stonebraker занимается базами данных с 1970-х. Тогда он написал реляционную БД Ingress, за три года до того как Ларри Эллисон выпустил Oracle. После этого Майкл приложил руку к Postgres (название отсылает к Ingres).Рассказал, как в 1990-х обратили внимание на колоночный тип хранения. Строчное хранение оптимизирует запись, в то время как данных скопилось много и начались проблемы со скоростью чтения — появилась необходимость в том, что стало называться DWH. В 2005 они выпустили Вертику. Понравилась байка как они пришли показывать Вертику в большой тогдашний е-ком. Там был инстанс Оракла за миллион долларов, который обрабатывал аналитический зап…

NoSQL → Not Only SQLNoSQL сейчас употребляется в смысле anti-SQL, как противопоставление доминирующим ораклам и постягрям с их ненавистной реляционной моделью.Хотя изначально смысл закладывался другой — не прямое противопоставление, а как ещё один вариант, алтернатива. В Книге С Кабанчиком™ Мартин Клеппманн приводит ссылку на заметку из 2009 года.https://web.archive.org/web/20190623045155/http://blog.sym-link.com/2009/10/30/nosql_whats_in_a_name.htmlДействительно это был просто хэштег для митапа по альтернативным базам данных. Хештег потом прилепился, но смысл его постепенно стал более категоричным.А изначально было действительно в значение Not Only SQL.и ещё вот твит от фаундера графовой Б…

иллюстрация «как должен выглядить Data Mesh» из той самой статьи от Zhamak Dehghani из 2020 года https://martinfowler.com/articles/data-mesh-principles.htmlсверху купол федеративного арх-надзора с документами-инструкциямив центре слои-домены с выделенными командамив основании — общая платформа для того, чтобы всё работало

Мета ДВХ: ДВХ для ДВХ Посмотрел доклад Жени Ермакова двухлетней давности о том как они делали МетаДВХ в Яндекс Такси. Отдельное удовольствие сначала поработать годик внутри, а потом посмотреть такое вводное видео как пришли к такому решению. Суть доклада…

Netflix Chaos Monkeyчтобы достичь доступности в распределённых сервисах используют избыточность: несколько дисков в рейд-массиве вместо одного или несколько машин вместо одной.в идеале при выходе из строя одного элемента, система должна поддерживать дееспособность на определённом уровне. Если у нас 10 000 дисков, то по техническим допускам в среднем один диск должен выходить из строя каждый день.даже когда есть чёткие инструкции по восстановлению, только практика может отточить навык, а чтобы такая практика происходила регулярно, в Нетфликсе в инфру запускают МАРТЫШКУ ХАОСА (лайк за нейминг!).точнее даже целое стадо разноспециализированных мартышек: одна рандомно прибивает неоптимальной нас…

Мета ДВХ: ДВХ для ДВХПосмотрел доклад Жени Ермакова двухлетней давности о том как они делали МетаДВХ в Яндекс Такси. Отдельное удовольствие сначала поработать годик внутри, а потом посмотреть такое вводное видео как пришли к такому решению.Суть доклада сводиться к тому, что логи использования ДВХ засунули в ДВХ как отдельный источник. Смоделировав опрятные модели, это позволило посчитать метрики и отслеживать насколько хорошо команды ДВХ справляются со своими задачами.Мы пользуемся такими отчётами, чтобы отслеживать использование новых объектов (не зря ли мы старались, добавляя их); а ещё поддерживаем счёт в нашей битве за пользователей с «теневым двх»: ключевая метрика здесь — соотношение …

Summary

Building a data team is hard in any circumstance, but at a startup it can be even more challenging. The requirements are fluid, you probably don't have a lot of existing data talent to manage the hiring and onboarding, and there is a need to move fast. Ghalib Suleiman has been on both sides of this equation and joins the show to share his hard-won wisdom about how to start and grow a data team in the early days of company growth.

Announcements

Hello and welcome to the Data Engineering Podcast, the show about modern data management

RudderStack helps you build a customer data platform on your warehouse or data lake. Instead of trapping data in a black box, they enable you to easily co…

Summary

Batch vs. streaming is a long running debate in the world of data integration and transformation. Proponents of the streaming paradigm argue that stream processing engines can easily handle batched workloads, but the reverse isn't true. The batch world has been the default for years because of the complexities of running a reliable streaming system at scale. In order to remove that barrier, the team at Estuary have built the Gazette and Flow systems from the ground up to resolve the pain points of other streaming engines, while providing an intuitive interface for data and application engineers to build their streaming workflows. In this episode David Yaffe and Johnny Graettinger sh…

Summary

All of the advancements in our technology is based around the principles of abstraction. These are valuable until they break down, which is an inevitable occurrence. In this episode the host Tobias Macey shares his reflections on recent experiences where the abstractions leaked and some observances on how to deal with that situation in a data platform architecture.

Announcements

Hello and welcome to the Data Engineering Podcast, the show about modern data management

RudderStack helps you build a customer data platform on your warehouse or data lake. Instead of trapping data in a black box, they enable you to easily collect customer data from the entire stack and build an identity gr…

Summary

Every business has customers, and a critical element of success is understanding who they are and how they are using the companies products or services. The challenge is that most companies have a multitude of systems that contain fragments of the customer's interactions and stitching that together is complex and time consuming. Segment created the Unify product to reduce the burden of building a comprehensive view of customers and synchronizing it to all of the systems that need it. In this episode Kevin Niparko and Hanhan Wang share the details of how it is implemented and how you can use it to build and maintain rich customer profiles.

Announcements

Hello and welcome to the Data …

Summary

Real-time capabilities have quickly become an expectation for consumers. The complexity of providing those capabilities is still high, however, making it more difficult for small teams to compete. Meroxa was created to enable teams of all sizes to deliver real-time data applications. In this episode DeVaris Brown discusses the types of applications that are possible when teams don't have to manage the complex infrastructure necessary to support continuous data flows.

Announcements

Hello and welcome to the Data Engineering Podcast, the show about modern data management

RudderStack helps you build a customer data platform on your warehouse or data lake. Instead of trapping data in a b…

Summary

Business intellingence has been chasing the promise of self-serve data for decades. As the capabilities of these systems has improved and become more accessible, the target of what self-serve means changes. With the availability of AI powered by large language models combined with the evolution of semantic layers, the team at Zenlytic have taken aim at this problem again. In this episode Paul Blankley and Ryan Janssen explore the power of natural language driven data exploration combined with semantic modeling that enables an intuitive way for everyone in the business to access the data that they need to succeed in their work.

Announcements

Hello and welcome to the Data Engineering …

Summary

The customer data platform is a category of services that was developed early in the evolution of the current era of cloud services for data processing. When it was difficult to wire together the event collection, data modeling, reporting, and activation it made sense to buy monolithic products that handled every stage of the customer data lifecycle. Now that the data warehouse has taken center stage a new approach of composable customer data platforms is emerging. In this episode Darren Haken is joined by Tejas Manohar to discuss how Autotrader UK is addressing their customer data needs by building on top of their existing data stack.

Announcements

Hello and welcome to the Data Eng…

Summary

The data ecosystem has been building momentum for several years now. As a venture capital investor Matt Turck has been trying to keep track of the main trends and has compiled his findings into the MAD (ML, AI, and Data) landscape reports each year. In this episode he shares his experiences building those reports and the perspective he has gained from the exercise.

Announcements

Hello and welcome to the Data Engineering Podcast, the show about modern data management

Businesses that adapt well to change grow 3 times faster than the industry average. As your business adapts, so should your data. RudderStack Transformations lets you customize your event data in real-time with your own …

Summary

The promise of streaming data is that it allows you to react to new information as it happens, rather than introducing latency by batching records together. The peril is that building a robust and scalable streaming architecture is always more complicated and error-prone than you think it's going to be. After experiencing this unfortunate reality for themselves, Abhishek Chauhan and Ashish Kumar founded Grainite so that you don't have to suffer the same pain. In this episode they explain why streaming architectures are so challenging, how they have designed Grainite to be robust and scalable, and how you can start using it today to build your streaming data applications without all …

Summary

As with all aspects of technology, security is a critical element of data applications, and the different controls can be at cross purposes with productivity. In this episode Yoav Cohen from Satori shares his experiences as a practitioner in the space of data security and how to align with the needs of engineers and business users. He also explains why data security is distinct from application security and some methods for reducing the challenge of working across different data systems.

Announcements

Hello and welcome to the Data Engineering Podcast, the show about modern data management

Join in with the event for the global data community, Data Council Austin. From March 28-30th 2…

Summary

With the rise of the web and digital business came the need to understand how customers are interacting with the products and services that are being sold. Product analytics has grown into its own category and brought with it several services with generational differences in how they approach the problem. NetSpring is a warehouse-native product analytics service that allows you to gain powerful insights into your customers and their needs by combining your event streams with the rest of your business data. In this episode Priyendra Deshwal explains how NetSpring is designed to empower your product and data teams to build and explore insights around your products in a streamlined and…

Summary

The ecosystem for data professionals has matured to the point that there are a large and growing number of distinct roles. With the scope and importance of data steadily increasing it is important for organizations to ensure that everyone is aligned and operating in a positive environment. To help facilitate the nascent conversation about what constitutes an effective and productive data culture, the team at Data Council have dedicated an entire conference track to the subject. In this episode Pete Soderling and Maggie Hays join the show to explore this topic and their experience preparing for the upcoming conference.

Announcements

Hello and welcome to the Data Engineering Podcast, …

Summary

There has been a lot of discussion about the practical application of data mesh and how to implement it in an organization. Jean-Georges Perrin was tasked with designing a new data platform implementation at PayPal and wound up building a data mesh. In this episode he shares that journey and the combination of technical and organizational challenges that he encountered in the process.

Announcements

Hello and welcome to the Data Engineering Podcast, the show about modern data management

Are you tired of dealing with the headache that is the 'Modern Data Stack'? We feel your pain. It's supposed to make building smarter, faster, and more flexible data infrastructures a breeze. It ends …

Summary

Cloud data warehouses have unlocked a massive amount of innovation and investment in data applications, but they are still inherently limiting. Because of their complete ownership of your data they constrain the possibilities of what data you can store and how it can be used. Projects like Apache Iceberg provide a viable alternative in the form of data lakehouses that provide the scalability and flexibility of data lakes, combined with the ease of use and performance of data warehouses. Ryan Blue helped create the Iceberg project, and in this episode he rejoins the show to discuss how it has evolved and what he is doing in his new business Tabular to make it even easier to implement…

Омар Ганиев занимается кибербезопасностью больше 10 лет, а его команда ищет уязвимости в смарт-контрактах и взламывает внутренние сети банков. В этом эпизоде он рассказывает Самату, как забытые сервера приводят к взломам огромных корпораций, почему в блокчейне так много платят за обнаружение уязвимости и какие меры безопасности стоит принимать обычным пользователям. Реклама. Курс «Мидл Python-разработчик» от Яндекс Практикума: https://clck.ru/34FzkS Ссылки: Выступление Омара про AI security: https://www.youtube.com/watch?v=RhbKkaibUGQ Слушать «Запуск++» и другие бонусы по подписке ЛибоЛибо+ в приложении «Подкасты» от Apple https://cutt.ly/zap2505epap или в закрытом тг-канале Либо/Либо https…

Алексей Миловидов занимается проектом ClickHouse больше 10 лет. За это время его разработка стала опенсорсной, вышла из-под крыла Яндекса и привлекла несколько миллиардов инвестиций. В этом эпизоде Алексей вспоминает этот путь и рассказывает, чем сейчас живет компания ClickHouse. Реклама. Бесплатный курс «Подготовка к алгоритмическому собеседованию» от Яндекс Практикума: https://clck.ru/34FzhT Ссылки: Документация ClickHouse: https://clck.ru/34TBES Andy Pavlo: Database Systems CMU: https://clck.ru/34TBFM Книга Designing Data-Intensive Applications: The Big Ideas Behind Reliable, Scalable, and Maintainable Systems, автор Мартин Клеппманн: https://clck.ru/34TBNE Build Your Own Redis: https://…

Чтобы ваш телефон мог с высокой точностью определить, где вы находитесь, государства вкладывают миллиарды долларов в запуск в космос спутников, а еще строят сложную инфраструктуру на земле. В этом эпизоде эксперт по системам навигации Игорь Веренинов рассказывает, как они устроены и как их делают еще точнее. Реклама. Станьте экспертом Яндекс Практикума: https://clck.ru/34FzZN Эпизод про точное время: https://pc.st/e/0J2gxUNxjHU Эпизод подкаста «Собес» про ChatGPT: https://pc.st/e/4NZyyE2wmPu Слушать «Запуск++» и другие бонусы по подписке ЛибоЛибо+ в приложении «Подкасты» от Apple https://clck.ru/34PVht или в закрытом тг-канале Либо/Либо https://bit.ly/zav_ep_tg Подписаться только на «Запуск…

В подкастах важен хороший звук, и Самат наконец-то решил разобраться, как его получают. В этом ему помогает Илья Лукашев — звукорежиссер и большой энтузиаст микрофонов. Почему поролон для подавления шумов — миф? Как создать эффект шепота в ухо? Нужно ли покупать микрофон для зум-созвонов? Сообщество Ильи: https://vk.com/boring_sound YouTube-канал Ильи: https://www.youtube.com/@ilyalukashev/videos Реклама. «Курс Мидл Python-разработчик» от Яндекс Практикума https://clck.ru/33pVid Ссылки: Сравнение направленности микрофонов: https://clck.ru/34Fy89 Бинауральный микрофон: https://clck.ru/34Fy8t Audio test kitchen: https://www.audiotestkitchen.com Gearspace: https://clck.ru/34FyAL Прослушивающее…

Тизер: в этом выпуске дочь Самата учится программировать! 150 тысяч детей учат информатику по программе Яндекс Учебника. Гость сегодняшнего эпизода Влад Степанов рассказал, зачем школьникам питон и как его команда проектирует уроки для детей, которые и так с детства пользуются гаджетами и интернетом. Реклама. «Курс по автоматизации тестирования на Java и Python» от Яндекс Практикума: https://clck.ru/33pVge Информатика от Яндекс Учебника: https://education.yandex.ru/inf/ Рекомендации от гостя: Подкаст про викторианский стиль: https://clck.ru/34C6R7 Игра, разработанная детьми: https://clck.ru/34C6Rm Канал Veritasuim: https://youtube.com/@veritasium (видео с русским дубляжом — https://youtube.…

В этом эпизоде разбираемся, как считывать сигналы с мозга, анализировать активность лобных долей и играть в нейроигры. И главное — зачем всё это нужно. В гостях — Дмитрий Конышев, руководитель разработки в компании Нейроботикс Реклама. Бесплатный курс от Яндекс Практикума «Подготовка к алгоритмическому собеседованию»: https://clck.ru/33pVgN Подписаться на «Запуск++» в Телеграме: https://t.me/+N_AopnXC0dBkMGQy Подписаться на Либо/Либо+ в Телеграме, куда включены эпизоды «Запуск++»: https://t.me/+LXZx5JRqO4o0MjJi Чат Запуска в телеграме: https://t.me/zapuskzavtra Связаться: [email protected] Партнер этого подкаста — Яндекс Практикум. https://practicum.yandex.ru/ Редакторка — Маша Агличев…

Предсказательные модели, вычисления на суперкомпьютерах и анализ горных пород с помощью нейросетей — вот что получается, когда в консервативную индустрию приходят бодрые айтишные стартапы. Основатель компании Digital Petroleum Дмитрий Коротеев рассказывает, как разрабатывает инструменты, экономящие время и деньги нефтяных гигантов. Релама. Бесплатный курс от Яндекс Практикума «Основы Go»: https://clck.ru/33pVg3 Подписаться на «Запуск++» в Телеграме: https://t.me/+N_AopnXC0dBkMGQy Подписаться на Либо/Либо+ в Телеграме, куда включены эпизоды «Запуск++»: https://t.me/+LXZx5JRqO4o0MjJi Чат Запуска в телеграме: https://t.me/zapuskzavtra Связаться: [email protected] Партнер этого подкаста — …

Как русскоязычной компании сделать имя в Кремниевой долине? В этом выпуске Ира Назарова, СEO Evil Martians, учит Самата нетворкать и критиковать по-американски, а еще рассказывает, как продавать то, что бесплатно. Реклама. Курс от Яндекс Практикума Middle Python-разработчик: https://clck.ru/33pVdS Сайт Злых Марсиан https://evilmartians.com Твиттер марсиан https://twitter.com/evilmartians Эпизод Запуска++ про Ruby можно послушать по подписке. Подписаться на «Запуск++» в Телеграме: https://t.me/+N_AopnXC0dBkMGQy Подписаться на Либо/Либо+ в Телеграме, куда включены эпизоды «Запуск++»: https://t.me/+LXZx5JRqO4o0MjJi Чат Запуска в телеграме: https://t.me/zapuskzavtra Связаться: [email protected]…

Зачем знать время с точностью до наносекунд? Что будет, если не «подкручивать» часики? Как секунда может быть отрицательной? Инженер из Facebook Олег Облеухов рассказывает, как люди и компьютеры гонятся за точностью времени. А еще пугает Самата тем, что случится в 2036 году. Реклама. Курс для прокачки навыков фронтенда от Яндекс Практикума: https://clck.ru/33pVdD Эпизод про сотовые сети: https://pc.st/e/2Bw2jdxLn3j Посты Олега в инженерном блоге Facebook: NTP: https://clck.ru/33qvmN Open source time appliance: https://clck.ru/33qvrC Leap second: https://clck.ru/33qvu9 PTP: https://clck.ru/33qvur Leap Second: https://en.wikipedia.org/wiki/Leap_second Подписаться на «Запуск++» в Телеграме: ht…

Как подружить умную лампочку от Яндекса с теплым полом? Как умнеют целые города? Катя Основина из компании iRidi рассказывает, как умные дома учатся понимать наши потребности и заботятся о нашем здоровье. Реклама. Курсы от Яндекс Практикума для разаботчиков и тестировщиков. Осваивайте новые стеки и технологии: https://clck.ru/33jL64 Сайт компании: https://iridi.com/ Саммит IRidi: https://youtu.be/n9gcpYZ3-8g Подписаться на «Запуск++» в Телеграме: https://t.me/+N_AopnXC0dBkMGQy Подписаться на Либо/Либо+ в Телеграме, куда включены эпизоды «Запуск++»: https://t.me/+LXZx5JRqO4o0MjJi Чат Запуска в телеграме: https://t.me/zapuskzavtra Связаться: [email protected] Партнер этого подкаста — Янд…

Какое отношение Стивен Хокинг имеет к появлению Wi-Fi? Почему файлы загружаются дольше, чем скачиваются? Как за вами следят точки доступа? Историю появления самой популярной беспроводной технологии рассказывает Кирилл Луконин, автор канала «Злой беспроводник». Реклама. Курсы от Яндекс Практикума для фронтенд-разработчиков по JavaScript и React: https://clck.ru/33fdwx Ссылки: Злой беспроводник https://t.me/EvilWirelessMan База полезных материалов на GitHub https://github.com/skhomm/useful-wireless-links Подписаться на «Запуск++» в Телеграме: https://t.me/+N_AopnXC0dBkMGQy Подписаться на Либо/Либо+ в Телеграме, куда включены эпизоды «Запуск++»: https://t.me/+LXZx5JRqO4o0MjJi Чат Запуска в тел…

Этот эпизод — об одной математической задаче со смешным названием, без которой мы смотрели бы на мир совсем по-другому. Математик Люба Тупикина рассказывает, как ученые предсказывают случайные процессы, находят объяснение смертности людей, вычисляют размер интернета, и при чем тут Альберт Эйнштейн. Реклама. Курс от Яндекс Практикума курс для тех, кто знаком с основами Python-разработки и хочет вырасти до мидла. Подробности по ссылке: https://clck.ru/33fduz Рекомендации от гостьи: «First Steps in Random Walks» Соколова и Клафтера «Сила слабых связей» Грановеттера «Теория вероятности» Колмогорова Статьи Станислава Смирнова Подписаться на «Запуск++» в Телеграме: https://t.me/+N_AopnXC0dBkMGQy …

В «Запуске завтра» мы уже девять сезонов рассказываем о технологиях, которые меняют нашу жизнь. Но все они невозможны без электроэнергии. В этом эпизоде разбираемся, как работают электрические сети, в какой стране розетки безопаснее и почему гудят трансформаторы. Реклама. У Яндекс Практикума есть два курса по автоматизации тестирования: на Java и на Python. Подробности по ссылке: https://clck.ru/33YASz Канал Энерголикбез: https://youtube.com/@energolikbez Подписаться на «Запуск++» в Телеграме: https://t.me/+N_AopnXC0dBkMGQy Подписаться на Либо/Либо+ в Телеграме, куда включены эпизоды «Запуск++»: https://t.me/+LXZx5JRqO4o0MjJi Чат Запуска в телеграме: https://t.me/zapuskzavtra Связаться: zap…

Как сделать таблетку-блокбастер? Во что инвестировать — в лекарство от акне или от слабых коленей? Как с помощью одного приложения на айпаде можно диагностировать Альцгеймера? И, конечно — где во всём этом наука о данных? Разбираемся в индустрии, от которой зависят человеческие жизни, вместе с Анной Костиковой, директором по Data Science в фармацевтической компании Novartis. Реклама. Бесплатный курс по основам Go от Яндекс Практикума: https://clck.ru/33USkn Подписаться на «Запуск++» в Телеграме: https://t.me/+N_AopnXC0dBkMGQy Подписаться на Либо/Либо+ в Телеграме, куда включены эпизоды «Запуск++»: https://t.me/+LXZx5JRqO4o0MjJi Чат Запуска в телеграме: https://t.me/zapuskzavtra Связаться: z…

В гостях у Moscow Python Podcast Даниил Мясников, Руководитель Python-разработки в Контуре. Обсудили в выпуске:

зачем затаскивать Python в компанию с С# разработчиками

какая была реакция у бизнеса реакция разработчиков о переходе на Python

основные претензии C# разработчиков к внедрению Python

блиц-вопросы от Гриши про интерфейс и про IronPython

чему питонист может научиться у шарписта

комфортно ли было переключаться между стилями

многих ли шарпистов удалось переключить на Python как обучали сотрудников Python

что не нравилось в Python и как замеряли перфоманс

истории Миши и Гриши про Linux

что фиксировали при заносе, а что отдали на откуп разработчиков

блиц-вопрос про аннотации типов

для ч…

Новый выпуск посвятили актуальным новостям за апрель 2023 года в мире Python. Ниже оставили ссылки на все материалы этого подкаста.

• статья от Python Software Foundation - https://pyfound.blogspot.com/2023/04/the-eus-proposed-cra-law-may-have.html • европейские акты:

- Cyber Resilience Act - https://digital-strategy.ec.europa.eu/en/library/cyber-resilience-act - Product Liability Act - https://eur-lex.europa.eu/legal-content/EN/TXT/?uri=CELEX%3A52022PC0495 • релиз urllib3 2.0 - https://sethmlarson.dev/urllib3-2.0.0 • PyPI анонсировали поддержку trusted publisher - https://blog.pypi.org/posts/2023-04-20-introducing-trusted-publishers/ • менеджер пакетов от создателя Flask - https://github.c…

В гостях у Moscow Python Podcast Артем Рудаковский,

преподаватель Лицея Академии Яндекса. Обсудили в выпуске:

путь Артема в программировании и начало преподавания

что такое Академия Яндекса

Яндекс приходит в школы и делает свое обучение или заменяет уроки информатики

что вкладывается в тезис «программирование — вторая грамотность» и будет ли необходимо программировать, чтобы выжить через 50 лет

насколько нужно программирование, когда есть ChatGPT

главные различия при обучение программированию подростка и взрослого

честно ли показывать программирование интересным или нужно показывать реальность в индустрии

инструменты, которые используют в Лицее Академии Яндекса

гайды для родителей, которые …

Привет! В специальном выпуске с ответами на вопросы зрителей обсудили: портрет middle-разработчика как не сломать типы хорошая ли идея перейти с Python на Golang

остался ли смысл от AIOHTTP после релиза Django 4.2

как дебажить асинхронный код на предмет наличия блокирующих event loop вызовов

и другие вопросы Ведущие: Михаил Корнеев и Григорий Петров

CFP Moscow Python Conf

https://cfp.conf.python.ru Все выпуски:

https://podcast.python.ru Митапы MoscowPython:

https://moscowpython.ru Курс Learn Python:

https://learn.python.ru/

Новый выпуск посвятили актуальным новостям за март 2023 года в мире Python. Ниже оставили ссылки на все материалы этого подкаста.

• LTS-релиз Django 4.2 - https://pandas.pydata.org/docs/dev/whatsnew/v2.0.0.html • Вышел pandas 2.0 - https://pandas.pydata.org/docs/dev/whatsnew/v2.0.0.html • Релиз PyTorch 2.0 - https://pytorch.org/blog/pytorch-2.0-release/ • Исследование экосистемы Django от JetBrains - https://lp.jetbrains.com/django-developer-survey-2022/ • PEP 709 – Inlined comprehensions - https://peps.python.org/pep-0709/ • PEP 582 - https://discuss.python.org/t/pep-582-python-local-packages-directory/963/430 • PEP 710 Recording the provenance of installed https://peps.python.org/pep-0710…

В гостях у Moscow Python Podcast Мстислав Казаков, руководитель Python практики, Usetech. Обсудили в выпуске:

что такое observability

куда смотреть, если observability не завезли

зачем придумывать навороты с логгингом

как ввести в проект observability

о главной проблеме логов

о readiness и liveness или зачем начинать с хелсчеков в Django

Sentry и Elastic APM, в чем разница и схожесть

как работает New Relic

в чем плюсы Elastic APM и почему стоит начинать с docker run

«‎когда говорят об observability у всех в голове prometheus и grafana»‎

ответы на вопрос про ошибку процесса измерения, в чем преимущество ELK перед Graylog, про отслеживание блокировок баз данных в observability, ​про отличия п…

В гостях у Moscow Python Podcast Никита Соболев, CTO wemake.services и Арсений Сапелкин, тимлид Kaspersky OS. Обсудили в выпуске:

чем занимается команда тулов в YADRO Jenkins и причем здесь «большой драчевый напильник»

с чего начинать работу с CI/CD

нужно ли изучать Jenkins про запас или просто знать о нем

умирает ли концепция DevOps «проблемы возникают, когда есть сложные environments или стенды»

деплой в системе хранения данных и использование пирамиды тестирования

оффтоп, как Алексей пришел к такой жизни с DevOps почему о DevOps вспоминают, когда все плохо и каким людям лучше не становиться девопсами

про YAML

зачем делить команду тулов и команду DevOps

ответили на вопросы, применим ли ан…

Новый выпуск посвятили актуальным новостям за февраль 2023 года в мире Python. Ниже оставили ссылки на все материалы этого подкаста. • 32 года Python - https://tomaszs2.medium.com/happy-birthday

• Python Software Foundation ищет разработчика - https://pyfound.blogspot.com/2023/01/the-psf

• Три больших атаки на pypi:

- https://blog.phylum.io/phylum-discovers

- https://blog.phylum.io/phylum-go-based

- https://blog.phylum.io/another-attack

• Python тренды в 2023 году - https://blog.jerrycodes.com/python-trends

• Самуэль Колвин поднял инвестиции от Sequoia Capital - https://pydantic.dev/announcement/

• Отчет про Python в blockchain-разработке - https://tradingstrategy.ai/blog/the-state-of-pytho…

В гостях у Moscow Python Podcast Никита Соболев, CTO wemake.services и Арсений Сапелкин, тимлид Kaspersky OS. Обсудили в выпуске:

опыт использования Copilot

этические вопросы использования AI в работе

перспективы Copilot, ChatGPT

«у программистов будет больше задач или уменьшится количество программистов?»

все станут тимлидами или «киберпанк, который мы заслужили»

количество кода будет расти, качество - возможно, но неточно

AI системы сделают сильных программистов сильнее, а слабые останутся на том же уровне и не захотят учиться их использовать?

как пропасть между новичками и опытными программистами расширится

Kite, Tabnine vs Copilot

плюсы и минусы систем AI в обучении программированию

про…

В гостях у Moscow Python Podcast Никита Соболев, CTO wemake.services. Обсудили в выпуске:

как переписали виртуальную машину

полезна ли интеграция с perf или уже умеем с toolchain

компиляцию Python и концепцию 3 стульев

придем ли к отключению GIL

«выкидываем distutils, не будет ли 3.12 катастрофой из-за этого»‎

улучшение сообщений об ошибках и важность удобства языка программирования

обновление в C-API tier

ответ на вопрос про увеличение производительности Ведущие: Михаил Корнеев и Григорий Петров

Ссылки подкаста: PEP 684 - https://peps.python.org/pep-0684/

Все выпуски: https://podcast.python.ru

Митапы MoscowPython: https://moscowpython.ru

Курс Learn Python: https://learn.python.ru/

Новый выпуск посвятили актуальным новостям за январь 2023 года в мире Python. Ниже оставили ссылки на все материалы этого подкаста. фреймворк Robin - https://github.com/sansyrox/robyn PEP 703 по Python без GIL - https://peps.python.org/pep-0703/ релиз SQLAlchemy 2.0 - https://www.sqlalchemy.org/

PEP 701 по доработке f-строк - https://peps.python.org/pep-0701/ PEP 704 по обязательному виртуальному окружению - https://peps.python.org/pep-0704/ Malware в nightly-билдах - https://pytorch.org/blog/compromised-... Python 2.7 убрали из Debidian - https://bugs.debian.org/cgi-bin/bugre... топ Python библиотек 2022 - https://tryolabs.com/blog/2022/12/26/... Ведущие: Михаил Корнеев и Илья Лебедев Все …

В гостях у Moscow Python Podcast Иван Самсонов, продакт-менеджер в прикладных исследованиях ИИ во ВКонтакте. Обсудили в выпуске:

- отличается ли звездный разработчик от синьора

- хватит ли понимания бизнеса и умения коммуницировать, чтобы стать A-star

- когда нас заменит искусственный интеллект, и мы отдохнем

- куда приведет развитие языковых моделей

- что делать мидл python-разработчику с фиговым английским, чтобы его не заменили технологии

- ответы на вопросы из трансляции: что делать джуну с 3-летним опытом и фиговым английским, какой язык программирования умрет следующим Ведущие: Михаил Корнеев и Григорий Петров Все выпуски: https://podcast.python.ru

Митапы MoscowPython: https://moscowp…

В гостях у Moscow Python Podcast Георгий Могелашвили, Engineering Manager в Shopify и основатель GetMentor.dev. Обсудили в выпуске:

- разницу менталитетов в работе - как давать обратную связь - культуру разработки и роль Engineering Manager в Shopify - куда расти разработчику сегодня - разницу зарплат у менеджеров и контрибьютеров - как менеджеру растить разработчиков - как определить грейд и перейти на другой - отличия систем грейдов в компаниях - про GetMentor и зачем нужен ментор - конференции для профессионального роста

- ответы на вопросы из трансляции: возможно ли самостоятельно вырасти до сеньора, нужно ли менеджерам писать код, с чего начать поиски работы в зарубежной компании и про…

Привет, вот о чем поговорили Михаил Корнеев и Григорий Петров в последнем в этом году выпуске подкаста. - Новые форматы прямых эфиров и новостных выпусков в подкасте

- Планы на ускорение Python и эксперимент с выпиливанием gil - black вышел из беты

- Три штуки, которые надо добавить в Python

- 10 лет выступлениям Гриши о Python

- Что будет, если добавлять в язык новые инструменты, чтобы было красиво (и стоит ли их использовать?)

- Ушла эпоха, из MacOS выпилили Python 2.7

- Что так и не так с JetBrains Developers Survey

- Релиз Python 3.11 - Copilot и как мы справлялись без него 20 лет назад

- Ответили на вопросы из трансляции: про фреймворк Masonite и какие фреймворки взлетят в 2023, про пе…

В выпуске обсудили что из себя представляет современная 3D-печать: какие материалы используются и какие задачи можно решать при помощи нее. Во второй половине выпуска рассмотрели печать как бизнес и что нужно, чтобы в нее вкатиться.

В гости пришел Стефан Русо – ведущий с канала 3DIY, который занимается печатью уже больше 10 лет. Скидка 15% на заказ тарифов готового питания от Grow Food по промокоду PODLODKA: clck.ru/34XH3s Также ждем вас, ваши лайки, репосты и комменты в мессенджерах и соцсетях! Telegram-чат: https://t.me/podlodka Telegram-канал: https://t.me/podlodkanews Страница в Facebook: www.facebook.com/podlodkacast/ Twitter-аккаунт: https://twitter.com/PodlodkaPodcast Ведущие в выпус…

SELECT * FROM Episodes WHERE YEAR(published_at) > 2022 Думаете это все, на что способен SQL? Антон Жиянов, энтузиаст SQLite, красочно объясняет, что это заблуждение! Этот 3-х часовой 😱 выпуск можно смело использовать при подготовке к собеседованию: мы подробно разобрали как базовые конструкции, так и расширенные и современные фичи SQL: массивы, графы, рекурсию и многое другое. Поговорили, как готовить SQL с заботой о быстродействии и безопасности ваших баз данных, а также окунулись в мир SQL для анализа данных. Партнер выпуска – международная продуктовая IT-компания Garage Eight, которая создает экосистемы финансовых сервисов. Подписывайся на телеграм канал команды, чтобы не пропустить поле…

Продолжаем серию алгоритмических выпусков! Алгоритмы – это сложно, многопоточность – тоже. Тогда насколько сложны многопоточные алгоритмы? Попытаемся разобраться с Никитой Ковалем из JetBrains! А еще обратите внимание на наш новый проект – подкаст “Бреслав и Ложечкин”. Имена говорят сами за себя, но все же: в этом подкасте Андрей Бреслав (ex-JetBrains, а теперь основатель стартапа) и Александр Ложечкин (ex-Microsoft, ex-Amazon, а теперь CIO в банке) рассуждают, спорят, делятся опытом, и просто болтают на темы развития людей, руководства и технологий. Учитывая уникальный опыт Андрея и Александра, будет интересно и познавательно! Первый выпуск по ссылке:

https://breslav-lozhechkin.mave.digita…

Можно ли доказать, что для какой-то задачи не существует быстрых алгоритмов? И как все-таки оптимизировать то, что вычислитель очень трудно? Надо ли париться про константы? P = NP, или все-таки нет? На эти и другие вопросы нам ответил Александр Куликов, доктор физико-математических наук и руководитель лаборатории алгоритмов и теории сложности в JetBrains Research. Команда для вашего проекта с гарантией результата от Umbrella IT (https://umbrellait.ru). Разрабатываем высоконагруженные приложения и сложные ИТ-системы для бизнеса. Быстрый онбординг. Первые результаты через 2 недели. 22-26 мая пройдет конференция Podlodka Python Crew. Скидка для слушателей по промокоду ASYNCIO.

https://podlodka…

В выпуске разобрались чем отличается BDUI от стандартного клиент-серверного приложения. Какие бенефиты это дает и с какими сложностями сталкиваются разработчики на пути.

В гости позвали руководителя мобильной разработки AliExpress РФ Александра Казарцева. Также ждем вас, ваши лайки, репосты и комменты в мессенджерах и соцсетях!

Telegram-чат: https://t.me/podlodka Telegram-канал: https://t.me/podlodkanews Страница в Facebook: https://facebook.com/podlodkacast/ Twitter-аккаунт: https://twitter.com/PodlodkaPodcast Ведущие в выпуске:

Стас Цыганов, Катя Петрова Полезные ссылки:

Статья от Airbnb https://medium.com/airbnb-engineering/a-deep-dive-into-airbnbs-server-driven-ui-system-842244c5f5 Yoga…

В этом выпуске разбираемся с делегированием – управленческим инструментом, одновременно простым для понимания и весьма сложным для освоения. Полномочия рассказать об этом мы делегировали опытному руководителю — Евгению Коту! Яндекс Практикум предлагает линейку курсов для опытных разработчиков и тестировщиков. Туда входят программы по алгоритмам и структурам данных, C++, Python, фронтенд-разработке, автоматизации тестирования на Java, DevOps, Go, React и тестировании веб-приложений на Python. Записаться на подходящий курс можно по ссылке: https://clck.ru/349AKq Поддержи лучший подкаст про IT:

www.patreon.com/podlodka Также ждем вас, ваши лайки, репосты и комменты в мессенджерах и соцсетях! T…

Текст – важный и зачастую основной формат наших рабочих коммуникаций. Мы все умеем писать, но как и любой скилл, он требует развития. Что такое «письменная культура», почему важно поддерживать ее высокий уровень и какие сигналы говорят о том, что в вашей компании что-то идет не так? Какие преимущества

есть у текстовых коммуникаций и какие практики помогут сделать ее более эффективной? Применимы ли все эти практики к… написанию кода? Все это и даже больше обсудили с нашим постоянным гостем Александром Ложечкиным, который рассказал уйму интересных деталей про то, как развивают письменную культуру в Amazon, Microsoft и не только! У наших друзей из Яндекс Практикума есть линейка курсов для опыт…

Сложно придумать напиток, более тесно вплетённый в наши рабочие ритуалы, чем кофе. У него такая непростая и интересная культура приготовления и употребления, что мы не могли оставить его в стороне. Все, что вы хотели знать про кофе – в этом выпуске! Бесплатный курс "Подготовка к алгоритмическому собеседованию" от Яндекс Практикума создан для тех, у кого уже есть опыт в разработке. Авторы курса — опытные разработчики, которые провели и оценили не одну сотню алгоритмических интервью. Курс рассчитан на 10 часов, для прохождения переходите по ссылке: clck.ru/345Srg Поддержи лучший подкаст про IT:

www.patreon.com/podlodka Также ждем вас, ваши лайки, репосты и комменты в мессенджерах и соцсетях! …

Разговоры про то, что программистов вот-вот заменит какая-то технология, ведутся каждые пару лет. Но в этот раз, кажется, все серьезно – ChatGPT пишет полноценные мобильные приложения, конфиги для AWS и разбирает сложные баги. Чтобы разобраться с тем, а как конкретно LLM генерируют код, как этим можно управлять, и что нас ждет в будущем, мы позвали Егора Богомолова, исследователя в лаборатории ML4SE JetBrains Research. Бесплатный курс "Основы Go" от Яндекс Практикума создан для тех, кто уже знаком с основами бэкенд-разработки. Обучение проходит на реальном коде и задачах. Для прохождения курса переходите по ссылке: https://clck.ru/342g5c Приходите на конференцию Podlodka Teamlead Crew, кото…

Creative Coding — это тип программирования, цель которого — создать что-то выразительное вместо чего-то функционального. AI и искусству у нас уже был посвящен выпуск, поэтому в этот раз мы сосредоточились на том, что программист может создать сам: используя лишь любимый язык программирования и подходящий фреймворк, такой как OPENRNDR. Антон Архипов, developer advocate из JetBrains, и, как выяснилось в процессе записи, NFT-художник, погрузил нас в удивительный мир на стыке искусства и кодинга: генеративный арт, эстетическая геометрия, сакральная геометрия, не обошли стороной и музыку. Кстати, если вы включите этот выпуск на Youtube (ссылка), то сможете не только представить себе то, о чем мы…

Обсудили этапы производства лекарств: от проектирования в отделе RnD, до приготовления в биореакторе и упаковки. В гости пришел Василий Юрташкин – руководитель отдела ИТ-архитектуры в биотехнологической компании BIOCAD. Разобрали как сложности создания новых лекарств, так и возможные проблемы технологического процесса, а главное, как их можно решать при помощи IT. Книга Александра Бындю «Антихрупкость в IT» разбирает наиболее частые проблемы и сценарии из-за чего IT-компании могут буксовать или проваливаться. Автор покрывает довольно обширную область от продуктового подхода к разработке до рефакторинга больших систем. Книга позиционируется для людей разной направленности из IT, потому реком…

Кто-то пишет Твиттер-треды, кто-то ведет Telegram-каналы, а кто-то пилит полезные видео на YouTube и собирает сотни тысяч просмотров. Мы поговорили с Александром Ильиным, программистом и YouTube-блоггером, про то, что влияет на популярность видео, как создавать контент и какую часть работы нужно делегировать, чтобы оставались силы на самое интересное. Поддержи лучший подкаст про IT:

www.patreon.com/podlodka Также ждем вас, ваши лайки, репосты и комменты в мессенджерах и соцсетях! Telegram-чат: https://t.me/podlodka Telegram-канал: https://t.me/podlodkanews Страница в Facebook: www.facebook.com/podlodkacast/ Twitter-аккаунт: https://twitter.com/PodlodkaPodcast Ведущие в выпуске:

Катя Петрова…

Podlodka достигла сингулярности и пишет выпуски сама с собой. Егор со Стасом задушевно поговорили про то как построить программу стажировок в своей компании. Кто нужен в качестве ментора, как собеседовать стажеров, какого уровня сотрудников можно получить после на выходе, а самое главное: как продать идею бизнесу. Приходите на конференцию Podlodka Java Crew про микросервисы: https://podlodka.io/javacrew. Не забудьте воспользоваться промокодом на 300р: micro_java Поддержи лучший подкаст про IT:

https://www.patreon.com/podlodka Также ждем вас, ваши лайки, репосты и комменты в мессенджерах и соцсетях! Telegram-чат: https://t.me/podlodka Telegram-канал: https://t.me/podlodkanews Страница в Face…

Устали ждать несколько по несколько часов, пока на CI отработают все проверки для вашего пулл-реквеста? Не можете нормально спать, ведь текущее покрытие автотестами не обеспечивает нужные гарантии качества ваших приложений? А счета из облачных сервисов тестирования снятся в кошмарах? Добро пожаловать в мир в построения собственных мобильных ферм! Вместе с Антоном Малинским, основателем MarathonLabs мы не только пофилософствовали на тему целесообразности такого решения, но и в деталях обсудили принципы построения ферм: и на аппаратом, и на софтверном уровнях. Приходите на конференцию iOS Podlodka Crew про инфраструктуру:

https://podlodka.io/ioscrew. Не забудьте воспользоваться промокодом на …

Григорий Свердлин долгое время руководил Ночлежкой, а сейчас создал "Идите лесом!" — организацию, которая помогает избежать мобилизации."Ночлежка"https://homeless.ru/"Идите лесом!"https://iditelesom.org/Слушайте "Проветримся!", где вам удобно:ApplePodcasts: https://apple.co/2Psx8ydGooglePodcasts: https://clck.ru/F7BA7Я.Музыка: https://clck.ru/JJB8ySupport the show

Григорий Бакунов эксперт в области информационных технологий, соведущий подкаста радио-Т и автор канала @addmetoМы начали с разговора про искусственный интеллект, а закончили широким обзором технологий, которые меняют нашу повседневную жизнь.Слушайте "Проветримся!", где вам удобно:ApplePodcasts: https://apple.co/2Psx8ydGooglePodcasts: https://clck.ru/F7BA7Я.Музыка: https://clck.ru/JJB8ySupport the show

Гостевой эпизод подкаста тренд-хантеры.Support the show

Говорим с Арчетом и Павлом Комаровским про безопасность ИИ.Телеграм-канал и YouTube Павла.Телеграм-канал и подкаст Арчета.Не будьте такими душными, давайте лучше - проветримся!Подпишись в Телеграм на канал @progulkaApplePodcasts ; GooglePodcasts ; Spotify ; Я.музыкаSupport the show

Оксана Мороз защитила диссертацию "Культурная травма в российском литературном дискурсе конца XX века", а последнее время интересуется темой Death Tech и тем, как технологии трансформирую отношение людей к смерти.Не будьте такими душными, давайте лучше - проветримся!Подпишись в Телеграм на канал @progulkaApplePodcasts ; GooglePodcasts ; Spotify ; Я.музыкаSupport the show

Какие сейчас перед нами сценарии развития искусственного интеллекта? Ждет ли нас еще одна «зима»? Как машинное обучение меняет рынки, общества и планету?Доклад на конференции TechTrain. Если хотите увидеть слайды, сходите на YouTube. Кстати, если вы подпишетесь, то поможете увеличить количество людей, которые регулярно смотрят или слушают "Проветримся!" https://youtu.be/BmUSfln9WrEКстати, у ребят в ближайшую неделю ещё две большие конференции. Heisenbug — большая конференция по тестированиюJpoint — большая конференция для Java-разработчиков.Не пропустите!Support the show

Мария Шутова занимается коммерциализацией исследований в Cell and Gene Therapy Catapult.Не будьте такими душными, давайте лучше - проветримся!Подпишись в Телеграм на канал @progulkaApplePodcasts ; GooglePodcasts ; Spotify ; Я.музыкаSupport the show

Ярослав Кравцов — художник, геймдизайнер и создатель метавселенных на платформе Roblox.Не будьте такими душными, давайте лучше - проветримся!Подпишись в Телеграм на канал @progulkaApplePodcasts ; GooglePodcasts ; Spotify ; Я.музыкаSupport the show

Никита и Виталий Касьяновы работают над проектом Tookas — электроприставкой для инвалидных колясок.Не будьте такими душными, давайте лучше - проветримся!Подпишись в Телеграм на канал @progulkaApplePodcasts ; GooglePodcasts ; Spotify ; Я.музыкаSupport the show

Светлана Великанова создала университет Harbour. https://harbour.space/Не будьте такими душными, давайте лучше - проветримся!Подпишись в Телеграм на канал @progulkaApplePodcasts ; GooglePodcasts ; Spotify ; Я.музыкаSupport the show

Маруся Лежнева одна из соосновательниц фонда Хьюм.https://welcomehume.org/Не будьте такими душными, давайте лучше - проветримся!Подпишись в Телеграм на канал @progulkaApplePodcasts ; GooglePodcasts ; Spotify ; Я.музыкаSupport the show

Разговор с Анной Ковалёвой для Reforum.Support the show

Про новую нобелевскую премию по физике рассказывает Василий Севрюк — квантовый инженер IQM Quantum Computers.https://www.meetiqm.com/Support the show

Писатель и психолог из Японии написали книгу-диалог о том, что такое индивидуальная психология. Не будьте такими душными, давайте лучше - проветримся!Подпишись в Телеграм на канал @progulkaApplePodcasts ; GooglePodcasts ; Spotify ; Я.музыкаSupport the show

Книга Уильяма Ирвайна о том, чему современный человек может научиться у философов Греции и Рима. Не будьте такими душными, давайте лучше - проветримся!Подпишись в Телеграм на канал @progulkaApplePodcasts ; GooglePodcasts ; Spotify ; Я.музыкаSupport the show

Programming robotics software has traditionally been a specialized field. The software industry has seen rapid progress, the operating system that provides the foundation for our software applications is taken care of by companies like Google, Microsoft, and other players like Canonical, Amazon, etc. The robotics industry still needs that OS layer that handles the complexities

The post Modern Robotics Platform with Eliot Horowitz appeared first on Software Engineering Daily.

Mach5 Search is a slide-in, cloud-native replacement for Elasticsearch and OpenSearch that immediately saves up to 90% in operating cost. Mach5 Search can run on top of Google BigQuery, Snowflake, and Databricks, or natively on Object Stores in all the major clouds. Vinayak Borkar is the CEO and Co-Founder of Mach5 Software and he joins

The post Cloud Native Search with Vinayak Borkar appeared first on Software Engineering Daily.

Metrist is an observability platform designed to commoditize application observability. Jeff Martens is the CEO of Metrist, and he joins us today. This episode is hosted by Lee Atchison. Lee Atchison is a software architect, author, and thought leader on cloud computing and application modernization. His most recent book, Architecting for Scale (O’Reilly Media) is

The post Observability for Your Cloud Dependencies with Jeff Martens appeared first on Software Engineering Daily.

In this podcast episode, we take a look at the intricacies of low-code data pipelines with Raj Bains, the founder of Prophecy.io. Raj shares valuable insights into how performant low-codedata pipelines are revolutionizing industries and transforming everyday operations. Raj discusses the founding story of Prophecy.io, the company’s mission, and its approach to democratizing the creation

The post Low-Code SQL on dbt Core with Raj Bains from Prophecy appeared first on Software Engineering Daily.

Cross Plane is an innovative open source control plane framework that helps companies provide managed access to cloud native control planes. Upbound provides a single global platform to build, deploy, and operate these internally managed control planes that are powered by cross plane. Bassam Tabbara is the CEO of Upbound, and he joins us today.

The post Cloud-native Control Planes with Bassam Tabbara appeared first on Software Engineering Daily.

When your application fails, finding the reason quickly is essential for limiting downtime. Often, most of the time it takes to repair a problem is taken by figuring out what exactly went wrong. Prompt Ops is a service designed to make tracing the answer to why something happened back to the original cause. This episode

The post PromptOps with Dev Nag appeared first on Software Engineering Daily.

In the Software Industry, Conferences are crucial for developers, offering learning, networking, and collaboration opportunities. Attendees stay updated on the latest technologies, gain new skills, and connect with peers. These events expose developers to industry trends, inspire innovation, and foster professional growth. Overall, Conferences play a vital role in advancing knowledge, building connections, and driving

The post Shift Conference with Ivan Burazin appeared first on Software Engineering Daily.

When Web Assembly was created it was supposed to be a compile target, where you could compile your favorite programming language and then execute it inside of a web browser. This made it possible for developers to choose a programming language like C++ for compute intensive applications. Fermyon is taking Web Assembly to the cloud.

The post Cloud-native WebAssembly with Matt Butcher appeared first on Software Engineering Daily.

The software supply chain refers to the process of creating and distributing software products. This includes all of the steps involved in creating, testing, packaging, and delivering software to end-users or customers. Socket is a new security company that can protect your most critical apps from supply chain attacks. They are taking an entirely new

The post Software Supply Chain with Feross Aboukhadijeh appeared first on Software Engineering Daily.

Chaos engineering is a discipline within the field of software engineering that focuses on testing and improving the resilience and stability of a system by intentionally introducing controlled instances of chaos and failure. The primary goal of chaos engineering is to identify and address potential weaknesses and vulnerabilities in a system, ultimately making it more

The post Chaos Engineering with Uma Mukkara appeared first on Software Engineering Daily.

The CAP theorem, also known as Brewer’s theorem, is a fundamental principle in distributed systems that states that it is impossible to simultaneously achieve three desirable properties in a distributed data system: Consistency, Availability, and Partition tolerance. Eric Brewer is the VP of Infrastructure & Google Fellow at Google and he joins us today. Jordi

The post CAP Theorem 23 Years Later with Eric Brewer appeared first on Software Engineering Daily.

Astasia is a Partner on Quiet Capital’s enterprise team. Prior to joining Quiet, she was an investor on Redpoint Venture’s early stage enterprise team. Astasia joins the show to talk about Early Stage Venture Capital. Sean’s been an academic, startup founder, and Googler. He has published works covering a wide range of topics from

The post Early Stage Venture Capital with Astasia Myers appeared first on Software Engineering Daily.

Ian Coldwater is a DevSecOps engineer turned red teamer who specializes in breaking and hardening Kubernetes, containers, and cloud native infrastructure. In their spare time, they like to go on cross-country road trips, capture flags, and eat a lot of pie. Ian lives in Minneapolis and tweets as @IanColdwater. Sponsorship inquiries: [email protected]

The post Kubernetes Security with Ian Coldwater appeared first on Software Engineering Daily.

Cloud native technologies empower organizations to build and run scalable applications in modern, dynamic environments such as public, private, and hybrid clouds. Containers, service meshes, microservices, immutable infrastructure, and declarative APIs exemplify this approach. These techniques enable loosely coupled systems that are resilient, manageable, and observable. Combined with robust automation, they allow engineers to make

The post Cloud Native in 2023 with Chris Aniszczyk appeared first on Software Engineering Daily.

The post GitOps for Kubernetes with Priyanka Ravi and Stefan Prodan appeared first on Software Engineering Daily.

В этом выпуске Хабр ПРО мы обсудили NFC: как работает эта технология, почему широко применяется в оплате и как будет развиваться.

Гости:

Андрей Ковригин, директор по продажам СБП (АО «НСПК»)

Александра Баженова, аналитик-разработчик

Эфир от 28 февраля 2023.

00:55 Знакомство с NFC: что это такое, как работает, где применяется и из чего выросло. 04:57 Курица или яйцо: это NFC пришла в платежи или сама выросла из технологии бесконтактной оплаты. Почему технология обрела популярность. 08:06 Вживить метку NFC: шутки и реальность. 09:05 Варианты оплаты с помощью NFC и их различия. 10:16 История появления NFC в СБП, и как технологию используют сейчас. 18:10 Почему при оплате с помощью меток необхо…

В вашей компании команды разработки и управления продуктом тоже никак не могут договориться? В этом выпуске обсудим, как достичь дзена между лебедем и щукой: Технический директор «Дзена» Дима Кондрашкин

Директор по продукту «Дзена» Саша Колокольников А в роли рака был Андрей Аврамчук — ведущий подкаста. Онлайн прошёл 2 февраля 2023. 1:47 Взаимодействие между разработкой и продактом: критерии хорошего процесса и доверие как ключевое условие. 6:54 Как определить готовность MVP: подходы в разработке и продукте. 10:54 Что делать, если идея не взлетела. 14:24 Неудачи как полезный опыт. 15:27 Распределение ответственности между CTO и CPO. 19:03 Синхронизация работы через OKR и смена направлений в…

Когда-то на создание новых ML-продуктов уходили недели и месяцы, а теперь результат должен быть в течение пары дней. В этом выпуске Хабр ПРО мы обсудили, как создать свою MLOps-платформу. Про то, как идет эта работа в Мегафоне, нам рассказали: → Максим Кожевников, Head of Data Science

→ Артём Глазунов, Head of ML Platform and Analytical services и ведущий подкаста «Данные люди» https://t.me/bigdatapeople. Тайминги:

01:22 Идеальный пайплайн для ML-моделей

03:22 Главное звено внедрения MLOps

08:13 Секрет успеха своей платформы

11:51 Как определить, что нужна своя платформа

17:09 Вредные советы: как убить ML-модель

21:27 Как разные задачи ML меняют конфигурацию MLOps

24:48 Проблемы продуктивиз…

Давным-давно, на заре эпохи Хэйсэй, Масахиро Хара придумал QR-код — новый формат меток для отслеживания деталей на автомобильном конвейере. Технология оказалась удачной, и спустя 30 лет продолжает проникать в нашу повседневную жизнь. В этом выпуске Хабр ПРО мы обсудили, чем же так удобны QR-коды, какие функции они выполняют в платежных системах и куда могут развиться дальше. Наши гости: → Екатерина Аккузина, руководитель центра развития мобильных платежей, Мир Plat.Form → Игорь Тростников, директор по развитию продуктов СБП, Мир Plat.Form 01:20 Почему технология QR-кодов сейчас так популярна

05:03 Чем технология QR-кодов удобна пользователям

05:36 Как работают платежи с использованием QR-ко…

Старт карьеры в ИТ похож на гонки на выживание: и там и там цели достигают не все. В этом выпуске — те, кто её достиг. Мы поговорили с Junior-разработчиками о том, как они строили карьеру, что им помогало, а что мешало. Итак, сегодня в нашей виртуальной студии

Толибжон Сохибов из Лаборатории Касперского,

Максим Набиуллин из Московского кредитного банка. 00:56 Почему именно ИТ

02:29 Чувствуется ли разница между теми, кто учит программирование со школы, и теми, кто с ним знакомится позже.

04:33 Нужно ли начинать учиться программированию рано

06:14 Самый сложный барьер при поиске работы

10:08 Откуда ждать помощи в обучении

11:44 Как ощущалась нехватка практического опыта

13:38 Как учат командн…

В книгах и фильмах про пиратов всегда были карты сокровищ. В современном мире карты и дополняющие их данные — сокровища сами по себе.

В этом выпуске говорим о геоданных и о том, как разработчики их используют. Завесу тайны над геоданными приоткроют:

Елена Гоголева, начальник управления аналитических исследований и инновационных технологий Промсвязьбанка,

Мария Сакиркина, продуктовый аналитик 2ГИС. 01:05 Где работают с геоданными

02:50 Можно ли считать пиратскую карту Джека Воробья геоданными

03:30 Задачи, в которых помогают геоданные

09:13 Как геоданные помогают выбирать места для магазинов, офисов и банкоматов

10:45 Типовые задачи при работе с данными

15:23 Спасут ли геоданные наш любимый …

-= Выпуск 73 =- Запись митапа “ИТМО говорит ChatGPT - да!” с моим минимальным предисловием. Сам митап я модерировал с колоссальным удовольствием, потому что на практике убедился, что в сильном вузе обсуждают не как ограничить или запретить новинку — а как ей полезней и интересней всего пользоваться; и студентам, и преподавателям. А если где с новой технологией начинают бороться — это про сам вуз говорит плохое, а не про технологию :) Запись с видео можно посмотреть

На фоне уже который месяц не спадающего интереса к ChatGPT и прочим большим языковым моделям я снова позвал в Трёп любимого собеседника — Ваню Ямщикова. Много лет он занимается обработкой естественного языка и языковыми моделями не только как практик, но и как ученый. Потому и его взгляды на происходящее и его ожидания от будущего, да еще в задорном и полемичном стиле изложенные, — очень своевременное и очень освежающее слушание. Несколько ссылок, упоминавшихся в разговоре: Выступление Вани на YaC-2018 про (прошлым летом, июль 2022) Статья в QuantaMagazine, которую Работа, в которой наглядно показано, что такое

-=Выпуск 71=- По традиции, под Новый год немного моего сольного трёпа про технологические итоги года уходящего и ожидания от года наступающего. Содержит для меня нетипичный фрагмент: хоть и не люблю я списки всяких персон года, решил объясниться, почему для меня в мире хайтека человеком уходящего года стал Илон Маск.

-=Выпуск 70=- Саша Капитонов рассказывает, какую научную фантастику он любит и почему считает ее полезной и для себя, и для студентов. Выпуск может быть источником чтива на приближающихся новогодних каникулах, но я специально не даю здесь ссылок на многочисленные упомянутые книжки: внимательно слушайте и ищите авторов и их произведения на своих любимых сервисах: тут вкусы бывают сильно разные.

-=Выпуск 69=- Настал сезон, чтоб оглянуться на уходящий потихоньку год: не хочу длинных списков; порассуждаю о всего лишь двух не столько событиях, сколько процессах, которыми лично мне запомнился пейзаж области высоких технологий в 2022. В рассказе я обещаю ссылки на прошлые подкасты здесь в тему метавселенной (в моем её понимании) и на статьи, где можно посмотреть на генеративную графику ныне модных инструментов и поверхностно сравнить их. Майский рассказ на конференции CodeFest-2022 в Новосибирске Первое здесь — как я её для себя понимал (больше года назад) Как полтора года назад из Мастерской-15 Видео со по текстовым описаниям Аналогичное а не ролика

Differential privacy is a rigorous and scientific definition of how to measure and understand privacy—today's "gold standard" for thinking through problems like anonymization.

DefinitionDifferential privacy is essentially a way to measure the privacy loss of an individual.

Once you know the maximum contribution and, therefore, the sensitivity, you can apply what is called a differential privacy mechanism.

This uncertainty allows you to bound the amount of privacy loss for an individual, and information gain for an attacker.

This uncertainty helps insert plausible deniability or reasonable doubt in differential privacy responses, which is how they guarantee privacy in a scientific and real s…

Based on frustrations with conventional framework-based dependency injection, I have adopted a composition strategy that utilizes partial application to inject context into modules.

TDD encourages incrementalism but I wanted to go even further, so I have taken a minimalist "function-first" approach to module composition.

At this point, I have a shell of a test with test dependencies missing.

If you are interested in how the test dependencies are initialized, you can see the results in the GitHub repo.

Anything that isn't a direct dependency, I leave where it is in test code.

Martin Fowler: 19 May 2023Recently I found that xref in Emacs had stopped working for me on my mac laptop.

The command flow between xref and dumb-jump is difficult to follow, but looking at the dumb-jump customization page alerted me to dumb-jump having a debug option.

By default it uses git grep while in a git repo (almost everything I do is in a git repo).

Its git grep command is quite complex, using regexps to (I assume) get more sensible results.

Reading that, I discovered that a change to git grep means that how git grep processes regexes differs depending on the operating system.

An experienced technical author explores using ChatGPT to assist with a number of writing projects.

One of the main tasks I hoped it would help me with was crafting ‘blips’ for the Thoughtworks Technology Radar.

Strengths and weaknesses of ChatGPT in technical writing On balance, I’d say ChatGPT has proven to be a useful tool in the technical writing process, but it’s not without its foibles.

Strengths: Knowledge: ChatGPT excels at instant recall of similar situations, facts, and ways others have discussed a subject.

Strategies for improving ChatGPT’s output ChatGPT can be a useful technical writing assistant, but the quality of the output depends heavily on how you use it.

You could ask ChatGPT to come up with a Stable Diffusion prompt for a technical author.

ChatGPT Using Stable Diffusion, you can generate a portrait of a technical author by providing detailed and descriptive prompts.

"A technical author with a friendly smile, holding a pen and a notepad, standing in front of a whiteboard filled with diagrams and notes."

"A creative technical author in a comfortable workspace, brainstorming ideas on a mind map, with multiple sticky notes and colored markers around."

"A technical author in a modern office, collaborating with colleagues on a large, shared screen, while taking notes and discussing ideas."

And vitest, react testing library for model, view model and related hooks, cypress component tests for view.

Local view model is implemented as React component props or states(by useState hook), unless for global local view model, which is also implemented as Redux store slice.

Don’t dispatch action directly to change the states of shared view model, use an encapsulated view model interface instead.

One possible prompt might be:Rewrite the master plan, and group tasks as model, view model and view.

Don’t dispatch action directly to change the states of shared view model, use an encapsulated view model interface instead.

Slack is the policy of deliberately leaving time that isn't allocated for stories, using that time for unplanned work.

A good way to introduce slack into planning is to use it to cope with the inherent uncertainty of planning.

In this situation the team can plan at their lowest consistent number (15) and treat the additional time as slack.

People often fear that slack will lead to idleness, but there are many productive ways to use that slack time.

Without slack, such work needs to be scheduled into the plan, increasing delay, and the cycle time of other teams.

I got into hobby board games while at school and have continued my involvement, these days streaming regularly on YouTube with Heavy Cardboard.

Then a couple of weeks ago that last champion - Gloomhaven - was toppled by exactly the kind of game that I like: Brass Birmingham.

The original Brass, now called Brass Lancashire, appeared in 2007 and has been a highly rated game, staying in BGG's top 40, ever since.

Brass Birmingham, which came out in 2018 isn't necessarily superior, despite being the one that took the top ranking.

They were driven by their love of the original Brass game, and wanted to take over its publication.

Martin Fowler: 18 Feb 2023Accessing Twitter this morning, I was greeted with a prompt saying that they were getting rid of text messages as a form of two-factor authentication unless you subscribed to Twitter Blue.

I thought “fine”, because I don’t use text messages for that, preferring a one-time code managed by 1Password.

It seems that Twitter had mistakenly deleted my one-time code link.

I don’t think this is a huge deal, as I just set up another one-time code.

But it’s the sort of thing that reinforces the impression that bits are steadily falling off Twitter.

This article explores the application of established UI building patterns to the React world, with a refactoring journey code example to showcase the benefits.

The emphasis is placed on how layering architecture can help organize the React application for improved responsiveness and future changes.

While I've put React application, there isn't such a thing as React application.

The evolution of a React application For small or one-off projects, you might find that all logic is just written inside React components.

Single Component Application It can be called pretty much a Single Component Application: Figure 1: Single Component Application But soon, you realise one single component require…

Aino Corry, author of "Retrospectives Antipatterns", is a teacher, a technical conference editor and retrospectives facilitator.

Retrospectives Antipatterns are descriptions of what can go wrong in that activity and how to remedy it.

With detailed scenarios, imaginative illustrations and step-by-step instructions, this book started my journey as a retrospective facilitator.

Their book helped me to plan shorter, more efficient retrospectives, but also contains tools for the facilitator that helped me with the actual process of planning the retrospectives in a more efficient way.

I wrote ”Retrospectives Antipatterns” to answer these questions, so that you can avoid making the same mistakes I …

This article explores the application of established UI building patterns to the React world, with a refactoring journey code example to showcase the benefits.

The emphasis is placed on how layering architecture can help organize the React application for improved responsiveness and future changes.

While I've put React application, there isn't such a thing as React application.

The evolution of a React application For small or one-off projects, you might find that all logic is just written inside React components.

Single Component Application It can be called pretty much a Single Component Application: Figure 1: Single Component Application But soon, you realise one single component require…

This article explores the application of established UI building patterns to the React world, with a refactoring journey code example to showcase the benefits.

The emphasis is placed on how layering architecture can help organize the React application for improved responsiveness and future changes.

While I've put React application, there isn't such a thing as React application.

The evolution of a React application For small or one-off projects, you might find that all logic is just written inside React components.

Single Component Application It can be called pretty much a Single Component Application: Figure 1: Single Component Application But soon, you realise one single component require…

One of the new features on Mastodon for a recovering twitterer is the CW field for new posts.

Mastodon is a federated network, so I have to accept that different parts of the community will have different standards.

My publisher is Thoughtworks, as that company controls the Mastodon server I post from.

Mastodon allows longer posts than Twitter, and I’ve seen even longer posts that I assume came from other Fediverse software.

Many Mastodon guides state that all political posts should be behind CWs.

The emphasis is placed on how layering architecture can help organize the React application for improved responsiveness and future changes.

While I've put React application, there isn't such a thing as React application.

With all this extra context, trying to squeeze everything into React components or hooks is generally not a good idea.

The evolution of a React application For small or one-off projects, you might find that all logic is just written inside React components.

Single Component Application It can be called pretty much a Single Component Application: Figure 1: Single Component Application But soon, you realise one single component requires a lot of time just to read what is goin…

Сравнение с соседями в SQLЭто заметка из серии «SQL-рецепты», в которой я описываю решения распространенных задач анализа данных в SQL.

Предположим, мы хотим сравнить каждую запись с соседними, ориентируясь на значения в одном или нескольких столбцах:Сравнить продажи за месяц с предыдущим месяцем (MoM-изменения) или с тем же месяцем в прошлом году (YoY-изменения).

Теперь посчитаем разницу каждого месяца с предыдущим в процентах:select year , month , expense , round ( ( expense - lag ( expense ) over w ) * 100 .

month , cur .

expense , cur .

Кодируем бинарные данные в текст и обратно.

LIMIT и FETCH в SQLЗанимательный факт: В SQL-стандарте не предусмотрен limit .

Все используют limit :select * from employees order by salary desc limit 5 ;┌────┬──────────┬────────────┬────────┐ │ id │ name │ department │ salary │ ├────┼──────────┼────────────┼────────┤ │ 25 │ Иван │ it │ 120 │ │ 23 │ Леонид │ it │ 104 │ │ 24 │ Марина │ it │ 104 │ │ 33 │ Анна │ sales │ 100 │ │ 31 │ Вероника │ sales │ 96 │ └────┴──────────┴────────────┴────────┘А согласно стандарту, следует использовать fetch :select * from employees order by salary desc fetch first 5 rows only ;fetch first N rows only делает то же, что и limit N . Но вообще fetch может больше.

Лимит с одинаковыми значениямиДопустим, мы хоти…

Сегментация данных в SQLЭто заметка из серии «SQL-рецепты», в которой я описываю решения распространенных задач анализа данных в SQL.

Предположим, мы хотим разбить данные на несколько сегментов, ориентируясь на значения в одном или нескольких столбцах.

ПримерРазобьем сотрудников из таблицы employees на три группы в зависимости от размера зарплаты:высокооплачиваемые,средние,низкооплачиваемые.

Если общее количество записей (10 в нашем случае) не делится на размер группы (3), то первые группы будут крупнее последних.

salary ) * 3 / ( select count ( * ) from employees ) ) + 1 as tile , name , salary from employees as e1 order by salary desc , id ;Хотите узнать больше об оконных функциях?

Тур по языку от самых основ до новейших фич.

select city , population , timezone from city ;whereОставляет в результате только те строки, которые подходят под условие.

select city , population from city order by population ;По умолчанию сортирует от меньшего к большему, но если добавить desc — то наоборот:select city , population from city order by population desc ;limitОставляет только первые N строк результата.

Обычно используется в связке с order byselect city , population from city order by population limit 5 ;ГруппировкаОбъединяем данные в группы и считаем сводные показатели.

Внутренний JOIN (он же INNER JOIN)Мы хотим выбрать записи из vacancy , но добавить к ним название работодателя ( employer.name ).

Если подходящее значение в…

SQL-рецепт: Ранжирование строкПредположим, мы хотим создать рейтинг, в котором позиция каждой записи определяется значением одного или нескольких столбцов.

ПримерОтранжируем сотрудников из таблицы employees по зарплате:select rank () over w as "rank" , name , department , salary from employees window w as ( order by salary desc ) order by "rank" , id ;Функция rank() присваивает каждому сотруднику ранг в соответствии с его зарплатой ( order by salary desc ).

Обратите внимание, что сотрудники с одинаковой зарплатой получили одинаковые ранги (Леонид и Марина, Вероника и Григорий).

СовместимостьВсе основные СУБД поддерживают оконные функции rank() и dense_rank() .

В этих случаях можно перенести…

Попросите ИИ объяснить или найти проблемы в SQL-запросе.

Telegram-бот, который использует официальное API OpenAI

Интерактивные SQL-примеры на JavaScriptЧитать про SQL хорошо, но пробовать запросы вживую еще лучше!

Поэтому я разработал виджеты, которые помогут вам превратить статичные SQL-запросы в статьях в интерактивные примеры.

Вот рабочий пример, попробуйте его:select * from employees limit 5;А вот четыре шага, которые помогут настроить интерактивные примеры в ваших статьях или документации:1.

sqlime-db.js — веб-компонент базы данных.

— веб-компонент базы данных.

Чтение и запись файлов в SQLiteИногда бывает удобно загрузить набор данных из внешнего файла или выгрузить результаты запроса в файл.

В отличие от других СУБД, добавить расширение в SQLite элементарно.

Построчно записать результаты в файлДопустим, мы хотим выгрузить записи лога с уровнем ERROR в отдельный файл.

name ), files ;Убедимся, что все записи логов попали в таблицу:select fname , count ( * ) from logs group by fname ;┌────────────────┬──────────┐ │ fname │ count(*) │ ├────────────────┼──────────┤ │ logs/app.log.1 │ 5 │ │ logs/app.log.2 │ 5 │ │ logs/app.log.3 │ 6 │ └────────────────┴──────────┘Порядок!

УстановкаСкачайте свежий релиз Подключите в командной строке SQLite ( sqlite.exe )…

В SQLite ничего такого нет.

Теперь выберем из него данные:select * from v_sales ;┌─────────┬──────┬──────┬──────┬──────┐ │ product │ 2020 │ 2021 │ 2022 │ 2023 │ ├─────────┼──────┼──────┼──────┼──────┤ │ alpha │ 100 │ 120 │ 130 │ 140 │ │ beta │ 10 │ 20 │ 40 │ 80 │ │ gamma │ 80 │ 75 │ 78 │ 80 │ └─────────┴──────┴──────┴──────┴──────┘Работает!

select load_extension ( './pivotvtab' ); create virtual table v_sales using pivot_vtab ( -- строки ( select distinct product from sales ), -- столбцы ( select distinct year , year from sales ), -- ячейки ( select sum ( income ) from sales where product = ?

2 ) );Дальше расширение само все сделает:select * from v_sales ;┌─────────┬──────┬──────┬──────┬───…

Избранные фичи Go 1.20Go 1.20 принес немало новых фич и улучшений.

Err ()) // context canceledНачиная с 1.20, контекст можно создать с помощью context.WithCancelCause() .

Println ( context .

И, начиная с версии 1.20, добавили три новые маски:DateTime = "2006-01-02 15:04:05" DateOnly = "2006-01-02" TimeOnly = "15:04:05"Теперь наконец-то можно делать так:t , _ := time .

CutPrefix ( s , "> " ) fmt .

Проверяйте текст по шаблону и заменяйте фрагменты прямо из SQL.

Композиция атомиков в GoАтомарная операция в многозадачной программе — отличная штука.

Int32 func increment () { counter .

Но первый пример при этом гарантирует итоговое значение counter в многозадачной среде:var counter atomic .

Int32 func increment () { counter .

Add ( 1 ) }Если запустить 100 горутин, counter в итоге будет равен 200 (если в процессе выполнения не было ошибок).