Data Engineering
про инжиниринг данных и аналитику
🏢 %company% Engineering
AirBnb Engineering
последний пост 3 weeks, 5 days назад
Journey Platform: A low-code tool for creating interactive user workflows
Journey Platform: A low-code tool for creating interactive user workflows Journey Platform: A low-code tool for creating interactive user workflows

Journey Platform: Low-code notification workflow platform that allows technical and non-technical users to create complex workflows through a simple drag and drop user interface.By: Arjun Raman, Ken Snyder, Mengting LiIntroductionEffective communication hinges on delivering the right message, to the right audience, at the right time. At Airbnb, our goal is to engage our users — both guests and hosts — by delivering inspirational and informational notifications through various channels, such as email or in-app messages.Historically at Airbnb, complex notification workflows have been solely managed by engineering teams, with each workflow requiring the deployment of code. As our platform evol…

3 weeks, 5 days назад @ medium.com
Flexible Continuous Integration for iOS
Flexible Continuous Integration for iOS Flexible Continuous Integration for iOS

How Airbnb leverages AWS, Packer, and Terraform to update macOS on hundreds Cl machines in hours instead of daysBy: Michael Bachand, Xianwen ChenAt Airbnb, we run a comprehensive suite of continuous integration (CI) jobs before each iOS code change is merged. These jobs ensure that the main branch remains stable by executing critical developer workflows like building the iOS application and running tests. We also schedule jobs that perform periodic tasks like reporting metrics and uploading artifacts.Many of our iOS CI jobs execute on Macs, which enables running developer tools provided by Apple. CI jobs for all other platforms at Airbnb execute in containers on Amazon EC2 Linux instances. …

3 weeks, 6 days назад @ medium.com
My Journey to Airbnb — Michael Kinoti
My Journey to Airbnb — Michael Kinoti My Journey to Airbnb — Michael Kinoti

My Journey to Airbnb — Michael KinotiSaying no to med school and following a dream all the way to Silicon ValleyBecoming a doctor and trying to make it as a DJ have both crossed Michael Kinoti’s mind at one time or another. Instead, we’re lucky to have Michael (who goes by Kinoti) as Airbnb’s Director of Engineering for the Marketing Technology team. He brings with him over 15 years of industry experience at Microsoft and Uber, as well as a global perspective from his childhood in Kenya. Kinoti is passionate about travel and having a large-scale social impact, qualities that align nicely with Airbnb’s mission and vision. Here’s Kinoti’s story in his own words.Doctor, lawyer, or engineer?Any…

1 month, 1 week назад @ medium.com
Improving Istio Propagation Delay
Improving Istio Propagation Delay Improving Istio Propagation Delay

A case study in service mesh performance optimizationby: Ying ZhuIntroductionIn this article, we’ll showcase how we identified and addressed a service mesh performance problem at Airbnb, providing insights into the process of troubleshooting service mesh issues.BackgroundAt Airbnb, we use a microservices architecture, which requires efficient communication between services. Initially, we developed a homegrown service discovery system called Smartstack exactly for this purpose. As the company grew, however, we encountered scalability issues¹. To address this, in 2019, we invested in a modern service mesh solution called AirMesh, built on the open-source Istio software. Currently, over 90% of…

2 months, 2 weeks назад @ medium.com
Building Airbnb Categories with ML & Human in the Loop
Building Airbnb Categories with ML & Human in the Loop Building Airbnb Categories with ML & Human in the Loop

Airbnb Categories Blog Series — Part II : ML CategorizationBy: Mihajlo Grbovic, Pei Xiong, Pratiksha Kadam, Ying Xiao, Aaron Yin, Weiping Peng, Shukun Yang, Chen Qian, Haowei Zhang, Sebastien Dubois, Nate Ney, James Furnary, Mark Giangreco, Nate Rosenthal, Cole Baker, Bill Ulammandakh, Shankar Shetty, Sid Reddy, Egor PakhomovAirbnb 2022 release introduced Categories, a browse focused product that allows the user to seek inspiration by browsing collections of homes revolving around a common theme, such as Lakefront, Countryside, Golf, Desert, National Parks, Surfing, etc. In Part I of our Categories Blog Series we covered the high level approach to creating Categories and showcasing them in …

2 months, 2 weeks назад @ medium.com
Prioritizing Home Attributes Based on Guest Interest
Prioritizing Home Attributes Based on Guest Interest Prioritizing Home Attributes Based on Guest Interest

How Airbnb leverages ML to derive guest interest from unstructured text data and provide personalized recommendations to HostsBy: Joy Jing and Jing XiaAt Airbnb, we endeavor to build a world where anyone can belong anywhere. We strive to understand what our guests care about and match them with Hosts who can provide what they are looking for. What better source for guest preferences than the guests themselves?We built a system called the Attribute Prioritization System (APS) to listen to our guests’ needs in a home: What are they requesting in messages to Hosts? What are they commenting on in reviews? What are common requests when calling customer support? And how does it differ by the home…

3 months, 2 weeks назад @ medium.com
Learning To Rank Diversely
Learning To Rank Diversely Learning To Rank Diversely

by Malay Haldar, Liwei He & Moose AbdoolAirbnb connects millions of guests and Hosts everyday. Most of these connections are forged through search, the results of which are determined by a neural network–based ranking algorithm. While this neural network is adept at selecting individual listings for guests, we recently improved the neural network to better select the overall collection of listings that make up a search result. In this post, we dive deeper into this recent breakthrough that enhances the diversity of listings in search results.How Does Ranking Work?The ranking neural network finds the best listings to surface for a given query by comparing two listings at a time and predictin…

4 months, 1 week назад @ medium.com
Making Airbnb’s Android app more accessible
Making Airbnb’s Android app more accessible Making Airbnb’s Android app more accessible

By: Julia Fu, Peter ElliottAt Airbnb, we have been consciously designing and building products to be equally usable by all users. Making our mobile apps and websites more accessible not only aligns with our company’s mission of creating a world where people can belong anywhere, but also supports the civil rights of people with disabilities and complies with the law.In this article, we highlight some of the efforts we have made to make the app more accessible, for example, labeling UI elements, grouping related content, supporting large font scale, providing heading and page names. The Airbnb app is one of the most popular travel apps with millions of users and supports many features. Making…

4 months, 3 weeks назад @ medium.com
When a Picture Is Worth More Than Words
When a Picture Is Worth More Than Words When a Picture Is Worth More Than Words

How Airbnb uses visual attributes to enhance the Guest and Host experienceBy Yuanpei Cao, Bill Ulammandakh, Hao Wang, and Tony HwangIntroductionOn Airbnb, our hosts share unique listings all over the world. There are hundreds of millions of accompanying listing photos on Airbnb. Listing photos contain crucial information about style and design aesthetics that are difficult to convey in words or a fixed list of amenities. Accordingly, multiple teams at Airbnb are now leveraging computer vision to extract and incorporate intangibles from our rich visual data to help guests easily find listings that suit their preferences.In previous blog posts titled WIDeText: A Multimodal Deep Learning Frame…

6 months назад @ medium.com
Motion Engineering at Scale
Motion Engineering at Scale Motion Engineering at Scale

How Airbnb is applying declarative design patterns to rapidly build fluid transition animationsBy: Cal StephensMotion is a key part of what makes a digital experience both easy and delightful to use. Fluid transitions between states and screens are key for helping the user preserve context as they navigate throughout a feature. Quick flourishes of animation make an app come alive, and help give it a distinct personality.At Airbnb we launch hundreds of features and experiments that have been developed by engineers across many teams. When building at this scale, it’s critical to consider efficiency and maintainability throughout our tech stack–and motion is no exception. Adding animations to …

6 months назад @ medium.com
Announcing Lottie 4.0 for iOS
Announcing Lottie 4.0 for iOS Announcing Lottie 4.0 for iOS

A new rendering engine with significant performance improvements powered by Core AnimationBy: Cal StephensLottie is Airbnb’s cross-platform, open source library for rendering vector motion graphics. We use Lottie extensively at Airbnb, and it also powers animations in thousands of other apps throughout the industry.Example Lottie animations included in Airbnb’s iOS appToday we’re releasing Lottie 4.0 for iOS. This major new release brings significant performance improvements to all Lottie animations, with a brand new rendering engine powered by Core Animation.Using Lottie at scale for many years, we’ve learned a lot about its performance characteristics in real-world use cases. We found tha…

6 months назад @ medium.com
How AI Text Generation Models Are Reshaping Customer Support at Airbnb
How AI Text Generation Models Are Reshaping Customer Support at Airbnb How AI Text Generation Models Are Reshaping Customer Support at Airbnb

Leveraging text generation models to build more effective, scalable customer support products.Gavin Li, Mia Zhao and Zhenyu ZhaoOne of the fastest-growing areas in modern Artificial Intelligence (AI) is AI text generation models. As the name suggests, these models generate natural language. Previously, most industrial natural language processing (NLP) models were classifiers, or what might be called discriminative models in machine learning (ML) literature. However, in recent years, generative models based on large-scale language models are rapidly gaining traction and fundamentally changing how ML problems are formulated. Generative models can now obtain some domain knowledge through large…

6 months, 2 weeks назад @ medium.com
Building Airbnb Categories with ML and Human-in-the-Loop
Building Airbnb Categories with ML and Human-in-the-Loop Building Airbnb Categories with ML and Human-in-the-Loop

Airbnb Categories Blog Series — Part IBy: Mihajlo Grbovic, Ying Xiao, Pratiksha Kadam, Aaron Yin, Pei Xiong, Dillon Davis, Aditya Mukherji, Kedar Bellare, Haowei Zhang, Shukun Yang, Chen Qian, Sebastien Dubois, Nate Ney, James Furnary, Mark Giangreco, Nate Rosenthal, Cole Baker, Bill Ulammandakh, Sid Reddy, Egor PakhomovFigure 1. Browsing listings by categories: Castles, Desert, Design, Beach & Countryside25 Years of Online Travel SearchOnline travel search hasn’t changed much in the last 25 years. The traveler enters her destination, dates, and the number of guests into a search interface, which dutifully returns a list of options that best meet the criteria. Eventually, Airbnb and other t…

6 months, 2 weeks назад @ medium.com
Mussel — Airbnb’s Key-Value Store for Derived Data
Mussel — Airbnb’s Key-Value Store for Derived Data Mussel — Airbnb’s Key-Value Store for Derived Data

Mussel — Airbnb’s Key-Value Store for Derived DataHow Airbnb built a persistent, high availability and low latency key-value storage engine for accessing derived data from offline and streaming events.By: Chandramouli Rangarajan, Shouyan Guo, Yuxi JinIntroductionWithin Airbnb, many online services need access to derived data, which is data computed with large scale data processing engines like Spark or streaming events like Kafka and stored offline. These services require a high quality derived data storage system, with strong reliability, availability, scalability, and latency guarantees for serving online traffic. For example, the user profiler service stores and accesses real-time and hi…

7 months, 4 weeks назад @ medium.com
Beyond A/B test : Speeding up Airbnb Search Ranking Experimentation through Interleaving
Beyond A/B test : Speeding up Airbnb Search Ranking Experimentation through Interleaving Beyond A/B test : Speeding up Airbnb Search Ranking Experimentation through Interleaving

Beyond A/B Test : Speeding up Airbnb Search Ranking Experimentation through InterleavingIntroduction of Airbnb interleaving experimentation framework, usage and approaches to address challenges in our unique businessQing Zhang, Michelle Du, Reid Andersen, Liwei HeIntroductionWhen a user searches for a place to stay on Airbnb, we aim to show them the best results possible. Airbnb’s relevance team actively works on improving search ranking experience and helps users to find and book listings that match their preference. A/B test is our approach for online assessment. Our business metrics are conversion-focused, and the frequency of guest travel transactions is lower than on other e-commerce p…

8 months назад @ medium.com
Netflix Engineering Netflix Engineering
последний пост 1 day, 19 hours назад
Native Frame Rate Playback
Native Frame Rate Playback Native Frame Rate Playback

by Akshay Garg, Roger QueroIntroductionMaximizing immersion for our members is an important goal for the Netflix product and engineering teams to keep our members entertained and fully engaged in our content. Leveraging a good mix of mature and cutting-edge client device technologies to deliver a smooth playback experience with glitch-free in-app transitions is an important step towards achieving this goal. In this article we explain our journey towards productizing a better viewing experience for our members by utilizing features and capabilities in consumer streaming devices.If you have a streaming device connected to your TV, such as a Roku Set Top Box (STB) or an Amazon FireTV Stick, yo…

1 day, 19 hours назад @ netflixtechblog.com
Ensuring the Successful Launch of Ads on Netflix
Ensuring the Successful Launch of Ads on Netflix Ensuring the Successful Launch of Ads on Netflix

By Jose Fernandez, Ed Barker, Hank JacobsIntroductionIn November 2022, we introduced a brand new tier — Basic with ads. This tier extended existing infrastructure by adding new backend components and a new remote call to our ads partner on the playback path. As we were gearing up for launch, we wanted to ensure it would go as smoothly as possible. To do this, we devised a novel way to simulate the projected traffic weeks ahead of launch by building upon the traffic migration framework described here. We used this simulation to help us surface problems of scale and validate our Ads algorithms.Basic with ads was launched worldwide on November 3rd. In this blog post, we’ll discuss the methods …

5 days, 16 hours назад @ netflixtechblog.com
Debugging a FUSE deadlock in the Linux kernel
Debugging a FUSE deadlock in the Linux kernel Debugging a FUSE deadlock in the Linux kernel

Tycho AndersenI work on the Compute team at Netflix, which is charged with managing all AWS and containerized workloads at Netflix, including autoscaling, deployment of containers, issue remediation, etc.This particular issue involved a custom internal FUSE filesystem: ndrive. It had been festering for some time, but needed someone to sit down and look at it in anger. This blog post describes how I poked at /procto get a sense of what was going on, before posting the issue to the kernel mailing list and getting schooled on how the kernel’s wait code actually works!Symptom: Stuck Docker Kill & A Zombie ProcessWe had a stuck docker API call:goroutine 146 [select, 8817 minutes]:net/http.(*pers…

2 weeks, 4 days назад @ netflixtechblog.com
ABAC on SpiceDB: Enabling Netflix’s Complex Identity Types
ABAC on SpiceDB: Enabling Netflix’s Complex Identity Types ABAC on SpiceDB: Enabling Netflix’s Complex Identity Types

By Chris Wolfe, Joey Schorr, and Victor Roldán BetancortIntroductionThe authorization team at Netflix recently sponsored work to add Attribute Based Access Control (ABAC) support to AuthZed’s open source Google Zanzibar inspired authorization system, SpiceDB. Netflix required attribute support in SpiceDB to support core Netflix application identity constructs. This post discusses why Netflix wanted ABAC support in SpiceDB, how Netflix collaborated with AuthZed, the end result–SpiceDB Caveats, and how Netflix may leverage this new feature.Netflix is always looking for security, ergonomic, or efficiency improvements, and this extends to authorization tools. Google Zanzibar is exciting to Netf…

2 weeks, 4 days назад @ netflixtechblog.com
Migrating Critical Traffic At Scale with No Downtime — Part 1
Migrating Critical Traffic At Scale with No Downtime — Part 1 Migrating Critical Traffic At Scale with No Downtime — Part 1

Migrating Critical Traffic At Scale with No Downtime — Part 1Shyam Gala, Javier Fernandez-Ivern, Anup Rokkam Pratap, Devang ShahHundreds of millions of customers tune into Netflix every day, expecting an uninterrupted and immersive streaming experience. Behind the scenes, a myriad of systems and services are involved in orchestrating the product experience. These backend systems are consistently being evolved and optimized to meet and exceed customer and product expectations.When undertaking system migrations, one of the main challenges is establishing confidence and seamlessly transitioning the traffic to the upgraded architecture without adversely impacting the customer experience. This b…

1 month назад @ netflixtechblog.com
Improved Alerting with Atlas Streaming Eval
Improved Alerting with Atlas Streaming Eval Improved Alerting with Atlas Streaming Eval

Ruchir Jha, Brian Harrington, Yingwu ZhaoTL;DRStreaming alert evaluation scales much better than the traditional approach of polling time-series databases.It allows us to overcome high dimensionality/cardinality limitations of the time-series database.It opens doors to support more exciting use-cases.Engineers want their alerting system to be realtime, reliable, and actionable. While actionability is subjective and may vary by use-case, reliability is non-negotiable. In other words, false positives are bad but false negatives are the absolute worst!A few years ago, we were paged by our SRE team due to our Metrics Alerting System falling behind — critical application health alerts reached en…

1 month, 1 week назад @ netflixtechblog.com
Building a Media Understanding Platform for ML Innovations
Building a Media Understanding Platform for ML Innovations Building a Media Understanding Platform for ML Innovations

By Guru Tahasildar, Amir Ziai, Jonathan Solórzano-Hamilton, Kelli Griggs, Vi IyengarIntroductionNetflix leverages machine learning to create the best media for our members. Earlier we shared the details of one of these algorithms, introduced how our platform team is evolving the media-specific machine learning ecosystem, and discussed how data from these algorithms gets stored in our annotation service.Much of the ML literature focuses on model training, evaluation, and scoring. In this post, we will explore an understudied aspect of the ML lifecycle: integration of model outputs into applications.An example of using Machine Learning to find shots of Eleven in Stranger Things and surfacing …

2 months, 3 weeks назад @ netflixtechblog.com
Elasticsearch Indexing Strategy in Asset Management Platform (AMP)
Elasticsearch Indexing Strategy in Asset Management Platform (AMP) Elasticsearch Indexing Strategy in Asset Management Platform (AMP)

By Burak Bacioglu, Meenakshi JindalAsset Management at NetflixAt Netflix, all of our digital media assets (images, videos, text, etc.) are stored in secure storage layers. We built an asset management platform (AMP), codenamed Amsterdam, in order to easily organize and manage the metadata, schema, relations and permissions of these assets. It is also responsible for asset discovery, validation, sharing, and for triggering workflows.Amsterdam service utilizes various solutions such as Cassandra, Kafka, Zookeeper, EvCache etc. In this blog, we will be focusing on how we utilize Elasticsearch for indexing and search the assets.Amsterdam is built on top of three storage layers.The first layer, …

2 months, 4 weeks назад @ netflixtechblog.com
Data Reprocessing Pipeline in Asset Management Platform @Netflix
Data Reprocessing Pipeline in Asset Management Platform @Netflix Data Reprocessing Pipeline in Asset Management Platform @Netflix

By Meenakshi JindalOverviewAt Netflix, we built the asset management platform (AMP) as a centralized service to organize, store and discover the digital media assets created during the movie production. Studio applications use this service to store their media assets, which then goes through an asset cycle of schema validation, versioning, access control, sharing, triggering configured workflows like inspection, proxy generation etc. This platform has evolved from supporting studio applications to data science applications, machine-learning applications to discover the assets metadata, and build various data facts.During this evolution, quite often we receive requests to update the existing…

2 months, 4 weeks назад @ netflixtechblog.com
NTS: Reliable Device Testing at Scale
NTS: Reliable Device Testing at Scale NTS: Reliable Device Testing at Scale

By Benson Ma, ZZ ZimmermanWith contributions from Alok Ahuja, Shravan Heroor, Michael Krasnow, Todor Minchev, Inder SinghIntroductionAt Netflix, we test hundreds of different device types every day, ranging from streaming sticks to smart TVs, to ensure that new version releases of the Netflix SDK continue to provide the exceptional Netflix experience that our customers expect. We also collaborate with our Partners to integrate the Netflix SDK onto their upcoming new devices, such as TVs and set top boxes. This program, known as Partner Certification, is particularly important for the business because device expansion historically has been crucial for new Netflix subscription acquisitions. T…

2 months, 4 weeks назад @ netflixtechblog.com
Data ingestion pipeline with Operation Management
Data ingestion pipeline with Operation Management Data ingestion pipeline with Operation Management

by Varun Sekhri, Meenakshi Jindal, Burak BaciogluIntroductionAt Netflix, to promote and recommend the content to users in the best possible way there are many Media Algorithm teams which work hand in hand with content creators and editors. Several of these algorithms aim to improve different manual workflows so that we show the personalized promotional image, trailer or the show to the user.These media focused machine learning algorithms as well as other teams generate a lot of data from the media files, which we described in our previous blog, are stored as annotations in Marken. We designed a unique concept called Annotation Operations which allows teams to create data pipelines and easil…

3 months назад @ netflixtechblog.com
Scaling Media Machine Learning at Netflix
Scaling Media Machine Learning at Netflix Scaling Media Machine Learning at Netflix

By Gustavo Carmo, Elliot Chow, Nagendra Kamath, Akshay Modi, Jason Ge, Wenbing Bai, Jackson de Campos, Lingyi Liu, Pablo Delgado, Meenakshi Jindal, Boris Chen, Vi Iyengar, Kelli Griggs, Amir Ziai, Prasanna Padmanabhan, and Hossein TaghaviFigure 1 - Media Machine Learning InfrastructureIntroductionIn 2007, Netflix started offering streaming alongside its DVD shipping services. As the catalog grew and users adopted streaming, so did the opportunities for creating and improving our recommendations. With a catalog spanning thousands of shows and a diverse member base spanning millions of accounts, recommending the right show to our members is crucial.Why should members care about any particular…

3 months, 3 weeks назад @ netflixtechblog.com
Discovering Creative Insights in Promotional Artwork
Discovering Creative Insights in Promotional Artwork Discovering Creative Insights in Promotional Artwork

By Grace Tang, Aneesh Vartakavi, Julija Bagdonaite, Cristina Segalin, and Vi IyengarWhen members are shown a title on Netflix, the displayed artwork, trailers, and synopses are personalized. That means members see the assets that are most likely to help them make an informed choice. These assets are a critical source of information for the member to make a decision to watch, or not watch, a title. The stories on Netflix are multidimensional and there are many ways that a single story could appeal to different members. We want to show members the images, trailers, and synopses that are most helpful to them for making a watch decision.In a previous blog post we explained how our artwork perso…

4 months, 1 week назад @ netflixtechblog.com
Scalable Annotation Service — Marken
Scalable Annotation Service — Marken Scalable Annotation Service — Marken

Scalable Annotation Service — Markenby Varun Sekhri, Meenakshi JindalIntroductionAt Netflix, we have hundreds of micro services each with its own data models or entities. For example, we have a service that stores a movie entity’s metadata or a service that stores metadata about images. All of these services at a later point want to annotate their objects or entities. Our team, Asset Management Platform, decided to create a generic service called Marken which allows any microservice at Netflix to annotate their entity.AnnotationsSometimes people describe annotations as tags but that is a limited definition. In Marken, an annotation is a piece of metadata which can be attached to an object f…

4 months, 1 week назад @ netflixtechblog.com
Ready-to-go sample data pipelines with Dataflow
Ready-to-go sample data pipelines with Dataflow Ready-to-go sample data pipelines with Dataflow

by Jasmine Omeke, Obi-Ike Nwoke, Olek GorajekIntroThis post is for all data practitioners, who are interested in learning about bootstrapping, standardization and automation of batch data pipelines at Netflix.You may remember Dataflow from the post we wrote last year titled Data pipeline asset management with Dataflow. That article was a deep dive into one of the more technical aspects of Dataflow and didn’t properly introduce this tool in the first place. This time we’ll try to give justice to the intro and then we will focus on one of the very first features Dataflow came with. That feature is called sample workflows, but before we start in let’s have a quick look at Dataflow in general.D…

6 months назад @ netflixtechblog.com
Pinterest Engineering
последний пост 4 weeks назад
An ML based approach to proactive advertiser churn prevention
An ML based approach to proactive advertiser churn prevention An ML based approach to proactive advertiser churn prevention

Erika Sun ML Engineer | Advertiser Growth Modeling Team; Ogheneovo Dibie Engineering Manager | Advertiser Growth Modeling TeamPhoto by Jason Blackeye on UnsplashSummaryIn this blog post, we describe a Machine Learning (ML) powered proactive churn prevention solution that was prototyped with our small & medium business (SMB) advertisers. Results from our initial experiment suggest that we can detect future churn with a high degree of predictive power and consequently empower our sales partners in mitigating churn. ML-powered proactive churn prevention can achieve better results than traditional reactive manual effort.IntroductionLike many ads-based businesses, at Pinterest, we are intently f…

4 weeks назад @ medium.com
Large-scale User Sequences at Pinterest
Large-scale User Sequences at Pinterest Large-scale User Sequences at Pinterest

User Understanding team: Zefan Fu, Minzhe Zhou, Neng Gu, Leo Zhang, Kimmie Hua, Sufyan Suliman | Software Engineer, Yitong Zhou | Software Engineering ManagerIndex Core Entity team: Dumitru Daniliuc, Jisong Liu, Kangnan Li | Software Engineer, Shunping Chiu | Software Engineering ManagerUnderstanding and responding to user actions and preferences is critical to delivering a personalized, high quality user experience. In this blog post, we’ll discuss how multiple teams joined together to build a new large-scale, highly-flexible, and cost-efficient user signal platform service, which indexes the relevant user events in near real-time, constructs them into user sequences, and makes it super ea…

1 month назад @ medium.com
Pinterest is now on HTTP/3
Pinterest is now on HTTP/3 Pinterest is now on HTTP/3

Liang Ma | Software Engineer, Core Eng; Scott Beardsley | Engineering Manager, Traffic; Haowei Yuan | Software Engineer, TrafficFigure 1 — HTTP/3 at PinterestNow Pinterest operates on HTTP/3. We have enabled HTTP/3 for major Pinterest production domains on our multi-CDN edge network, and we’ve upgraded client apps’ network stack to support the new protocol. This allows us to catch up with industry trends. Most importantly, faster and more reliable networking improves Pinners’ experience and business metrics.ContextNetwork performance (such as latency and throughput) is critical to Pinners’ experience.In 2021, a group of client networking enthusiasts at Pinterest started thinking about adopt…

3 months, 1 week назад @ medium.com
Employee-facing Mutual TLS
Employee-facing Mutual TLS Employee-facing Mutual TLS

Armen Tashjian | Security Engineer, Corporate SecurityThis blog article is the second part of our recently released blog: Enforcing Device AuthN & Compliance at Pinterest.IntroAs part of our device authentication and compliance initiative, Pinterest has implemented employee-facing mutual TLS with a custom identity provider in a way that results in a positive user experience.You may have heard of, or experienced first hand, some unpleasant behavior while attempting to authenticate with a certificate within a browser or application. Even the Wikipedia page for mutual TLS mentions that mTLS is a “..less user-friendly experience, [and] it’s rarely used in end-user applications…”.At Pinterest, w…

4 months, 1 week назад @ medium.com
Enforcing Device AuthN & Compliance at Pinterest
Enforcing Device AuthN & Compliance at Pinterest Enforcing Device AuthN & Compliance at Pinterest

Armen Tashjian | Security Engineer, Corporate SecurityIntroPinterest has enforced the use of managed and compliant devices in our Okta authentication flow, using a passwordless implementation, so that access to our tools always requires a healthy Pinterest device.Following the phishing-based attacks against our peers in the tech industry, Pinterest decided to take a two pronged approach to defend against similar attacks. We decided to:Require a managed and healthy Pinterest device be used to access all Pinterest resources, even when in the possession of valid credentialsRequire FIDO2 credentials for user authenticationIn this post, we’ll be focusing on how we required the use of Pinterest m…

4 months, 1 week назад @ medium.com
Build an end to end JSON logging system for clients apps
Build an end to end JSON logging system for clients apps Build an end to end JSON logging system for clients apps

Liang Ma | Software Engineer, Core Eng; Wei Zhu | Software Engineer, ObservabilityIn early 2020, during a critical iOS out of memory incident (we have a blogpost for that), we realized that we didn’t have much visibility of how the app is running or a good system to look up for monitoring and troubleshooting.State of loggingAt that time, on the client side, there were a few ways for logging in their daily work:Context logging: built for logging and reporting impressions or anything related to business, thus a time critical and first-class endpoint. Developers need to explicitly define keys that would otherwise be rejected by the endpoint. Some companies call it “analytics logging.”Misc: log…

4 months, 3 weeks назад @ medium.com
Improving the Player on Android
Improving the Player on Android Improving the Player on Android

Grey Skold | (former Android Video Engineer) ; Lin Wang | Android Performance Engineer; Sheng Liu | Android Performance EngineerPinterest Android App offers a rare experience with a mix of images and videos on a two-column grid. In order to maintain a performant video experience on Android devices, we focused on:Warming upConfigurationsPooling playersWarming UpIn order to reduce the startup latency, we establish a video network connection by sending a dummy HTTP HEAD request during the early application startup time. The same connection can be used to play future videos. This is done even before any video urls are returned from our server.The same strategy also applies to UI rendering. We f…

6 months назад @ medium.com
Flexible Daily Budgeting at Pinterest
Flexible Daily Budgeting at Pinterest Flexible Daily Budgeting at Pinterest

Kelvin Jiang, Software Engineer, Ads Intelligence | Keshava Subramanya, Engineering Manager, Ads Intelligence | Perrye Ogunwole, Product Manager, Ads IntelligenceIntroductionThe Ads Intelligence team at Pinterest builds products that help advertisers maximize the value they get out of their ad campaigns. As part of that initiative, we have recently launched Flexible Daily Budgets (FDB) to US advertisers in open beta.Figure 1: Flexible daily budgets option in the campaign create flowFDB is an automated ads product that benefits advertisers by distributing the advertising budget for each campaign across multiple days in an automated manner. The goals of this product are to:Enable advertisers …

6 months, 3 weeks назад @ medium.com
How Pinterest Leverages Realtime User Actions in Recommendation to Boost Homefeed Engagement Volume
How Pinterest Leverages Realtime User Actions in Recommendation to Boost Homefeed Engagement Volume How Pinterest Leverages Realtime User Actions in Recommendation to Boost Homefeed Engagement Volume

Xue Xia, Software Engineer, Homefeed Ranking; Neng Gu, Software Engineer, Content & User Understanding; Dhruvil Deven Badani, Engineering Manager, Homefeed Ranking; Andrew Zhai, Software Engineer, Advanced Technologies GroupImage from https://wallpapercave.com/neural-networks-wallpapers#google_vignetteIn this blog post, we will demonstrate how we improved Pinterest Homefeed engagement volume from a machine learning model design perspective — by leveraging realtime user action features in Homefeed recommender system.BackgroundThe Homepage of Pinterest is the one of most important surfaces for pinners to discover inspirational ideas and contributes to a large fraction of overall user engageme…

7 months назад @ medium.com
Watch your Manifest
Watch your Manifest Watch your Manifest

Lin Wang | Android Performance EngineerDesigned by AJ Oxendine | Software EngineerIt’s a well-known fact for Android developers that an app’s manifest (AndroidManifest.xml) holds crucial application declarations. It is rarely monitored after being set up because we assume it hardly ever changes. At Pinterest, however, we have been actively monitoring the manifest after realizing it does change every so often.While building an app, Gradle downloads all the dependent libraries to compile and link them with the app. These dependent libraries each have their own mini manifest. During the build process, Android Gradle Plugin (AGP) merges them with the app’s main manifest to form the final manife…

7 months, 1 week назад @ medium.com
Query Rewards: Building a Recommendation Feedback Loop During Query Selection
Query Rewards: Building a Recommendation Feedback Loop During Query Selection Query Rewards: Building a Recommendation Feedback Loop During Query Selection

Bella Huang | Software Engineer, Home Candidate Generation; Raymond Hsu | Engineer Manager, Home Candidate Generation; Dylan Wang | Engineer Manager, Home RelevanceIn Homefeed, ~30% of recommended pins come from pin to pin-based retrieval. This means that during the retrieval stage, we use a batch of query pins to call our retrieval system to generate pin recommendations. We typically use a user’s previously engaged pins, and a user may have hundreds (or thousands!) of engaged pins, so a key problem for us is: how do we select the right query pins from the user’s profile?User Profiling with PinnerSAGE OverviewAt Pinterest, we use PinnerSAGE as the main source of a user’s pin profile. Pinner…

7 months, 1 week назад @ medium.com
My Summer as a Software Engineering Intern at Pinterest Toronto!
My Summer as a Software Engineering Intern at Pinterest Toronto! My Summer as a Software Engineering Intern at Pinterest Toronto!

Khubi Shah | (former) Software Engineer Intern, Shopping Content MiningThis summer, I had the incredible opportunity to intern at the one and only Pinterest from the new engineering hub in Toronto!I am a final year undergraduate student from the University of Waterloo, majoring in Computer Science with an AI specialization. Growing up, Pinterest was always my go-to social media platform, as it inspired me with new ideas for food, fashion, design, or anything creative! As a result, when I was given the opportunity to join as a Software Engineering Intern this summer in Toronto, I was beyond thrilled to be a part of the company mission: to bring everyone the inspiration to create a life they …

7 months, 3 weeks назад @ medium.com
Online Data Migration from HBase to TiDB with Zero Downtime
Online Data Migration from HBase to TiDB with Zero Downtime Online Data Migration from HBase to TiDB with Zero Downtime

Ankita Girish Wagh | Senior Software Engineer, Storage and CachingIntroduction and MotivationAt Pinterest, HBase is one of the most critical storage backends, powering many online storage services like Zen (graph database), UMS (wide column datastore), and Ixia (near real time secondary indexing service). The HBase Ecosystem, though having various advantages like strong consistency at row level in high volume requests, flexible schema, low latency access to data, Hadoop integration, etc. cannot serve the needs of our clients for the next 3–5 years. This is due to high operational cost, excessive complexity, and missing functionalities like secondary indexes, support for transactions, etc.Af…

9 months, 3 weeks назад @ medium.com
Facebook
последний пост 2 weeks, 5 days назад
MSVP is Meta’s first video processing ASIC
MSVP is Meta’s first video processing ASIC

[...]

Read More...

The post MSVP is Meta’s first video processing ASIC appeared first on Engineering at Meta.

2 weeks, 5 days назад @ ai.facebook.com
Meta introduces its first-generation AI inference accelerator
Meta introduces its first-generation AI inference accelerator

[...]

Read More...

The post Meta introduces its first-generation AI inference accelerator appeared first on Engineering at Meta.

2 weeks, 5 days назад @ ai.facebook.com
Improving Instagram notification management with machine learning and causal inference
Improving Instagram notification management with machine learning and causal inference

We’re sharing how Meta is applying statistics and machine learning (ML) to improve notification personalization and management on Instagram – particularly on daily digest push notifications. By using causal inference and ML to identify highly active users who are likely to see more content organically, we have been able to reduce the number of notifications [...]

Read More...

The post Improving Instagram notification management with machine learning and causal inference appeared first on Engineering at Meta.

7 months, 1 week назад @ engineering.fb.com
Scaling data ingestion for machine learning training at Meta
Scaling data ingestion for machine learning training at Meta

Many of Meta’s products, such as search, ads ranking and Marketplace, utilize AI models to continuously improve user experiences. As the performance of hardware we use to support training infrastructure increases, we need to scale our data ingestion infrastructure accordingly to handle workloads more efficiently. GPUs, which are used for training infrastructure, tend to double [...]

Read More...

The post Scaling data ingestion for machine learning training at Meta appeared first on Engineering at Meta.

8 months, 2 weeks назад @ engineering.fb.com
Uber Engineering
последний пост None
Spotify Engineering Spotify Engineering
последний пост 1 week, 5 days назад
Multiple Layers of Abstraction in Design Systems
Multiple Layers of Abstraction in Design Systems

Check out our previous post — Customization & Configuration in Design Systems — for more about how we define APIs for design systems. The previous post on this topic explored two common paths that emerge in APIs — customization and configuration — each with its own pros and cons. Customization provides freedom and speed, while [...]

The post Multiple Layers of Abstraction in Design Systems appeared first on Spotify Engineering.

1 week, 5 days назад @ engineering.atspotify.com
Fleet Management at Spotify (Part 3): Fleet-wide Refactoring
Fleet Management at Spotify (Part 3): Fleet-wide Refactoring

Check out Part 1 and Part 2 of our series on Fleet Management at Spotify and how we manage our software at scale. For the third part of this Fleet Management series, we’ll discuss what we call “fleet-wide refactoring” of code across thousands of Git repos: the tools we’ve built to enable fleet-wide refactoring and [...]

The post Fleet Management at Spotify (Part 3): Fleet-wide Refactoring appeared first on Spotify Engineering.

3 weeks, 1 day назад @ engineering.atspotify.com
TV Spatial Navigation
TV Spatial Navigation

Very often, when developing user interfaces, a lot of focus is given to the visuals, as that’s what primarily gets a user’s attention. However, other aspects are equally impactful for making the experience great but can be overlooked, like the user’s input – how the user interacts with the app. It is completely understandable that [...]

The post TV Spatial Navigation appeared first on Spotify Engineering.

3 weeks, 6 days назад @ engineering.atspotify.com
Fleet Management at Spotify (Part 2): The Path to Declarative Infrastructure
Fleet Management at Spotify (Part 2): The Path to Declarative Infrastructure

Check out Part 1 of our series on Fleet Management at Spotify and how we manage our software at scale. At Spotify, we adopted the declarative infrastructure paradigm to evolve our infrastructure platform’s configuration management and control plane approach, allowing us to manage hundreds of thousands of cloud resources across tens of thousands of different [...]

The post Fleet Management at Spotify (Part 2): The Path to Declarative Infrastructure appeared first on Spotify Engineering.

1 month назад @ engineering.atspotify.com
Humans + Machines: A Look Behind Spotify’s Algotorial Playlists
Humans + Machines: A Look Behind Spotify’s Algotorial Playlists

TL;DR Since 2017, Spotify has been working to create a better listening experience for our users by applying the expertise of our curators with algorithmic personalization. The outcome of these efforts has resulted in what we call “Algotorial” playlists. The best of both worlds: Editorial and Algorithms Spotify has a library of playlists for almost [...]

The post Humans + Machines: A Look Behind Spotify’s Algotorial Playlists appeared first on Spotify Engineering.

1 month, 1 week назад @ engineering.atspotify.com
Spotify’s Shift to a Fleet-First Mindset (Part 1)
Spotify’s Shift to a Fleet-First Mindset (Part 1)

TL;DR Instead of performing 10 major software upgrades to our infrastructure every year, what if we did 10,000 small ones? Across our entire codebase? That’s the idea behind Fleet Management: by building automation tools that can safely make changes to thousands of repos at once, we can maintain the health of our tech infrastructure continuously [...]

The post Spotify’s Shift to a Fleet-First Mindset (Part 1) appeared first on Spotify Engineering.

1 month, 2 weeks назад @ engineering.atspotify.com
Large-Scale Generation of ML Podcast Previews at Spotify with Google Dataflow
Large-Scale Generation of ML Podcast Previews at Spotify with Google Dataflow

Integrating the Podz ML pipeline into Spotify As of March 8, 2023, Spotify has started serving short previews for music, podcasts, and audiobooks on the home feed. (You can see the announcement at Stream On on YouTube, starting at 19:15.) This is a huge lift for in-app content discovery — a move away from making [...]

The post Large-Scale Generation of ML Podcast Previews at Spotify with Google Dataflow appeared first on Spotify Engineering.

1 month, 3 weeks назад @ engineering.atspotify.com
Load Testing for 2022 Wrapped
Load Testing for 2022 Wrapped

Overview Wrapped is Spotify’s global annual year-end campaign that celebrates our listeners with a personalized review of their listening habits over the past year. Last year, with more than 150 million unique engaged users across more than 111 markets, the Wrapped engineering team had the extraordinary challenge of supporting traffic across many regions and from [...]

The post Load Testing for 2022 Wrapped appeared first on Spotify Engineering.

2 months, 1 week назад @ engineering.atspotify.com
Choosing Sequential Testing Framework — Comparisons and Discussions
Choosing Sequential Testing Framework — Comparisons and Discussions

TL;DR Sequential tests are the bread and butter for any company conducting online experiments. The literature on sequential testing has developed quickly over the last 10 years, and it’s not always easy to determine which test is most suitable for the setup of your company — many of these tests are “optimal” in some sense, [...]

The post Choosing Sequential Testing Framework — Comparisons and Discussions appeared first on Spotify Engineering.

2 months, 2 weeks назад @ engineering.atspotify.com
Encore x Accessibility: A Balancing Act
Encore x Accessibility: A Balancing Act

On the Encore team (Spotify’s design system), there’s nothing we love more than collaborating with our fellow squads — (1) because they have awesome squad names and (2) because they have awesome people. Enter our most recent collab with the Mandalorian squad, which is in charge of accessibility at Spotify — and aptly named, because [...]

The post Encore x Accessibility: A Balancing Act appeared first on Spotify Engineering.

2 months, 3 weeks назад @ engineering.atspotify.com
Getting More from Your Team Health Checks
Getting More from Your Team Health Checks

Watch Justin and Fiona speak about ‘Team Health Checks — One Size Does Not Fit All’ at the Spotify Engineering Conference in 2022. Spotify has for a long time run squad health checks. Squads step back from their day-to-day activities to get a broader perspective on how they are working, with the aim of improving [...]

The post Getting More from Your Team Health Checks appeared first on Spotify Engineering.

3 months назад @ engineering.atspotify.com
A Multi-Year Challenge: Repairing Deep Linking & Attribution at Spotify
A Multi-Year Challenge: Repairing Deep Linking & Attribution at Spotify

Deep linking and attribution are important functionalities for a growing business. Deep links seamlessly get you to the content you want in the app. Attribution helps us understand which activity (such as marketing or sharing) drives you to that content. At Spotify in 2017, these critical functionalities were in disrepair. But over the course of [...]

The post A Multi-Year Challenge: Repairing Deep Linking & Attribution at Spotify appeared first on Spotify Engineering.

3 months, 2 weeks назад @ engineering.atspotify.com
Incident Report: Spotify Outage on January 14, 2023
Incident Report: Spotify Outage on January 14, 2023

On January 14, between 00:15 UTC and 03:45 UTC, Spotify suffered an outage. The impact was small at first and increased over the course of an hour until most functionality (including playback) was not working. Spotify engineers were first notified of the problem at 00:40 UTC, and our incident response team was immediately assembled. Due [...]

The post Incident Report: Spotify Outage on January 14, 2023 appeared first on Spotify Engineering.

3 months, 3 weeks назад @ engineering.atspotify.com
Unleashing ML Innovation at Spotify with Ray
Unleashing ML Innovation at Spotify with Ray

Introduction As the field of machine learning (ML) continues to evolve and its impact on society and various aspects of our lives grows, it is becoming increasingly important for practitioners and innovators to consider a broader range of perspectives when building ML models and applications. This desire is driving the need for a more flexible [...]

The post Unleashing ML Innovation at Spotify with Ray appeared first on Spotify Engineering.

4 months назад @ engineering.atspotify.com
Agile Coaching (AC) at Spotify: Shining a Light on the AC Career Framework
Agile Coaching (AC) at Spotify: Shining a Light on the AC Career Framework

At Spotify, change is a constant, and our agile coaches are here to help teams and leaders thrive as we evolve. With agile principles famously part of our DNA, Spotify doesn’t need “transformation coaches,” as they are often known in the industry, but coaches who transform as organizational needs change. In the early 2010s, our [...]

The post Agile Coaching (AC) at Spotify: Shining a Light on the AC Career Framework appeared first on Spotify Engineering.

4 months, 2 weeks назад @ engineering.atspotify.com
Ripple Engineering Ripple Engineering
последний пост None
Dmitry Anoshin recommends
Snowflake
последний пост 23 часа назад
Deliver Data-Driven Decision-Making with the New Government & Education Data Cloud
Deliver Data-Driven Decision-Making with the New Government & Education Data Cloud

Today’s governmental and educational organizations can’t fully use the wealth of data they possess to improve citizen and student outcomes. Government agencies often deal with disparate and siloed data that can impact real-time decision-making. Securely exchanging information and collaborating on data remains an essential task in almost every agency strategy. But with legacy business processes […]

The post Deliver Data-Driven Decision-Making with the New Government & Education Data Cloud appeared first on Snowflake.

23 часа назад @ snowflake.com
Four Data Trends Redefining Success for the Modern Business
Four Data Trends Redefining Success for the Modern Business

When it comes to data, state of the art is an ever-moving target. There’s also a lot of hype around “cutting edge” that isn’t always grounded in reality. At Snowflake, we’re able to see how cutting-edge companies are actually working with data on our platform. In our inaugural Data Trends report we examine actual usage […]

The post Four Data Trends Redefining Success for the Modern Business appeared first on Snowflake.

1 day, 21 hours назад @ snowflake.com
How Snowpark+Streamlit Easily Delivers Machine Learning Apps in Snowflake
How Snowpark+Streamlit Easily Delivers Machine Learning Apps in Snowflake

A revolution in data analytics is coming soon. Why are we so sure? Because the enabling technologies are already deployed in Snowflake, and it’s spreading to nearly every function of our business. Best of all, you too can soon get your hands on this solution. For more than 10 years, Snowflake has been dedicated to […]

The post How Snowpark+Streamlit Easily Delivers Machine Learning Apps in Snowflake appeared first on Snowflake.

5 days, 16 hours назад @ snowflake.com
Customer 360 for Sports and Gaming Fans: The Data Science Best Practices You Need to Know
Customer 360 for Sports and Gaming Fans: The Data Science Best Practices You Need to Know

Sports and gaming companies are forging ahead with the use of data science as a competitive differentiator. According to an industry report, the global AI in media and entertainment market size was valued at $10.87 billion in 2021 and is estimated to grow 26.9% annually until 2030. Companies are continually innovating on ways to use […]

The post Customer 360 for Sports and Gaming Fans: The Data Science Best Practices You Need to Know appeared first on Snowflake.

5 days, 18 hours назад @ snowflake.com
Snowflake Connector for Microsoft Power Platform Now Available
Snowflake Connector for Microsoft Power Platform Now Available

Today, we’re excited to announce the Snowflake Connector for Microsoft Power Platform is now available. This connector provides instant access to up-to-date data within your Snowflake instance without manually integrating against API endpoints. Now anyone can easily build low-code applications or workflows on Power Platform that leverage Snowflake data without any previous technical or app […]

The post Snowflake Connector for Microsoft Power Platform Now Available appeared first on Snowflake.

6 days, 15 hours назад @ snowflake.com
Startup Spotlight: Making Snowflake Queries Smarter and Cheaper with Sundeck
Startup Spotlight: Making Snowflake Queries Smarter and Cheaper with Sundeck

Welcome to Snowflake’s Startup Spotlight, where we highlight the people and companies building businesses on Snowflake. In this Q&A series, Jacques Nadeau, Co-Founder and CEO of Sundeck and co-creator of Apache Arrow, talks about what inspires him to make powerful data tools available to all, how Sundeck’s query engineering platform can help Snowflake users, and […]

The post Startup Spotlight: Making Snowflake Queries Smarter and Cheaper with Sundeck appeared first on Snowflake.

6 days, 18 hours назад @ snowflake.com
3 Steps to Creating a Support-to-Product Feedback Loop in Your Organization
3 Steps to Creating a Support-to-Product Feedback Loop in Your Organization

In my last article, I outlined how we in Snowflake Support use contextual data about where our customers get stuck to improve the overall product experience. Now I’ll take you through how your organization can also implement these important feedback loops from support to product enhancements, to your company’s—and your user’s—benefit. Customers don’t wake up […]

The post 3 Steps to Creating a Support-to-Product Feedback Loop in Your Organization appeared first on Snowflake.

1 week назад @ snowflake.com
Snowflake acquires Neeva to accelerate search in the Data Cloud through generative AI
Snowflake acquires Neeva to accelerate search in the Data Cloud through generative AI

Search is fundamental to how businesses interact with data, and the search experience is evolving rapidly with new conversational paradigms emerging in the way we ask questions and retrieve information, enabled by generative AI. The ability for teams to discover precisely the right data point, data asset, or data insight is critical to maximizing the […]

The post Snowflake acquires Neeva to accelerate search in the Data Cloud through generative AI appeared first on Snowflake.

1 week, 6 days назад @ snowflake.com
How to Navigate Economic Headwinds When Selling in Asia
How to Navigate Economic Headwinds When Selling in Asia

After 30 years of working in tech across Asia, I’ve seen a lot of ups and downs in these markets. Not long ago, I wrote a blog about what US and European software companies can do to ensure their success when opening for business in the region. Now, as the US wavers between higher inflation […]

The post How to Navigate Economic Headwinds When Selling in Asia appeared first on Snowflake.

1 week, 6 days назад @ snowflake.com
New Snowflake Features Released in April 2023
New Snowflake Features Released in April 2023

In April, Snowflake released exciting features including general availability of Account Replication and the Snowflake Connector for Django on Snowflake Labs. Read on to learn about these enhancements and more. Cross-Cloud Snowgrid Account Replication expands replication beyond databases – general availability Account Replication, now generally available, expands replication beyond databases to account metadata and integrations, […]

The post New Snowflake Features Released in April 2023 appeared first on Snowflake.

2 weeks, 1 day назад @ snowflake.com
New Snowflake Features Released in April 2023
New Snowflake Features Released in April 2023

In April, Snowflake released exciting features including general availability of Account Replication and the Snowflake Connector for Django on Snowflake Labs. Read on to learn about these enhancements and more. Cross-Cloud Snowgrid Account Replication expands replication beyond databases – general availability Account Replication, now generally available, expands replication beyond databases to account metadata and integrations, […]

The post New Snowflake Features Released in April 2023 appeared first on Snowflake.

2 weeks, 1 day назад @ snowflake.com
Startup Spotlight: Simplifying Integration Development with Pipedream
Startup Spotlight: Simplifying Integration Development with Pipedream

Welcome to Snowflake’s Startup Spotlight, where we learn about innovative companies building businesses on Snowflake. In this edition, we’ll hear from Pipedream Co-Founder Dylan Sather about what it takes to build integrations right and how an engaged community becomes a powerful resource. Tell us about yourself. I’m Dylan Sather, co-founder and Software Engineer at Pipedream. […]

The post Startup Spotlight: Simplifying Integration Development with Pipedream appeared first on Snowflake.

2 weeks, 5 days назад @ snowflake.com
Real-Time Marketing Attribution Modeling With Snowplow and Snowflake
Real-Time Marketing Attribution Modeling With Snowplow and Snowflake

Multi-touch attribution (MTA) is a data-driven approach to measuring the impact of various marketing channels and touchpoints on a consumer’s journey toward making a purchase or completing a desired action. Unfortunately, marketers struggle with gaining such a view because most solutions make it difficult, if not impossible, to centralize data and deliver data-driven insights in […]

The post Real-Time Marketing Attribution Modeling With Snowplow and Snowflake appeared first on Snowflake.

3 weeks, 1 day назад @ snowflake.com
Snowflake Connector for Django Now Available
Snowflake Connector for Django Now Available

We’re excited to announce that the Snowflake Connector for Django is now available on Snowflake Labs on GitHub. This integration provides Django apps easy access to data within the Snowflake Data Cloud without manually integrating against API endpoints. Now Python developers can easily and quickly build web applications that access Snowflake data by leveraging the […]

The post Snowflake Connector for Django Now Available appeared first on Snowflake.

3 weeks, 4 days назад @ snowflake.com
Advancing Geospatial Analysis in Snowflake with a New Data Type: GEOMETRY
Advancing Geospatial Analysis in Snowflake with a New Data Type: GEOMETRY

GEOMETRY, a data type designed for those using local spatial reference systems (SRS), is now generally available in Snowflake. In addition, Snowflake has joined the Open Geospatial Consortium (OGC), an organization uniting over 500 businesses, government agencies, research organizations, and universities with the goal of making location information findable, accessible, interoperable, and reusable. GEOMETRY data […]

The post Advancing Geospatial Analysis in Snowflake with a New Data Type: GEOMETRY appeared first on Snowflake.

3 weeks, 6 days назад @ snowflake.com
Cloudera Cloudera
последний пост 1 month, 2 weeks назад
Using Dead Letter Queues with SQL Stream Builder
Using Dead Letter Queues with SQL Stream Builder

What is a dead letter queue (DLQ)? Cloudera SQL Stream builder gives non-technical users the power of a unified stream processing engine so they can integrate, aggregate, query, and analyze both streaming and batch data sources in a single SQL interface. This allows business users to define events of interest for which they need to […]

The post Using Dead Letter Queues with SQL Stream Builder appeared first on Cloudera Blog.

1 month, 2 weeks назад @ blog.cloudera.com
Trusted Data: Alchemy For Misinformation
Trusted Data: Alchemy For Misinformation

CDO Spotlight

The post Trusted Data: Alchemy For Misinformation appeared first on Cloudera Blog.

2 months, 1 week назад @ blog.cloudera.com
Materialized Views in SQL Stream Builder
Materialized Views in SQL Stream Builder

What are materialized views and how to configure them

The post Materialized Views in SQL Stream Builder appeared first on Cloudera Blog.

2 months, 2 weeks назад @ blog.cloudera.com
Implementing and Using UDFs in Cloudera SQL Stream Builder
Implementing and Using UDFs in Cloudera SQL Stream Builder

Developing and using custom User Defined Functions on SSB

The post Implementing and Using UDFs in Cloudera SQL Stream Builder appeared first on Cloudera Blog.

3 months, 2 weeks назад @ blog.cloudera.com
Job Notifications in SQL Stream Builder
Job Notifications in SQL Stream Builder

Special co-author credits: Adam Andras Toth, Software Engineer Intern With enterprises’ needs for data analytics and processing getting more complex by the day, Cloudera aims to keep up with these needs, offering constantly evolving, cutting-edge solutions to all your data related problems. Cloudera Stream Processing aims to take real-time data analytics to the next level. […]

The post Job Notifications in SQL Stream Builder appeared first on Cloudera Blog.

3 months, 3 weeks назад @ blog.cloudera.com
Spark Technical Debt Deep Dive
Spark Technical Debt Deep Dive

A study of the impact of suboptimal Spark code on performance

The post Spark Technical Debt Deep Dive appeared first on Cloudera Blog.

3 months, 4 weeks назад @ blog.cloudera.com
Optimizing the Energy Sector with Data Analytics
Optimizing the Energy Sector with Data Analytics

The move toward renewable energy has a distinct and significant impact on energy generation and distribution that needs to be carefully managed. Efficient use of data will therefore be critical to improving the competitiveness and productivity of assets, both traditional and renewable generation.

The post Optimizing the Energy Sector with Data Analytics appeared first on Cloudera Blog.

5 months, 2 weeks назад @ blog.cloudera.com
Cloudera Named a Leader in the 2022 Gartner® Magic Quadrant™ for Cloud Database Management Systems (DBMS)
Cloudera Named a Leader in the 2022 Gartner® Magic Quadrant™ for Cloud Database Management Systems (DBMS)

We are pleased to announce that Cloudera has been named a Leader in the 2022 Gartner® Magic Quadrant™ for Cloud Database Management Systems. Cloudera has been recognized in this cloud DBMS report since its inception in 2020. This year we’ve been named a Leader. This validates our significant momentum in global enterprises. And together, with […]

The post Cloudera Named a Leader in the 2022 Gartner® Magic Quadrant™ for Cloud Database Management Systems (DBMS) appeared first on Cloudera Blog.

5 months, 3 weeks назад @ blog.cloudera.com
Implement a Multi-Cloud Open Lakehouse with Apache Iceberg in Cloudera Data Platform
Implement a Multi-Cloud Open Lakehouse with Apache Iceberg in Cloudera Data Platform

Since we announced the general availability of Apache Iceberg in Cloudera Data Platform (CDP), Cloudera customers, such as Teranet, have built open lakehouses to future-proof their data platforms for all their analytical workloads. Cloudera partners are also benefiting from Apache Iceberg in CDP. For example, Modak Nabu is helping their enterprise customers accelerate data ingestion, […]

The post Implement a Multi-Cloud Open Lakehouse with Apache Iceberg in Cloudera Data Platform appeared first on Cloudera Blog.

5 months, 3 weeks назад @ blog.cloudera.com
Enriching Streams with Hive tables via Flink SQL
Enriching Streams with Hive tables via Flink SQL

Introduction Stream processing is about creating business value by applying logic to your data while it is in motion. Many times that involves combining data sources to enrich a data stream. Flink SQL does this and directs the results of whatever functions you apply to the data into a sink. Business use cases, such as […]

The post Enriching Streams with Hive tables via Flink SQL appeared first on Cloudera Blog.

6 months, 2 weeks назад @ blog.cloudera.com
Cloudera’s Open Data Lakehouse Supercharged with dbt Core(tm)
Cloudera’s Open Data Lakehouse Supercharged with dbt Core(tm)

Innovation Accelerator Spotlight: Data teams can collaborate to streamline data transformation and analytics pipelines in the open data lakehouse using any engine, and in any form factor to produce high quality data that your business can trust.

The post Cloudera’s Open Data Lakehouse Supercharged with dbt Core(tm) appeared first on Cloudera Blog.

8 months назад @ blog.cloudera.com
The Modern Data Lakehouse: An Architectural Innovation
The Modern Data Lakehouse: An Architectural Innovation

The promise of a modern data lakehouse architecture Imagine having self-service access to all business data, anywhere it may be, and being able to explore it all at once. Imagine quickly answering burning business questions nearly instantly, without waiting for data to be found, shared, and ingested. Imagine independently discovering rich new business insights from […]

The post The Modern Data Lakehouse: An Architectural Innovation appeared first on Cloudera Blog.

9 months назад @ blog.cloudera.com
Building Custom Runtimes with Editors in Cloudera Machine Learning
Building Custom Runtimes with Editors in Cloudera Machine Learning

Cloudera Machine Learning (CML) is a cloud-native and hybrid-friendly machine learning platform. It unifies self-service data science and data engineering in a single, portable service as part of an enterprise data cloud for multi-function analytics on data anywhere. CML empowers organizations to build and deploy machine learning and AI capabilities for business at scale, efficiently […]

The post Building Custom Runtimes with Editors in Cloudera Machine Learning appeared first on Cloudera Blog.

9 months, 2 weeks назад @ blog.cloudera.com
Smart Data
последний пост 5 days, 16 hours назад
AI Can Help Accelerate Development with Low-Code Frameworks
AI Can Help Accelerate Development with Low-Code Frameworks

Artificial intelligence technology is significantly changing the software development profession. According to Github, 1.2 million developers already rely on artificial intelligence technology to do their jobs. However, despite their knowledge about programming, many developers do not fully grasp the benefits that AI can bring to their profession. There are a number of reasons that they […]

5 days, 16 hours назад @ smartdatacollective.com
Data Analytics Helps Marketers Make the Most of Instagram Stories
Data Analytics Helps Marketers Make the Most of Instagram Stories

Big data technology has significantly changed the marketing profession over the last few years. One of the biggest changes brought on by big data has been in the field of social media marketing. Most savvy marketers recognize the importance of using analytics technology to optimize their strategies to get a higher ROI. One example of […]

6 days, 20 hours назад @ smartdatacollective.com
What to Know Before Recruiting an Analyst to Handle Company Data
What to Know Before Recruiting an Analyst to Handle Company Data

The rate of growth at which world economies are growing and developing thanks to new technologies in information data and analysis means that companies are needing to prepare accordingly. As a result of the benefits of business analytics, the demand for Data analysts is growing quickly. The Bureau of Labor Statistics reports that the role […]

1 week, 1 day назад @ smartdatacollective.com
Tackling Bias in AI Translation: A Data Perspective
Tackling Bias in AI Translation: A Data Perspective

The world of artificial intelligence (AI) is constantly changing, and we must be vigilant about the issue of bias in AI. AI translation systems, particularly machine translation (MT), are not immune to this, and we should always confront and overcome this challenge. Let us uncover its implications in AI translation and discover effective strategies to […]

1 week, 1 day назад @ smartdatacollective.com
How AI is Boosting the Customer Support Game
How AI is Boosting the Customer Support Game

Great customer support plays a central role in a company’s success and profitability. Businesses with an excellent reputation for customer service tend to do better overall and stay in business longer. Companies that miss the mark often lose customers and generate negative reviews online. Unfortunately, bad reviews can deter new customers. What makes some businesses […]

1 week, 6 days назад @ smartdatacollective.com
AI-Based Analytics Are Changing the Future of Credit Cards
AI-Based Analytics Are Changing the Future of Credit Cards

Few industries have been untouched by changes in artificial intelligence technology. However, the financial industry has been affected more than most others. Therefore, it should not be surprising to hear that the global market for AI in the financial services sector was worth $9.45 billion in 2021 and is growing at a rate of 16.5% a year. […]

2 weeks, 4 days назад @ smartdatacollective.com
Enterprises Are Leveraging the Benefits of AI-Driven ERPs
Enterprises Are Leveraging the Benefits of AI-Driven ERPs

AI technology has become crucial for modern businesses trying to maintain a competitive edge in the 21st Century. Around 35% of businesses are already using AI and another 42% plan to use it in the future. The rapid proliferation of ChatGPT has gained a lot of attention over the last few months, but it is […]

2 weeks, 6 days назад @ smartdatacollective.com
AI In Marketing: Is It Worth the Hype?
AI In Marketing: Is It Worth the Hype?

AI has been the latest controversy, as it may seem to eliminate the need for human working positions in most professions. Artists, especially, were vocal about their concerns about the technology, considering the system’s merging way of creating art. ChatGPT doesn’t seem to think about the importance of artists after it tells a writer they don’t […]

2 weeks, 6 days назад @ smartdatacollective.com
What Is The Advantage Of Using SDK in AI Technology?
What Is The Advantage Of Using SDK in AI Technology?

AI technology has taken off over the past year. While many discussions center around ChatGPT, some of the most critical developments in AI can be seen with mobile devices. Android, in particular, is one of the most popular smartphones that 2.5 billion people worldwide use. David Curry of Business of Apps points out that the […]

3 weeks назад @ smartdatacollective.com
Can AI Help Factories Lower Costs Enough To Survive The Coming Recession?
Can AI Help Factories Lower Costs Enough To Survive The Coming Recession?

The times are becoming tougher every day, and it doesn’t help that there’s a potential recession on the horizon. As early as now, you might be looking for ways to cut costs and keep your factory afloat. You understand that lowering costs is the key to surviving tough times, but you need help figuring out […]

1 month, 2 weeks назад @ smartdatacollective.com
How Does Next-Gen SIEM Prevent Data Overload For Security Analysts?
How Does Next-Gen SIEM Prevent Data Overload For Security Analysts?

Understaffed, with their budgets cut, and overworked — why does that describe the state of security operation centers today when businesses need effective protection more than ever? Cyber professionals are facing more hacking threats than ever before, there’s a shortage of skilled cybersecurity professionals and a flood of data that is coming from a large […]

1 month, 2 weeks назад @ smartdatacollective.com
5 Reasons to Hire a Marketing Agency that Knows Data Analytics
5 Reasons to Hire a Marketing Agency that Knows Data Analytics

Marketing is becoming more science than art due to digitization. Data-savvy marketers have access to valuable insights into their customers, performance, and opportunities for improvement. Marketing departments that don’t embrace analytics risk being outpaced by competitors and consumer expectations. A recent survey found that 73% of consumers expect marketers to anticipate their needs. Marketing analytics […]

1 month, 2 weeks назад @ smartdatacollective.com
5 Ways Layered Navigation Improves Business Intelligence Strategies
5 Ways Layered Navigation Improves Business Intelligence Strategies

Big data technology has had a number of important benefits for businesses in all industries. One of the biggest advantages is that big data helps companies utilize business intelligence. It is one of the biggest reasons that the market for big data is projected to be worth $273 billion by 2026. Companies are finding more […]

1 month, 3 weeks назад @ smartdatacollective.com
Using Predictive Analytics to Get the Best Deals on Amazon
Using Predictive Analytics to Get the Best Deals on Amazon

Predictive analytics technology has had a huge affect on our lives, even though we don’t usually think much about it. Therefore, it should not be a surprise that the market for predictive analytics tools will be worth an estimated $44 billion by 2030. There are many ways that predictive analytics is changing the way we […]

1 month, 3 weeks назад @ smartdatacollective.com
AI Is Changing the Automotive Industry Forever
AI Is Changing the Automotive Industry Forever

You probably have heard all about the role of ChatGPT. This tool got a lot of attention after many people realized how efficiently it can help people write content. We even wrote a post talking about ChatGPT as a content marketing tool. However, we have quickly realized that ChatGPT has benefits that go well beyond […]

2 months, 1 week назад @ smartdatacollective.com
Knoldus
последний пост 1 month, 1 week назад
Introduction to Resilience4j Circuit Breaker
Introduction to Resilience4j Circuit Breaker

Reading Time: 5 minutes In a microservice architecture, There are multiple services connecting threw each other and there is always the possibility that the other service being called is unavailable or unable to respond. So, what can we do then? Here resilience4j circuit breaker comes into the picture INTRODUCTION Resilience is essential for any system that needs to function effectively, and the resilience4j Circuit Breaker is no exception. The Continue Reading

The post Introduction to Resilience4j Circuit Breaker appeared first on Knoldus Blogs.

1 month, 1 week назад @ blog.knoldus.com
An Introduction to Kafka’s Internals
An Introduction to Kafka’s Internals

Reading Time: 6 minutes In this blog, we will get the opportunity to come across what Kafka is, and explain how Kafka works from the inside out. How does it replicate data between nodes, what happens if replication fails, and how do consumers scale-out automatically? Insights of Apache Kafka Kafka is a statistics streaming system that permits builders to react to new activities as they arise in real-time. Kafka Continue Reading

The post An Introduction to Kafka’s Internals appeared first on Knoldus Blogs.

1 month, 1 week назад @ blog.knoldus.com
Spring WebFlux — WebClient
Spring WebFlux — WebClient

Reading Time: 3 minutes Overview This Blog will see how we could use Spring WebFlux WebClient for making non-blocking HTTP requests. What Is the WebClient? Just put, the WebClient class which provides a common method for sending or receiving data from any local, intranet, or Internet resource which is identified by a URI. The WebClient class uses the WebRequest class which provides the access to resources. It is an interface that stands for Continue Reading

The post Spring WebFlux — WebClient appeared first on Knoldus Blogs.

1 month, 1 week назад @ blog.knoldus.com
Use-Cases of Apache HttpClient
Use-Cases of Apache HttpClient

Reading Time: 9 minutes This is Part 2 of an ongoing series of blogs explaining the use cases of Apache HttpClient(Part-1). This blog is going to take you a step ahead and help you know more about the various use cases such as Authentication, Connection Pooling, Cookie Management, GZIP Compression, Multithreading, Content-Encoding, Redirection, and Retries 1. Authentication It’s important to use secure connections (HTTPS) when sending sensitive information over Continue Reading

The post Use-Cases of Apache HttpClient appeared first on Knoldus Blogs.

1 month, 1 week назад @ blog.knoldus.com
MySql connection with Spring boot using JPA
MySql connection with Spring boot using JPA

Reading Time: 3 minutes Introduction Spring Boot is a popular Java-based framework that provides a rapid development environment for building web applications. One of the most important components of any web application is a database. In this blog, we will discuss how to establish an SQL connection in Spring Boot with JPA. SQL Connection with Spring Boot Spring Boot provides support for the Java Persistence API (JPA), which is Continue Reading

The post MySql connection with Spring boot using JPA appeared first on Knoldus Blogs.

1 month, 1 week назад @ blog.knoldus.com
Getting started with Zio-Http
Getting started with Zio-Http

Reading Time: 6 minutes What is Zio? ZIO is a functional programming library for building concurrent and asynchronous applications in Scala. It provides a set of composable and type-safe abstractions for managing side effects, such as IO, error handling, and concurrency primitives like fibers, promises, and queues. ZIO is designed to make it easier to write correct and performant concurrent code by providing a more expressive and composable API Continue Reading

The post Getting started with Zio-Http appeared first on Knoldus Blogs.

2 months назад @ blog.knoldus.com
Design Thinking in Project Management
Design Thinking in Project Management

Reading Time: 6 minutes Design thinking is a problem-solving approach that places the needs and experiences of the end-user at the center of the process. It is a human-centered approach to innovation and problem-solving that involves empathy, creativity, and experimentation. In project management, design thinking is used to develop innovative solutions to complex problems, with the goal of creating products or services that meet the needs of the end-user. Continue Reading

The post Design Thinking in Project Management appeared first on Knoldus Blogs.

2 months, 1 week назад @ blog.knoldus.com
Functional programming
Functional programming

Reading Time: 7 minutes Functional programming helps to solve problems in an easier way. Unlike other programming paradigms, such as imperative programming, functional programming focuses on what needs to be done rather than how it should be done. Functional programming also relies on higher-order functions, which are functions that take other functions as arguments or return functions as results. This allows for the composition of functions, which can simplify code Continue Reading

The post Functional programming appeared first on Knoldus Blogs.

2 months, 1 week назад @ blog.knoldus.com
Make Transitions in React with Material UI
Make Transitions in React with Material UI

Reading Time: 3 minutes A transition is an animation usually used to move content in or out of view. Transitions help to make a UI expressive and easy to use.

The post Make Transitions in React with Material UI appeared first on Knoldus Blogs.

2 months, 1 week назад @ blog.knoldus.com
How Does React updates DOM so Efficiently?
How Does React updates DOM so Efficiently?

Reading Time: 3 minutes In the browser, DOM manipulation is expensive and time-consuming, both in mounting and unmounting. Part of what makes React very performant is its Reconciliation algorithm. In short, it watches closely for differences, only updates the DOM when necessary, and tries to update only the parts which need to be changed. In this blog, we will explore how DOM manipulation gets easier with the reconciliation algorithm Continue Reading

The post How Does React updates DOM so Efficiently? appeared first on Knoldus Blogs.

2 months, 1 week назад @ blog.knoldus.com
Understanding the Basic Fundamentals of DNS
Understanding the Basic Fundamentals of DNS

Reading Time: 4 minutes In this blog, we will be gaining a basic understanding of Domain Name Systems (DNS) like what is DNS, what is an IP Address and how a DNS actually works. So stick to this blog, to learn the basic fundamentals of a Domain Name System. Introduction In the world of networking, computers don’t go by names as we humans do, they go by numbers. That’s Continue Reading

The post Understanding the Basic Fundamentals of DNS appeared first on Knoldus Blogs.

2 months, 1 week назад @ blog.knoldus.com
How to Implement Styling in Next.js
How to Implement Styling in Next.js

Reading Time: 5 minutes Styling is the most important aspect when you are developing any application. You might have the best functioning application but if your UI is not that great it is difficult to maintain active users. Styling is essential to build any web application. So, In this blog, we will be discussing how we can implement styling in Next.js and will see how we can implement global Continue Reading

The post How to Implement Styling in Next.js appeared first on Knoldus Blogs.

2 months, 2 weeks назад @ blog.knoldus.com
Reactive Programming in Java
Reactive Programming in Java

Reading Time: 4 minutes Reactive programming is a programming paradigm that focuses on asynchronous and event-driven programming. Reactive programming is designed to handle streams of data and events, and it has become popular in recent years due to the rise of modern web applications and the need for real-time data processing. Java, being a popular language for enterprise applications, has several libraries and frameworks that support reactive programming. In Continue Reading

The post Reactive Programming in Java appeared first on Knoldus Blogs.

2 months, 2 weeks назад @ blog.knoldus.com
Peeling Back the Layers: Exploring Onion Architecture
Peeling Back the Layers: Exploring Onion Architecture

Reading Time: 4 minutes Introduction Software architecture is an essential aspect of any software development project. It defines the structure of the software system and helps in achieving the desired qualities of the system. There are several software architecture patterns, and one of them is the Onion Architecture. In this blog, we will discuss Onion Architecture in detail. What is Onion Architecture? Onion Architecture is a software architecture pattern Continue Reading

The post Peeling Back the Layers: Exploring Onion Architecture appeared first on Knoldus Blogs.

2 months, 2 weeks назад @ blog.knoldus.com
Resilience4J: Introduction to Bulkhead
Resilience4J: Introduction to Bulkhead

Reading Time: 4 minutes Resilience4J is an open-source library that provides different resilience patterns for building resilient applications. Bulkhead is one of the patterns provided by Resilience4J to prevent the cascading failure of an application by limiting the resources used by a failed component. In this blog, we will discuss in detail what it is and how Resilience4J implements it. What is a Bulkhead? It is a physical barrier Continue Reading

The post Resilience4J: Introduction to Bulkhead appeared first on Knoldus Blogs.

2 months, 2 weeks назад @ blog.knoldus.com
We Cloud Data We Cloud Data
последний пост None
Learn Data Engineering Learn Data Engineering
последний пост None
SCRIBD
последний пост None
Data Quest
последний пост 5 months назад
Business Analyst Salaries in the US (January 2023)
Business Analyst Salaries in the US (January 2023)

The business analyst is an in-demand data science job with a highly competitive salary range. Here are the numbers for 2023. The job market is having a moment right now, and many people are considering a job switch. Enter the business analyst . . . Business analysts are trained data specialists with database and business […]

5 months назад @ dataquest.io
Why Learn SQL in 2023 (Analyzing 72,000 Job Listings)
Why Learn SQL in 2023 (Analyzing 72,000 Job Listings)

Learning SQL might not be as "sexy" as learning Python or R, but it's a fundamental skill for almost every data scientist and data analyst job. Here's why.

5 months назад @ dataquest.io
11 High-Paying Data Analytics Careers (January 2023)
11 High-Paying Data Analytics Careers (January 2023)

Thinking about kickstarting a career in data analytics? These 10 high-paying jobs may just be the motivation you need to learn more about the data science industry and gain the specific skills you need to succeed.

5 months назад @ dataquest.io
How to Become a Data Scientist in 2023 (An Actionable Guide)
How to Become a Data Scientist in 2023 (An Actionable Guide)

If you want to know how to become a data scientist, then you’re in the right place. I’ve been where you are, and now I want to help. A decade ago, I was just a college graduate with a history degree. I then became a machine learning engineer, data science consultant, and now CEO of […]

5 months, 1 week назад @ dataquest.io
SQL Certifications in 2023? (We Asked 15 Hiring Managers)
SQL Certifications in 2023? (We Asked 15 Hiring Managers)

Will getting a SQL certification actually help you get a data job? The answer to this question can be confusing, since there’s a lot of conflicting information out there. But don’t worry, we’ve got you covered. In this article, we’ll dispel some of the myths regarding SQL certification, shed light on how hiring managers view […]

5 months, 2 weeks назад @ dataquest.io
Data Science Certificates in 2023? (15 Recruiters Tell All)
Data Science Certificates in 2023? (15 Recruiters Tell All)

What certificate should I get for data science? We interviewed data science recruiters about job applications and none of them cared about certificates.

5 months, 2 weeks назад @ dataquest.io
15 Hiring Managers Reveal If Python Certifications Are Worth It
15 Hiring Managers Reveal If Python Certifications Are Worth It

What’s the best Python certificate to get? Python certifications can cost up to thousands of dollars. Are they worth your time?

5 months, 2 weeks назад @ dataquest.io
How to Become a Data Analyst (Step-By-Step) in 2023
How to Become a Data Analyst (Step-By-Step) in 2023

Since data is such an essential aspect of business intelligence, data analysts are very much in demand — and this trend is only increasing! The job is key for many types of projects, such as analyzing market trends or collecting data for political polls. If you want to learn to become a data analyst, you’re […]

6 months, 3 weeks назад @ dataquest.io
The Perfect Data Science Resume in 2023 (an 8-Step Guide)
The Perfect Data Science Resume in 2023 (an 8-Step Guide)

How can you get a data science job? It all starts with a great resume: one that frames your data analysis and data science projects in the right way.

8 months, 1 week назад @ dataquest.io
20 Interview Questions and Answers for Business Analysts (2023)
20 Interview Questions and Answers for Business Analysts (2023)

In this article, we’re sharing the 20 most common business analyst interview questions and answers that you could encounter during a job interview. Being ready for these questions can not only help you prepare for and feel more comfortable in an interview for a business analyst role, it can also identify the gaps you may […]

8 months, 2 weeks назад @ dataquest.io
Data Analytics Certifications: Do You Really Need One in 2023?
Data Analytics Certifications: Do You Really Need One in 2023?

Do I need a data analytics certificate? If you’re set on becoming a data analyst, you’ve no doubt asked yourself this question more than once. And you’re not alone. Even so, getting a straight answer about required certifications for data analysts is tricky. Why? Because there are dozens of companies offering data analytics certificates online. […]

9 months назад @ dataquest.io
Learn Data Journalism: Avoid My 3 Colossal Mistakes
Learn Data Journalism: Avoid My 3 Colossal Mistakes

Becoming a data journalist and learning to code isn't as difficult as you might think, but you have to approach it in the right way to avoid common mistakes.

9 months, 1 week назад @ dataquest.io
Infrastructure
AWS
последний пост 2 часа назад
Technology Innovation Institute trains the state-of-the-art Falcon LLM 40B foundation model on Amazon SageMaker
Technology Innovation Institute trains the state-of-the-art Falcon LLM 40B foundation model on Amazon SageMaker

This blog post is co-written with Dr. Ebtesam Almazrouei, Executive Director–Acting Chief AI Researcher of the AI-Cross Center Unit and Project Lead for LLM Projects at TII. United Arab Emirate’s (UAE) Technology Innovation Institute (TII), the applied research pillar of Abu Dhabi’s Advanced Technology Research Council, has launched Falcon LLM, a foundational large language model […]

2 часа назад @ aws.amazon.com
Build high-performance ML models using PyTorch 2.0 on AWS – Part 1
Build high-performance ML models using PyTorch 2.0 on AWS – Part 1

PyTorch is a machine learning (ML) framework that is widely used by AWS customers for a variety of applications, such as computer vision, natural language processing, content creation, and more. With the recent PyTorch 2.0 release, AWS customers can now do same things as they could with PyTorch 1.x but faster and at scale with […]

16 часов назад @ aws.amazon.com
Introducing Amazon EMR on EKS job submission with Spark Operator and spark-submit
Introducing Amazon EMR on EKS job submission with Spark Operator and spark-submit

Amazon EMR on EKS provides a deployment option for Amazon EMR that allows organizations to run open-source big data frameworks on Amazon Elastic Kubernetes Service (Amazon EKS). With EMR on EKS, Spark applications run on the Amazon EMR runtime for Apache Spark. This performance-optimized runtime offered by Amazon EMR makes your Spark jobs run fast […]

16 часов назад @ aws.amazon.com
Generate suggestions for leisure activities in real time with Amazon Neptune
Generate suggestions for leisure activities in real time with Amazon Neptune

DoGet App is a mobile application that connects friends for sharing in-person moments together. Suggestions for activities to engage in with friends are presented to users in card deck format: swiping up indicates no interest in an activity, and swiping down indicates interest and prompts a follow-up on when a user is available (such as […]

18 часов назад @ aws.amazon.com
Secure your applications running on Amazon RDS for SQL Server
Secure your applications running on Amazon RDS for SQL Server

Amazon Relational Database Service (Amazon RDS) for SQL Server supports several security features that can help you secure your application data on AWS. These features protect your data both in transit and at rest, while also providing separation of duties and auditing capabilities. The majority of these features are built into SQL Server and can […]

18 часов назад @ aws.amazon.com
Arrange your transcripts into paragraphs with Amazon Transcribe
Arrange your transcripts into paragraphs with Amazon Transcribe

Amazon Transcribe is a speech recognition service that generates transcripts from video and audio files in multiple supported languages and accents. It comes with a rich set of features, including automatic language identification, multi-channel and multi-speaker support, custom vocabularies, and transcript redaction. Amazon Transcribe supports two modes of operation: batch and streaming. In batch mode, […]

19 часов назад @ aws.amazon.com
Build machine learning-ready datasets from the Amazon SageMaker offline Feature Store using the Amazon SageMaker Python SDK
Build machine learning-ready datasets from the Amazon SageMaker offline Feature Store using the Amazon SageMaker Python SDK

Amazon SageMaker Feature Store is a purpose-built service to store and retrieve feature data for use by machine learning (ML) models. Feature Store provides an online store capable of low-latency, high-throughput reads and writes, and an offline store that provides bulk access to all historical record data. Feature Store handles the synchronization of data between […]

19 часов назад @ aws.amazon.com
AWS Glue Data Quality is Generally Available
AWS Glue Data Quality is Generally Available

We are excited to announce the General Availability of AWS Glue Data Quality. Our journey started by working backward from our customers who create, manage, and operate data lakes and data warehouses for analytics and machine learning. To make confident business decisions, the underlying data needs to be accurate and recent. Otherwise, data consumers lose […]

19 часов назад @ aws.amazon.com
Visualize data quality scores and metrics generated by AWS Glue Data Quality
Visualize data quality scores and metrics generated by AWS Glue Data Quality

AWS Glue Data Quality allows you to measure and monitor the quality of data in your data repositories. It’s important for business users to be able to see quality scores and metrics to make confident business decisions and debug data quality issues. AWS Glue Data Quality generates a substantial amount of operational runtime information during […]

19 часов назад @ aws.amazon.com
Set up alerts and orchestrate data quality rules with AWS Glue Data Quality
Set up alerts and orchestrate data quality rules with AWS Glue Data Quality

Alerts and notifications play a crucial role in maintaining data quality because they facilitate prompt and efficient responses to any data quality issues that may arise within a dataset. By establishing and configuring alerts and notifications, you can actively monitor data quality and receive timely alerts when data quality issues are identified. This proactive approach […]

19 часов назад @ aws.amazon.com
Set up advanced rules to validate quality of multiple datasets with AWS Glue Data Quality
Set up advanced rules to validate quality of multiple datasets with AWS Glue Data Quality

Data is the lifeblood of modern businesses. In today’s data-driven world, companies rely on data to make informed decisions, gain a competitive edge, and provide exceptional customer experiences. However, not all data is created equal. Poor-quality data can lead to incorrect insights, bad decisions, and lost opportunities. AWS Glue Data Quality measures and monitors the […]

20 часов назад @ aws.amazon.com
Getting started with AWS Glue Data Quality from the AWS Glue Data Catalog
Getting started with AWS Glue Data Quality from the AWS Glue Data Catalog

AWS Glue is a serverless data integration service that makes it simple to discover, prepare, and combine data for analytics, machine learning (ML), and application development. You can use AWS Glue to create, run, and monitor data integration and ETL (extract, transform, and load) pipelines and catalog your assets across multiple data stores. Hundreds of […]

20 часов назад @ aws.amazon.com
Deep dive on Amazon MSK tiered storage
Deep dive on Amazon MSK tiered storage

In the first post of the series, we described some core concepts of Apache Kafka cluster sizing, the best practices for optimizing the performance, and the cost of your Kafka workload. This post explains how the underlying infrastructure affects Kafka performance when you use Amazon Managed Streaming for Apache Kafka (Amazon MSK) tiered storage. We […]

20 часов назад @ aws.amazon.com
How SumUp made digital analytics more accessible using AWS Glue
How SumUp made digital analytics more accessible using AWS Glue

This is a guest blog post by Mira Daniels and Sean Whitfield from SumUp. SumUp is a leading global financial technology company driven by the purpose of leveling the playing field for small businesses. Founded in 2012, SumUp is the financial partner for more than 4 million small merchants in over 35 markets worldwide, helping […]

20 часов назад @ aws.amazon.com
Introducing in-place version upgrades with Amazon MWAA
Introducing in-place version upgrades with Amazon MWAA

Today, AWS is announcing the availability of in-place version upgrades for Amazon Managed Workflow for Apache Airflow (Amazon MWAA). This enhancement allows you to seamlessly upgrade your existing Apache Airflow version 2.x environments to newer available versions while retaining the workflow run history and environment configurations. You can now take advantage of the latest capabilities […]

1 day, 14 hours назад @ aws.amazon.com
AWS
последний пост 2 часа назад
Announcing Amazon Keyspaces Multi-Region Replication
Announcing Amazon Keyspaces Multi-Region Replication

Amazon Keyspaces (for Apache Cassandra) is a scalable, highly available, and managed Apache Cassandra-compatible database service. With Amazon Keyspaces, you can run your Cassandra workloads on AWS using the same Cassandra application code and developer tools that you use today. Today we are introducing Amazon Keyspaces Multi-Region Replication. Amazon Keyspaces Multi-Region Replication is a new […]

1 day, 15 hours назад @ aws.amazon.com
Use Amazon SageMaker Canvas to build machine learning models using Parquet data from Amazon Athena and AWS Lake Formation
Use Amazon SageMaker Canvas to build machine learning models using Parquet data from Amazon Athena and AWS Lake Formation

Data is the foundation for machine learning (ML) algorithms. One of the most common formats for storing large amounts of data is Apache Parquet due to its compact and highly efficient format. This means that business analysts who want to extract insights from the large volumes of data in their data warehouse must frequently use […]

1 day, 16 hours назад @ aws.amazon.com
Amazon SageMaker Automatic Model Tuning now automatically chooses tuning configurations to improve usability and cost efficiency
Amazon SageMaker Automatic Model Tuning now automatically chooses tuning configurations to improve usability and cost efficiency

Amazon SageMaker Automatic Model Tuning has introduced Autotune, a new feature to automatically choose hyperparameters on your behalf. This provides an accelerated and more efficient way to find hyperparameter ranges, and can provide significant optimized budget and time management for your automatic model tuning jobs. In this post, we discuss this new capability and some […]

1 day, 16 hours назад @ aws.amazon.com
Train a Large Language Model on a single Amazon SageMaker GPU with Hugging Face and LoRA
Train a Large Language Model on a single Amazon SageMaker GPU with Hugging Face and LoRA

This post is co-written with Philipp Schmid from Hugging Face. We have all heard about the progress being made in the field of large language models (LLMs) and the ever-growing number of problem sets where LLMs are providing valuable insights. Large models, when trained over massive datasets and several tasks, are also able to generalize […]

1 day, 16 hours назад @ aws.amazon.com
Advanced patterns with AWS SDK for pandas on AWS Glue for Ray
Advanced patterns with AWS SDK for pandas on AWS Glue for Ray

AWS SDK for pandas is a popular Python library among data scientists, data engineers, and developers. It simplifies interaction between AWS data and analytics services and pandas DataFrames. It allows easy integration and data movement between 22 types of data stores, including Amazon Simple Storage Service (Amazon S3), Amazon Athena, Amazon Redshift, and Amazon OpenSearch […]

1 day, 17 hours назад @ aws.amazon.com
Announcing the launch of new Hugging Face LLM Inference containers on Amazon SageMaker
Announcing the launch of new Hugging Face LLM Inference containers on Amazon SageMaker

This post is co-written with Philipp Schmid and Jeff Boudier from Hugging Face. Today, as part of Amazon Web Services’ partnership with Hugging Face, we are excited to announce the release of a new Hugging Face Deep Learning Container (DLC) for inference with Large Language Models (LLMs). This new Hugging Face LLM DLC is powered […]

1 day, 18 hours назад @ aws.amazon.com
Enable complex row-level security in embedded dashboards for non-provisioned users in Amazon QuickSight with OR-based tags
Enable complex row-level security in embedded dashboards for non-provisioned users in Amazon QuickSight with OR-based tags

Amazon QuickSight is a fully managed, cloud-native business intelligence (BI) service that makes it easy to connect to your data, create interactive dashboards, and share these with tens of thousands of users, both within QuickSight and embedded in your software as a service (SaaS) applications. QuickSight Enterprise edition started supporting nested conditions within row-level security […]

1 day, 18 hours назад @ aws.amazon.com
Best practices for migrating SQL Server MERGE statements to Babelfish for Aurora PostgreSQL
Best practices for migrating SQL Server MERGE statements to Babelfish for Aurora PostgreSQL

To migrate a SQL Server database to Babelfish for Aurora PostgreSQL, you usually need to perform both automated and manual tasks. The automated tasks involve automatic code conversion using the Babelfish Compass tool with the -rewrite flag and data migration using AWS Database Migration Service (AWS DMS). The manual tasks involve database compatibility check using […]

1 day, 22 hours назад @ aws.amazon.com
BWH Hotels scales enterprise business intelligence adoption while reducing costs with Amazon QuickSight
BWH Hotels scales enterprise business intelligence adoption while reducing costs with Amazon QuickSight

This is a guest post by Joseph Landucci from BWH Hotels. In their own words, “BWH Hotels is a leading, global hospitality enterprise comprised of three hotel companies, including WorldHotels, Best Western Hotels & Resorts and SureStay Hotels. Our mission is to deliver trusted guest experiences, drive hotel success and foster a caring, inclusive culture that respects […]

4 days, 16 hours назад @ aws.amazon.com
Stream data with Amazon DocumentDB, Amazon MSK Serverless, and Amazon MSK Connect
Stream data with Amazon DocumentDB, Amazon MSK Serverless, and Amazon MSK Connect

A common trend in modern application development and data processing is the use of Apache Kafka as a standard delivery mechanism for data pipeline and fan-out approach. Amazon Managed Streaming for Apache Kafka (Amazon MSK) is a fully-managed, highly available, and secure service that makes it simple for developers and DevOps managers to run applications […]

4 days, 18 hours назад @ aws.amazon.com
Migrate from Google BigQuery to Amazon Redshift using AWS Glue and Custom Auto Loader Framework
Migrate from Google BigQuery to Amazon Redshift using AWS Glue and Custom Auto Loader Framework

Amazon Redshift is a widely used, fully managed, petabyte-scale cloud data warehouse. Tens of thousands of customers use Amazon Redshift to process exabytes of data every day to power their analytic workloads. Customers are looking for tools that make it easier to migrate from other data warehouses, such as Google BigQuery, to Amazon Redshift to […]

4 days, 21 hours назад @ aws.amazon.com
Cross-account Amazon Aurora MySQL migration with Aurora cloning and binlog replication for reduced downtime
Cross-account Amazon Aurora MySQL migration with Aurora cloning and binlog replication for reduced downtime

Migrating your relational databases on Amazon Aurora MySQL-Compatible Edition from one AWS account to another AWS account is a common use case in scenarios when you acquire, sell, or merge operations, or if you’re reorganizing your AWS accounts and organizational structure. These migrations can be complex, especially for large workloads. It is important to perform […]

4 days, 21 hours назад @ aws.amazon.com
Real-time inference using deep learning within Amazon Kinesis Data Analytics for Apache Flink
Real-time inference using deep learning within Amazon Kinesis Data Analytics for Apache Flink

Apache Flink is a framework and distributed processing engine for stateful computations over data streams. Amazon Kinesis Data Analytics for Apache Flink is a fully managed service that enables you to use an Apache Flink application to process streaming data. The Deep Java Library (DJL) is an open-source, high-level, engine-agnostic Java framework for deep learning. […]

5 days, 16 hours назад @ aws.amazon.com
Migrate SQL Server databases in Azure to Amazon RDS Custom for SQL Server using backup and bacpac files and Amazon S3
Migrate SQL Server databases in Azure to Amazon RDS Custom for SQL Server using backup and bacpac files and Amazon S3

In this post we show you how to migrate from Azure to Amazon Relational Database Service (Amazon RDS) Custom for SQL Server. using the native backup and restore method. We also dive deep into the data-tier application backup package file. Amazon RDS Custom for SQL Server is a managed database service for legacy, custom, and […]

5 days, 17 hours назад @ aws.amazon.com
Implement a multi-object tracking solution on a custom dataset with Amazon SageMaker
Implement a multi-object tracking solution on a custom dataset with Amazon SageMaker

The demand for multi-object tracking (MOT) in video analysis has increased significantly in many industries, such as live sports, manufacturing, and traffic monitoring. For example, in live sports, MOT can track soccer players in real time to analyze physical performance such as real-time speed and moving distance. Since its introduction in 2021, ByteTrack remains to […]

5 days, 17 hours назад @ aws.amazon.com
Astronomer Astronomer
последний пост None
DBT — Data Build Tool DBT — Data Build Tool
последний пост None
FiveTran FiveTran
последний пост None
DataBricks
последний пост None
Mix
/r/DataEngineering
последний пост 1 час назад
Using spot with AWS Batch
Using spot with AWS Batch

I find it incredibly cheap to use spot with AWS Batch, but in the last week or so i've started seeing a lot more instances being terminated. I guess there's more demand at the moment, everyone training their LLMs!!! But i guess this is your choice though right - basically don't use spot if you want reliability? How do others manage this balance? submitted by /u/codek1 [link] [comments]

1 час назад @ reddit.com
Airflow- am i missing something? Why does it need to be run on a large cluster with lots of workers?
Airflow- am i missing something? Why does it need to be run on a large cluster with lots of workers?

Our use cases for airflow will almost entirely involve it triggering other services that do the heavy lifting and have their own compute. I am really struggling to understand why I would need a full on cluster with separate workers, scheduler and webserver. Could I get away with deploying it on say a single ec2 instance or am I missing something obvious? submitted by /u/the-data-scientist [link] [comments]

2 часа назад @ reddit.com
What API's Data formats do you use?
What API's Data formats do you use?

I have an idea on how to completely change how you write data science analytics and ETL. It is based on an assumption around data formats and common ways data is delivered. So it would be really nice to have a collection of data schemas and API's to throw at what I am trying to do and see where it doesn't work. I've never been involved in acquiring data and my googling so far suggests the more I personally know about a domain the more likely I can find a service selling data for it. I am not an expert in all domains and my theory should work in all (not much point to it, if it doesn't). So I thought I would ask the community, what services/schemas are typical for you? submitted by /u/stevec…

2 часа назад @ reddit.com
R vs Python
R vs Python R vs Python

submitted by /u/Whole-Seesaw-1507 [link] [comments]

3 часа назад @ reddit.com
My weekly summary from data engineering topics and interesting articles
My weekly summary from data engineering topics and interesting articles

The title summarizes it pretty well. I write summaries of data engineering topics that I am interested in and to keep up with it regularly, I do it publicly because, well, it forces me to do it regularly. :) Please check it out if you are interested. https://patrikbraborec.substack.com/p/data-news-30 submitted by /u/AmphibianInfamous574 [link] [comments]

4 часа назад @ reddit.com
what to Expect for Analytics Engineer Interviews
what to Expect for Analytics Engineer Interviews

I have an interview for Analytics Engineer , what kind of questions i can expect? submitted by /u/Wonderful_Moose_3695 [link] [comments]

4 часа назад @ reddit.com
Improving Data Integration Test Performance with Mock
Improving Data Integration Test Performance with Mock Improving Data Integration Test Performance with Mock

submitted by /u/Luxi36 [link] [comments]

5 часов назад @ reddit.com
What is catalog in prestodb
What is catalog in prestodb

I am reading this part of the documentation, and I came across this line A Presto catalog contains schemas and references a data source via a connector I really don't understand what catalogs are and how they relate to schemas. Connectors on the other hand sounds understandable enough. It later then said Catalogs are defined in properties files stored in the Presto configuration directory. So I thought to better understand catalogs and how they relate to schemas, I can take a look at how they are defined. So I went to check the defaults ones and I see bash-4.2# cat jmx.properties connector.name=jmx So I only see a connector being defined here. But if I use the presto-cli I can list the cata…

5 часов назад @ reddit.com
Looking for a MLOps Stack for Docker
Looking for a MLOps Stack for Docker

I am looking for a solid stack to start with data-science. - Pandas - NumPy - scikit-learn - TensorFlow - PyTorch - Keras - Jupyter Notebook - ... ​ can anyone refer to such a stack, which i can deploy on my docker-server? ​ tyvm!! submitted by /u/alber7777 [link] [comments]

5 часов назад @ reddit.com
Information Management Matrix
Information Management Matrix

Hey data experts and enthusiasts! I've had a look for relevant posts and couldn't find any, but please direct me if you know of one. I'm also only an application admin and not an experienced data analyst so apologies for any incorrect terminology. I manage the primary apps and integrations for my company, which includes tools for marketing, PSA/CRM, quoting , process mapping etc (we're an MSP). I've been tasked with a "data maturity" piece that I'm not sure how to begin. Our CTO would like a comprehensive understanding of all of the data we manage across our application stack (about 20 mostly SAAS tools, some of which I don't manage directly). He would like to know the type of field (text i…

6 часов назад @ reddit.com
What skills to develop to become a solid DE?
What skills to develop to become a solid DE?

In my 4 years of work experience as a BI Analyst/Engineer in a top tech company, I have worked majorly on SQL, Tableau and QuickSight for 3 of those 4 years. But since last 1 year I've been working in a DE role. For the DE role I had to rebuild my tech skills as I worked on Crawlers, Glue, Pyspark, Lambda, Redshift and data modelling. Barely scratched the surface on these as the business need was to move fast from one project to another. Major use cases have been moving data from S3 to Redshift or data lake. Sometimes with minimal processing in between. I had never worked on Python before so coding in Pyspark was bit of a learning curve but I really enjoyed developing the code. Apart from t…

6 часов назад @ reddit.com
Building Bi reports on OLTP model without dimensional modelling
Building Bi reports on OLTP model without dimensional modelling

I know this is too dumb to ask this question, but I don't truly understand the importance of dimensional modelling. Can't is simply pull exact replicas of oltp data to a database/datawarehouse(as per my knowledge, I feel both are similar when we consider the storage part) and build bi reports on top of it without building fact and dim tables. lets take the example of simple book sales. In OLTP we have 3 tables books, authors and sales. even if we build fact and dim tables we will end up having same tables except that we will not have relation ships between dim tables(books and authors) that exists in oltp and aditionally we use date dim tables in dimensional modelling. These changes really …

6 часов назад @ reddit.com
What exactly is schemas in Presto?
What exactly is schemas in Presto?

I am reading this post that explains concepts in presto. I am really confused by the definition of Schemas. The post says Schema is what you use to organize your tables. This is confusing to me because I have always thought of schema's as a way to describe the shape of a table. Ie the columns present and the types of the columns. So this line is telling me Schema is a way to organize my tables? What does that even mean? I am familiar with databases like MySQL, and I have mostly interacted with databases, and the tables contained within those databases Presto seems to be introducing another concept of Schemas? And I find this confusing how it fits into the big picture. So please what exactly…

7 часов назад @ reddit.com
How to become a good Data Engineer?
How to become a good Data Engineer?

I'm currently in my first job with 2 years of experience. I feel lost and I'm not as confident as I probably should be in data engineering. What things should I be doing over the next few years to become more experienced and valuable as a Data Engineer? What is data engineering really about? Which parts of data engineering are the most important? Should I get experience with as many tools as possible, or focus on the most popular tools? Are side/personal projects important or helpful? What projects could I do for data engineering? Any info would be great. There are so many things to learn that I feel paralyzed when I try to pick one. submitted by /u/KP_DaBoi99 [link] [comments]

7 часов назад @ reddit.com
Can anyone please give me feedback on my resume? looking for entry level roles (1-3 YOE)
Can anyone please give me feedback on my resume? looking for entry level roles (1-3 YOE) Can anyone please give me feedback on my resume? looking for entry level roles (1-3 YOE)

submitted by /u/Perfect_Kangaroo6233 [link] [comments]

11 часов назад @ reddit.com
Towards Data Science
последний пост 3 weeks назад
Emergent Abilities in AI: Are We Chasing a Myth?
Emergent Abilities in AI: Are We Chasing a Myth? Emergent Abilities in AI: Are We Chasing a Myth?

Changing Perspective on Large Language Models emerging propertiesContinue reading on Towards Data Science »

3 weeks назад @ towardsdatascience.com
3 Proven SQL Best Practices You Need To Know In Data Analysis
3 Proven SQL Best Practices You Need To Know In Data Analysis 3 Proven SQL Best Practices You Need To Know In Data Analysis

Learn 3 best ways to write easy to read, easy to debug and easy to modify SQL queryContinue reading on Towards Data Science »

3 weeks назад @ towardsdatascience.com
10 Examples to Learn the JSON module of Python
10 Examples to Learn the JSON module of Python 10 Examples to Learn the JSON module of Python

One of the most frequently used file formatsContinue reading on Towards Data Science »

3 weeks назад @ towardsdatascience.com
How to Plot Coordinates on Landsat Satellite Images with Python
How to Plot Coordinates on Landsat Satellite Images with Python How to Plot Coordinates on Landsat Satellite Images with Python

Mapping pixel positions to geographic coordinates using Landsat metadata and RasterioContinue reading on Towards Data Science »

3 weeks назад @ towardsdatascience.com
Introduction to statistical sampling and resampling
Introduction to statistical sampling and resampling Introduction to statistical sampling and resampling

Statistical sampling is a fundamental block of statistics that allows us to obtain information on the population of interest efficiently…Continue reading on Towards Data Science »

3 weeks назад @ towardsdatascience.com
Setting up Python Projects: Part IV
Setting up Python Projects: Part IV Setting up Python Projects: Part IV

Mastering the Art of Python Project Setup: A Step-by-Step GuideContinue reading on Towards Data Science »

3 weeks, 1 day назад @ towardsdatascience.com
Unraveling the Design Pattern of Physics-Informed Neural Networks: Series 01
Unraveling the Design Pattern of Physics-Informed Neural Networks: Series 01 Unraveling the Design Pattern of Physics-Informed Neural Networks: Series 01

Optimizing the residual point distribution to boost PINN training efficiency and accuracyContinue reading on Towards Data Science »

3 weeks, 1 day назад @ towardsdatascience.com
Combining Traditional Thread-Based Code and Asyncio in Python
Combining Traditional Thread-Based Code and Asyncio in Python Combining Traditional Thread-Based Code and Asyncio in Python

A comprehensive guide to integrating synchronous and asynchronous programming in PythonContinue reading on Towards Data Science »

3 weeks, 1 day назад @ towardsdatascience.com
How To List All BigQuery Datasets and Tables with Python
How To List All BigQuery Datasets and Tables with Python How To List All BigQuery Datasets and Tables with Python

Programmatically list all datasets and tables using BigQuery API and PythonContinue reading on Towards Data Science »

3 weeks, 1 day назад @ towardsdatascience.com
How Decision Trees Split Nodes, from Loss Function Perspective
How Decision Trees Split Nodes, from Loss Function Perspective How Decision Trees Split Nodes, from Loss Function Perspective

Learn how a decision tree splits nodes only to minimize its loss functionContinue reading on Towards Data Science »

3 weeks, 1 day назад @ towardsdatascience.com
Times Series for Climate Change: Forecasting Extreme Weather Events
Times Series for Climate Change: Forecasting Extreme Weather Events Times Series for Climate Change: Forecasting Extreme Weather Events

How to use time series analysis and forecasting to tackle climate changeContinue reading on Towards Data Science »

3 weeks, 1 day назад @ towardsdatascience.com
Implement Multi-GPU Training on a single GPU
Implement Multi-GPU Training on a single GPU Implement Multi-GPU Training on a single GPU

Multi-GPU Training on a single GPU System in 3 MinutesAn Advanced Guide for TensorFlowPhoto by Chris Liverani on UnsplashI want to share with you a neat little trick on how I test my multi GPU training code on a single GPU.MotivationI guess the problem is obvious and you probably experienced it yourself. You want to train a deep learning model and you want to take advantage of multiple GPUs, a TPU or even multiple workers for some extra speed or larger batch size. But of course you cannot (let’s say should not because I’ve seen it quite often 😅) block the usually shared hardware for debugging or even spend a ton of money on a paid cloud instance.Let me tell you, it is not important how many…

3 weeks, 1 day назад @ towardsdatascience.com
When Should You Fine-Tune LLMs?
When Should You Fine-Tune LLMs? When Should You Fine-Tune LLMs?

There has been a flurry of exciting open-source LLMs which can be fine-tuned. But how does that compare to just using a closed API?Continue reading on Towards Data Science »

3 weeks, 1 day назад @ towardsdatascience.com
Loss Functions in Machine Learning
Loss Functions in Machine Learning Loss Functions in Machine Learning

Understand the most common loss functions and when to use each oneContinue reading on Towards Data Science »

3 weeks, 1 day назад @ towardsdatascience.com
What People Write about Climate: Twitter Data Clustering in Python
What People Write about Climate: Twitter Data Clustering in Python What People Write about Climate: Twitter Data Clustering in Python

Clustering of Twitter data with K-Means, TF-IDF, Word2Vec, and Sentence-BERTContinue reading on Towards Data Science »

3 weeks, 1 day назад @ towardsdatascience.com
Monte Carlo Data Monte Carlo Data
последний пост 12 часов назад
Generative AI and the Future of Data Engineering
Generative AI and the Future of Data Engineering Generative AI and the Future of Data Engineering

Generative AI is taking the world by storm - here’s what it means for data engineering and why data observability is critical for this groundbreaking technology to succeed.

12 часов назад @ montecarlodata.com
How Backcountry Increases Data Team Efficiency by 30% with Monte Carlo
How Backcountry Increases Data Team Efficiency by 30% with Monte Carlo How Backcountry Increases Data Team Efficiency by 30% with Monte Carlo

Learn how Backcountry reduced time to detection and resolution while increasing data team efficiency with Monte Carlo.

6 days, 14 hours назад @ montecarlodata.com
Data Ticket Takers vs. Decision Makers
Data Ticket Takers vs. Decision Makers Data Ticket Takers vs. Decision Makers

The characteristics and value of reactive vs. proactive data teams

6 days, 22 hours назад @ montecarlodata.com
Scaling Data Trust and Collaboration with Monte Carlo and Atlan’s New Integration
Scaling Data Trust and Collaboration with Monte Carlo and Atlan’s New Integration Scaling Data Trust and Collaboration with Monte Carlo and Atlan’s New Integration

With Monte Carlo and Atlan's new integration, data teams can easily access up-to-date information about the quality of data assets before they use them so they can build trust at scale.

1 week, 5 days назад @ montecarlodata.com
How Assurance Achieves Data Trust at Scale for Financial Services with Data Observability
How Assurance Achieves Data Trust at Scale for Financial Services with Data Observability How Assurance Achieves Data Trust at Scale for Financial Services with Data Observability

Learn how FinServ leader Assurance leveraged data observability to mitigate the risk and financial impact of data quality issues at scale.

2 weeks назад @ montecarlodata.com
61 Data Observability Use Cases That Aren’t Totally Made Up
61 Data Observability Use Cases That Aren’t Totally Made Up 61 Data Observability Use Cases That Aren’t Totally Made Up

We reviewed hundreds of real world deployments to highlight 61 ways data teams are finding value from data observability use cases.

2 weeks, 6 days назад @ montecarlodata.com
How Monte Carlo’s New GitHub Integration Helps Data Teams Detect, Resolve, and Prevent Breaking Changes Faster
How Monte Carlo’s New GitHub Integration Helps Data Teams Detect, Resolve, and Prevent Breaking Changes Faster How Monte Carlo’s New GitHub Integration Helps Data Teams Detect, Resolve, and Prevent Breaking Changes Faster

Discover Monte Carlo's new GitHub integration to investigate breaking changes and understand the downstream impact of new pull requests.

2 weeks, 6 days назад @ montecarlodata.com
Scaling Data Observability to Transactional Databases with Monte Carlo’s Postgres, MySQL, and Microsoft SQL Server Integrations
Scaling Data Observability to Transactional Databases with Monte Carlo’s Postgres, MySQL, and Microsoft SQL Server Integrations Scaling Data Observability to Transactional Databases with Monte Carlo’s Postgres, MySQL, and Microsoft SQL Server Integrations

Monte Carlo’s new integrations with Postgres, MySQL, and Microsoft SQL Server enable customers to deploy custom monitors across popular transactional databases.

4 weeks назад @ montecarlodata.com
How Swimply Built Its Hyper Growth Data Stack with Snowflake, Fivetran, and Monte Carlo
How Swimply Built Its Hyper Growth Data Stack with Snowflake, Fivetran, and Monte Carlo How Swimply Built Its Hyper Growth Data Stack with Snowflake, Fivetran, and Monte Carlo

Learn how Swimply, the two-sided experiences marketplace, delivers reliable, trustworthy data with Monte Carlo, Snowflake, and Fivetran.

4 weeks назад @ montecarlodata.com
Monte Carlo’s Data Observability Platform Recognized for Best Estimated ROI by G2
Monte Carlo’s Data Observability Platform Recognized for Best Estimated ROI by G2 Monte Carlo’s Data Observability Platform Recognized for Best Estimated ROI by G2

Monte Carlo takes home 10 spring 2023 G2 awards, including Easiest Setup, Easiest To Do Business With, and Users Love Us.

1 month назад @ montecarlodata.com
The Annual State of Data Quality Survey
The Annual State of Data Quality Survey The Annual State of Data Quality Survey

Check out some of the stunning statistics in our annual data quality survey such as how data quality impacts 31% of revenue on average.

1 month назад @ montecarlodata.com
Monte Carlo’s New Sigma Integration Helps Data Teams Prevent Broken, Stale Dashboards
Monte Carlo’s New Sigma Integration Helps Data Teams Prevent Broken, Stale Dashboards Monte Carlo’s New Sigma Integration Helps Data Teams Prevent Broken, Stale Dashboards

With this integration, Sigma and Monte Carlo users can be confident that the upstream data systems powering their analytics are being monitored so any data incident or anomaly is quickly detected and resolved, or prevented altogether.

1 month, 1 week назад @ montecarlodata.com
The Composable Customer Data Platform: Everything You Need To Know
The Composable Customer Data Platform: Everything You Need To Know The Composable Customer Data Platform: Everything You Need To Know

How and why organizations are turning to solutions like composable customer data platforms built directly on the data warehouse to drive their business forward.

1 month, 1 week назад @ montecarlodata.com
Data Testing vs. Data Quality Monitoring vs. Data Observability: What’s Right for Your Team?
Data Testing vs. Data Quality Monitoring vs. Data Observability: What’s Right for Your Team? Data Testing vs. Data Quality Monitoring vs. Data Observability: What’s Right for Your Team?

Struggling with data quality? You’re not alone. But how should you get started? We walk through the three most common approaches and their tradeoffs.

1 month, 1 week назад @ montecarlodata.com
Build vs Buy Data Pipeline Guide
Build vs Buy Data Pipeline Guide Build vs Buy Data Pipeline Guide

Is it better to build vs buy data pipeline layers? In this article, we walk through the framework behind these decisions, plus how you can optimize your pipelines for scale.

1 month, 1 week назад @ montecarlodata.com
DE Telegram
DataEng DataEng
последний пост 4 days, 6 hours назад
Наконец в сети стали доступны доклады с прошедшей конфы PyCon US 2023. Я отобрал для вас наиболее интересные топики с т.з. data engineering и анализа данных:— Simon Willison: Data analysis with SQLite and Python— Matt Harrison: Getting Started with Polars—
Наконец в сети стали доступны доклады с прошедшей конфы PyCon US 2023. Я отобрал для вас наиболее интересные топики с т.з. data engineering и анализа данных:— Simon Willison: Data analysis with SQLite and Python— Matt Harrison: Getting Started with Polars—

Наконец в сети стали доступны доклады с прошедшей конфы PyCon US 2023. Я отобрал для вас наиболее интересные топики с т.з. data engineering и анализа данных:— Simon Willison: Data analysis with SQLite and Python— Matt Harrison: Getting Started with Polars— Bert Wagner: Cross-Server Data Joins on Slow Networks with Python— Brandt Bucher: Inside CPython 3.11's new specializing, adaptive interpreter— A. Jesse Jiryu Davis: Consistency and isolation for Python programmers— Eric Snow: A Per-Interpreter GIL: Concurrency and Parallelism with Subinterpreters— Mark Shannon: How we are making CPython faster. Past, present and future— Paolo Melchiorre: A pythonic full-text search— Samuel Colvin: How Py…

4 days, 6 hours назад @ t.me
Аналитик-разработчикМонорепозиторий Аркадии хранит исходный код большинства сервисов Яндекса. Каждый день разработчики Яндекса создают в нём тысячи пул-реквестов. Для репозиториев такого масштаба не существует готовых решений, и мы развиваем свои: систему
Аналитик-разработчикМонорепозиторий Аркадии хранит исходный код большинства сервисов Яндекса. Каждый день разработчики Яндекса создают в нём тысячи пул-реквестов. Для репозиториев такого масштаба не существует готовых решений, и мы развиваем свои: систему

Аналитик-разработчикМонорепозиторий Аркадии хранит исходный код большинства сервисов Яндекса. Каждый день разработчики Яндекса создают в нём тысячи пул-реквестов. Для репозиториев такого масштаба не существует готовых решений, и мы развиваем свои: систему контроля версий, веб-портал разработчика, плагины для среды разработки, сервис для разработки в облачном окружении. Наша служба постоянно работает над тем, чтобы делать наши системы удобнее, надёжнее, быстрее и понятнее.Мы ищем опытного аналитика, который поможет разработать систему метрик для наших внутренних продуктов и внедрить A/B-эксперименты, найдёт пути улучшения наших систем.Что нужно делать:-разрабатывать систему метрик качества д…

1 week, 5 days назад @ t.me
Прием заявок на выступление на SmartData 2023 открыт до 1 июня.Конференция будет идти четыре дня: 6–7 сентября в онлайне и 13–14 сентября в Москве с возможностью подключиться онлайн.Если хотите поделиться опытом в инженерии данных — подавайте заявку на выс
Прием заявок на выступление на SmartData 2023 открыт до 1 июня.Конференция будет идти четыре дня: 6–7 сентября в онлайне и 13–14 сентября в Москве с возможностью подключиться онлайн.Если хотите поделиться опытом в инженерии данных — подавайте заявку на выс Прием заявок на выступление на SmartData 2023 открыт до 1 июня.Конференция будет идти четыре дня: 6–7 сентября в онлайне и 13–14 сентября в Москве с возможностью подключиться онлайн.Если хотите поделиться опытом в инженерии данных — подавайте заявку на выс

Прием заявок на выступление на SmartData 2023 открыт до 1 июня.Конференция будет идти четыре дня: 6–7 сентября в онлайне и 13–14 сентября в Москве с возможностью подключиться онлайн.Если хотите поделиться опытом в инженерии данных — подавайте заявку на выступление.С вас только материал и желание выступить, а организаторы помогут на всех этапах — от идеи до выступления: доработают с вами материал, проведут репетиции и дадут рекомендации по выступлению.Можно выбрать любой формат выступления — доклад, воркшоп, интервью, обсуждение, BoF-сессию или придумать что-то свое. Тему для выступления можно выбрать из списка, а можно предложить свою.Подать заявку можно на сайте SmartData.

2 weeks, 5 days назад @ t.me
Внимание, внимание! Все, кто пишет код на Python — важное сообщение от организатора IT онлайн-конференций Podlodka Crew: первая конференция Podlodka Python Crew стартует уже 22 мая!Тема сезона: «Асинхронность». Участники получат возможность рассмотреть эту
Внимание, внимание! Все, кто пишет код на Python — важное сообщение от организатора IT онлайн-конференций Podlodka Crew: первая конференция Podlodka Python Crew стартует уже 22 мая!Тема сезона: «Асинхронность». Участники получат возможность рассмотреть эту Внимание, внимание! Все, кто пишет код на Python — важное сообщение от организатора IT онлайн-конференций Podlodka Crew: первая конференция Podlodka Python Crew стартует уже 22 мая!Тема сезона: «Асинхронность». Участники получат возможность рассмотреть эту

Внимание, внимание! Все, кто пишет код на Python — важное сообщение от организатора IT онлайн-конференций Podlodka Crew: первая конференция Podlodka Python Crew стартует уже 22 мая!Тема сезона: «Асинхронность». Участники получат возможность рассмотреть эту непростую и многослойную тему с разных сторон вместе с экспертами из Точка, ЛитРес, Novakid, winePad GmbH и других компаний:🟡 Узнают основные принципы asyncio, способы не выстрелить себе в колено, используя асинхронщину в продакшене;🟡 Разберут реальные кейсы использования asyncio в проекте с CPU-bound операциями и работе с легаси;🟡 Обсудят с другими участниками альтернативы asyncio и их преимущества, организацию конкурентности в других се…

2 weeks, 6 days назад @ t.me
Аналитик - разработчик#вакансия #Москва #гибрид #middle #seniorYandex Cloud — это облачная платформа, которую используют тысячи компаний и предпринимателей, от технических специалистов до международных корпораций. Наши сервисы позволяют быстро и просто пол
Аналитик - разработчик#вакансия #Москва #гибрид #middle #seniorYandex Cloud — это облачная платформа, которую используют тысячи компаний и предпринимателей, от технических специалистов до международных корпораций. Наши сервисы позволяют быстро и просто пол

Аналитик - разработчик#вакансия #Москва #гибрид #middle #seniorYandex Cloud — это облачная платформа, которую используют тысячи компаний и предпринимателей, от технических специалистов до международных корпораций. Наши сервисы позволяют быстро и просто получить доступ к современным технологиям обработки и хранения данных – виртуальным машинам, управляемым базам данных, распознаванию и синтезу речи.Мы ищем аналитика-разработчика. Ждём вдумчивых кандидатов с глубокими знаниями Python и желанием развиваться в сфере аналитики.Что нужно делать:— собрать юнит-экономику бизнеса;— заниматься построением прогнозной модели бизнеса (бизнес-моделирование процессов, форкастинг временных рядов);— работат…

3 weeks, 5 days назад @ t.me
Аналитик в 360#вакансия #Москва #Армения #Казахстан #Сербия #гибрид#middle #seniorЯндекс 360 — это набор сервисов для решения повседневных задач: от хранения личных воспоминаний до деловой переписки в любое время и на любом устройстве.Команда аналитики Янд
Аналитик в 360#вакансия #Москва #Армения #Казахстан #Сербия #гибрид#middle #seniorЯндекс 360 — это набор сервисов для решения повседневных задач: от хранения личных воспоминаний до деловой переписки в любое время и на любом устройстве.Команда аналитики Янд

Аналитик в 360#вакансия #Москва #Армения #Казахстан #Сербия #гибрид#middle #seniorЯндекс 360 — это набор сервисов для решения повседневных задач: от хранения личных воспоминаний до деловой переписки в любое время и на любом устройстве.Команда аналитики Яндекс 360 ищет сильного и инициативного аналитика, который взял бы на себя роль эксперта по экспериментам. Вы будете вместе с нами развивать функциональность наших сервисов и улучшать их, основываясь на анализе данных, помогать команде внедрять только те изменения, которые несут понятную и доказанную пользу для продукта и бизнеса.Что нужно делать:— формировать приёмочные метрики для A/B-тестов, выбирать необходимый размер выборки, ограничени…

1 month назад @ t.me
pandas 2.0Вчера вышла новая мажорная версия pandas — 2.0.0В новую версию добавили бэкенд Apache Arrow для повышения производительности. Более подробно про изменения можно прочитать в статье pandas 2.0 and the Arrow revolution.
pandas 2.0Вчера вышла новая мажорная версия pandas — 2.0.0В новую версию добавили бэкенд Apache Arrow для повышения производительности. Более подробно про изменения можно прочитать в статье pandas 2.0 and the Arrow revolution.

pandas 2.0Вчера вышла новая мажорная версия pandas — 2.0.0В новую версию добавили бэкенд Apache Arrow для повышения производительности. Более подробно про изменения можно прочитать в статье pandas 2.0 and the Arrow revolution.

2 months назад @ t.me
📊 Как построить и прокачать систему аналитики интернет-магазина от базового уровня до Enterprise? Расскажем на вебинаре ⏰ Когда: 16 марта, 17:00 по Москве📍 РегистрацияНа каждом из этапов развития бизнеса компании требуется определенный технологический стек
📊 Как построить и прокачать систему аналитики интернет-магазина от базового уровня до Enterprise? Расскажем на вебинаре ⏰ Когда: 16 марта, 17:00 по Москве📍 РегистрацияНа каждом из этапов развития бизнеса компании требуется определенный технологический стек 📊 Как построить и прокачать систему аналитики интернет-магазина от базового уровня до Enterprise? Расскажем на вебинаре ⏰ Когда: 16 марта, 17:00 по Москве📍 РегистрацияНа каждом из этапов развития бизнеса компании требуется определенный технологический стек

📊 Как построить и прокачать систему аналитики интернет-магазина от базового уровня до Enterprise? Расскажем на вебинаре ⏰ Когда: 16 марта, 17:00 по Москве📍 РегистрацияНа каждом из этапов развития бизнеса компании требуется определенный технологический стек для работы с данными. На вебинаре рассмотрим построение систем аналитики разных уровней сложности для интернет-магазинов в облаке. Вы узнаете, как собрать решение с базовым набором инструментов, развить его до продвинутого уровня и затем построить решение «промышленного класса». Подробно разберем стек технологий и обсудим архитектурные схемы решений для анализа продаж, маркетинговой аналитики, управления ассортиментом, ценообразованием, а…

3 months назад @ t.me
Тимлид в команду продуктовой аналитики Yandex CloudYandex Cloud — это облачная платформа, которую используют тысячи компаний и предпринимателей: от технических специалистов до международных корпораций. Мы ищем тимлида.Что нужно делать:- руководить командой
Тимлид в команду продуктовой аналитики Yandex CloudYandex Cloud — это облачная платформа, которую используют тысячи компаний и предпринимателей: от технических специалистов до международных корпораций. Мы ищем тимлида.Что нужно делать:- руководить командой

Тимлид в команду продуктовой аналитики Yandex CloudYandex Cloud — это облачная платформа, которую используют тысячи компаний и предпринимателей: от технических специалистов до международных корпораций. Мы ищем тимлида.Что нужно делать:- руководить командой продуктовых аналитиков;- анализировать поведение клиентов: как оно меняется в разных каналах коммуникации;- исследовать тренды потребления продуктов, применения возможностей и операционных метрик;- создавать управленческие отчёты и дашборды с данными о клиентах и продуктах;- находить точки роста и улучшать бизнес-показатели, выдвигать гипотезы и проверять их, участвовать в развитии сервисов;- взаимодействовать со смежными командами аналит…

3 months назад @ t.me
Стать сотрудником Яндекса быстрее и проще, чем кажется. Участвуйте в днях быстрого найма: решите тестовое, пройдите несколько секций собеседования и получите офер за несколько дней.Теперь дни быстрого найма будут проходить регулярно. Чтобы вам было удобно
Стать сотрудником Яндекса быстрее и проще, чем кажется. Участвуйте в днях быстрого найма: решите тестовое, пройдите несколько секций собеседования и получите офер за несколько дней.Теперь дни быстрого найма будут проходить регулярно. Чтобы вам было удобно Стать сотрудником Яндекса быстрее и проще, чем кажется. Участвуйте в днях быстрого найма: решите тестовое, пройдите несколько секций собеседования и получите офер за несколько дней.Теперь дни быстрого найма будут проходить регулярно. Чтобы вам было удобно

Стать сотрудником Яндекса быстрее и проще, чем кажется. Участвуйте в днях быстрого найма: решите тестовое, пройдите несколько секций собеседования и получите офер за несколько дней.Теперь дни быстрого найма будут проходить регулярно. Чтобы вам было удобно следить за расписанием, собрали его на отдельной странице.Ближайшие мероприятия:• 4-5 марта — Fast Track для разработчиков пишущих на Python и Java, офер за 2 дня в команду HR Tech Яндекса.• 4-5 марта — Fast Track для разработчиков пишущих на С++ и Python, офер за 2 дня в команду робототехники Яндекс Маркета.• 4-5 марта — Fast Track для дата инженеров и разработчиков платформы, аналитиков со знанием Python и SQL, офер за 2 дня в команду DW…

3 months, 1 week назад @ t.me
Видео про архитектуру PostgreSQL: https://www.youtube.com/watch?v=Q56kljmIN14
Видео про архитектуру PostgreSQL: https://www.youtube.com/watch?v=Q56kljmIN14

Видео про архитектуру PostgreSQL: https://www.youtube.com/watch?v=Q56kljmIN14

3 months, 3 weeks назад @ t.me
Знакомы слова SQL, ETL, DWH?Тогда у вас есть возможность получить оффер за выходные в команду Тинькофф!За прошлый год экосистема Тинькофф выросла в два раза — продуктами компании пользуются уже 28 млн клиентов. В связи с этим расширяется дата-команда: нужн
Знакомы слова SQL, ETL, DWH?Тогда у вас есть возможность получить оффер за выходные в команду Тинькофф!За прошлый год экосистема Тинькофф выросла в два раза — продуктами компании пользуются уже 28 млн клиентов. В связи с этим расширяется дата-команда: нужн Знакомы слова SQL, ETL, DWH?Тогда у вас есть возможность получить оффер за выходные в команду Тинькофф!За прошлый год экосистема Тинькофф выросла в два раза — продуктами компании пользуются уже 28 млн клиентов. В связи с этим расширяется дата-команда: нужн

Знакомы слова SQL, ETL, DWH?Тогда у вас есть возможность получить оффер за выходные в команду Тинькофф!За прошлый год экосистема Тинькофф выросла в два раза — продуктами компании пользуются уже 28 млн клиентов. В связи с этим расширяется дата-команда: нужны дата-инженеры, системные аналитики DWH и разработчики ETL с опытом работы больше двух лет.Пройти собеседование можно онлайн за выходные — на Data Weekend Offer. Если все хорошо, вы получите оффер уже в понедельник.Ближайшее мероприятие 11-12 марта. Успейте подать заявку до 7 марта.

3 months, 3 weeks назад @ t.me
💣 Собираетесь переходить в дата-инжиниринг? 🚀 Присоединяйтесь 7 февраля в 20:00 мск на открытый урок онлайн-курса «Data Engineer» в OTUS. 🟠 Тема вебинара — Clickhouse vs. Greenplum. Какую MPP базу данных выбрать?❇️ Вы узнаете:🔸 Что такое MPP-БД на самом де
💣 Собираетесь переходить в дата-инжиниринг? 🚀 Присоединяйтесь 7 февраля в 20:00 мск на открытый урок онлайн-курса «Data Engineer» в OTUS. 🟠 Тема вебинара — Clickhouse vs. Greenplum. Какую MPP базу данных выбрать?❇️ Вы узнаете:🔸 Что такое MPP-БД на самом де 💣 Собираетесь переходить в дата-инжиниринг? 🚀 Присоединяйтесь 7 февраля в 20:00 мск на открытый урок онлайн-курса «Data Engineer» в OTUS. 🟠 Тема вебинара — Clickhouse vs. Greenplum. Какую MPP базу данных выбрать?❇️ Вы узнаете:🔸 Что такое MPP-БД на самом де

💣 Собираетесь переходить в дата-инжиниринг? 🚀 Присоединяйтесь 7 февраля в 20:00 мск на открытый урок онлайн-курса «Data Engineer» в OTUS. 🟠 Тема вебинара — Clickhouse vs. Greenplum. Какую MPP базу данных выбрать?❇️ Вы узнаете:🔸 Что такое MPP-БД на самом деле🔸 Познакомитесь с различными представителями таких систем🔸 Разберетесь, когда и в каких случаях стоит выбирать каждую из них🔸 На практике изучите наглядные примеры работы БД Clickhouse и Greenplum💻 Спикером выступит Алексей Железной, преподаватель курса и Data Engineer в компании Wildberries.🔥 Пройдите вступительный тест, чтобы участвовать: https://otus.pw/GxBr/Реклама. Информация о рекламодателе на сайте www.otus.ru.

4 months назад @ t.me
🔥 Хотите перейти в область дата-инжиринга и работать с большими данными? 👉 Сделайте первые шаги в этом направлении на открытом уроке онлайн-курса «Data Engineer» в OTUS! 27 января в 20:00 мск пройдет вебинар «Elasticsearch как NoSQL хранилище документов».
🔥 Хотите перейти в область дата-инжиринга и работать с большими данными? 👉 Сделайте первые шаги в этом направлении на открытом уроке онлайн-курса «Data Engineer» в OTUS! 27 января в 20:00 мск пройдет вебинар «Elasticsearch как NoSQL хранилище документов». 🔥 Хотите перейти в область дата-инжиринга и работать с большими данными? 👉 Сделайте первые шаги в этом направлении на открытом уроке онлайн-курса «Data Engineer» в OTUS! 27 января в 20:00 мск пройдет вебинар «Elasticsearch как NoSQL хранилище документов».

🔥 Хотите перейти в область дата-инжиринга и работать с большими данными? 👉 Сделайте первые шаги в этом направлении на открытом уроке онлайн-курса «Data Engineer» в OTUS! 27 января в 20:00 мск пройдет вебинар «Elasticsearch как NoSQL хранилище документов». Глубокое понимание этого инструмента — ключевой момент для его правильного применения.💻 В результате урока вы:🔸 Изучите классификацию NoSQL СУБД🔸 Узнаете про отличительные черты Elasticsearch и его применимости к разным задачам🔸 Узнаете, почему Elasticsearch — одних из наиболее популярных инструментов для создания поисковых датасетов в современном мире🔸 Поймете, чем так хорош Elasticsearch и задумаетесь об его внедрении в вашей команде🟢 Чт…

4 months, 1 week назад @ t.me
Чтобы поиграть с БД ClickHouse отныне её не нужно устанавливать себе, появился официальный ClickHouse FiddleДока про сам проект: https://clickhouse.com/blog/clickhouse-fiddle-sql-playground
Чтобы поиграть с БД ClickHouse отныне её не нужно устанавливать себе, появился официальный ClickHouse FiddleДока про сам проект: https://clickhouse.com/blog/clickhouse-fiddle-sql-playground

Чтобы поиграть с БД ClickHouse отныне её не нужно устанавливать себе, появился официальный ClickHouse FiddleДока про сам проект: https://clickhouse.com/blog/clickhouse-fiddle-sql-playground

4 months, 2 weeks назад @ t.me
Инжиниринг Данных Инжиниринг Данных
последний пост 12 часов назад
Замечательно! Чтобы бизнесу быть успешным, нужно понять кому и как много нужно врать. И ответка - когда мы ищем работу, тоже надо решить - кому и как много врать. На честности далеко не уехать, точнее много не заработать. А хотите быть хорошим(ей), тогда м
Замечательно! Чтобы бизнесу быть успешным, нужно понять кому и как много нужно врать. И ответка - когда мы ищем работу, тоже надо решить - кому и как много врать. На честности далеко не уехать, точнее много не заработать. А хотите быть хорошим(ей), тогда м Замечательно! Чтобы бизнесу быть успешным, нужно понять кому и как много нужно врать. И ответка - когда мы ищем работу, тоже надо решить - кому и как много врать. На честности далеко не уехать, точнее много не заработать. А хотите быть хорошим(ей), тогда м

Замечательно! Чтобы бизнесу быть успешным, нужно понять кому и как много нужно врать. И ответка - когда мы ищем работу, тоже надо решить - кому и как много врать. На честности далеко не уехать, точнее много не заработать. А хотите быть хорошим(ей), тогда можно собак бездомных покормить, или помочь какой-нибудь no-profit организации. Я вот в школу к детям хожу, coding преподаю, видео курсы записываю. Там я могу быть честным🦥

12 часов назад @ t.me
Хорошая статья на обзор продуктов для сбора событий внутри продукта - Amplitude, Mixpanel, Heap - Leaving product analytics - an analysis of the current state of product analytics and beyondWhat is product analytics (in a nutshell) -an approach to understa
Хорошая статья на обзор продуктов для сбора событий внутри продукта - Amplitude, Mixpanel, Heap - Leaving product analytics - an analysis of the current state of product analytics and beyondWhat is product analytics (in a nutshell) -an approach to understa

Хорошая статья на обзор продуктов для сбора событий внутри продукта - Amplitude, Mixpanel, Heap - Leaving product analytics - an analysis of the current state of product analytics and beyondWhat is product analytics (in a nutshell) -an approach to understanding how users or accounts use a digital product? With a focus on feature usage, cohort analysis, and based on retention. Product analytics is based on event data that is sent when users or systems perform a specific action. (ok, that is really short). But it has the important ingredients that we need in the next steps.Лично для меня продуктовая аналитика - это самый интересный аспект работы. Общение в основном происходит с продукт менедж…

19 часов назад @ t.me
⚡️ CockroachDB vs YDB vs YugabyteDBНашли ультимативный гайд по базам данных на английском языке.В статье 🇬🇧• исследование БД на основе популярного бенчмарк-теста YCSB;• «сравнение яблок и апельсинов» или небольшая ретроспектива в историю исследований баз д
⚡️ CockroachDB vs YDB vs YugabyteDBНашли ультимативный гайд по базам данных на английском языке.В статье 🇬🇧• исследование БД на основе популярного бенчмарк-теста YCSB;• «сравнение яблок и апельсинов» или небольшая ретроспектива в историю исследований баз д ⚡️ CockroachDB vs YDB vs YugabyteDBНашли ультимативный гайд по базам данных на английском языке.В статье 🇬🇧• исследование БД на основе популярного бенчмарк-теста YCSB;• «сравнение яблок и апельсинов» или небольшая ретроспектива в историю исследований баз д

⚡️ CockroachDB vs YDB vs YugabyteDBНашли ультимативный гайд по базам данных на английском языке.В статье 🇬🇧• исследование БД на основе популярного бенчмарк-теста YCSB;• «сравнение яблок и апельсинов» или небольшая ретроспектива в историю исследований баз данных SQL;• проверка производительности БД на разных сценариях.Есть ли одна лучшая СУБД SQL, узнайте по ссылке 😉#реклама

1 day, 5 hours назад @ t.me
Вот и у Apple вышел AR. Посмотрим скоро, можно ли реально работать в нем или нет, или снова немножко buzz words.Microsoft HoloLens AR- фигняOculus Quest VR - фигняValve headset VR - фигняApple AR - ? Тут вообще важно правильные термины использовать.VR - мы
Вот и у Apple вышел AR. Посмотрим скоро, можно ли реально работать в нем или нет, или снова немножко buzz words.Microsoft HoloLens AR- фигняOculus Quest VR - фигняValve headset VR - фигняApple AR - ? Тут вообще важно правильные термины использовать.VR - мы Вот и у Apple вышел AR. Посмотрим скоро, можно ли реально работать в нем или нет, или снова немножко buzz words.Microsoft HoloLens AR- фигняOculus Quest VR - фигняValve headset VR - фигняApple AR - ? Тут вообще важно правильные термины использовать.VR - мы

Вот и у Apple вышел AR. Посмотрим скоро, можно ли реально работать в нем или нет, или снова немножко buzz words.Microsoft HoloLens AR- фигняOculus Quest VR - фигняValve headset VR - фигняApple AR - ? Тут вообще важно правильные термины использовать.VR - мы смотри в маленький телевизор (экран), а вот AR - мы смотрим сквозь. Я как то пытался записать видос для Data Learn в HoloLens, но так все тормозило и было криво, что забил.Говорят, в VR взрослый контент хорошо заходит, но не пробовал еще, интересно в AR там как с этим?!

1 day, 8 hours назад @ t.me
The Position of Fuck You - очень удобная позиция, stress free, так сказать.
The Position of Fuck You - очень удобная позиция, stress free, так сказать.

The Position of Fuck You - очень удобная позиция, stress free, так сказать.

1 day, 11 hours назад @ t.me
Офигенный пост про то, как давать talks, то есть делать презентации. Я уже давно на своем опыте понял, что презентация должны быть веселыми, с шутками, картинками и мемами, чем проще, тем лучше. Люди хотя отдохнуть, развлечься или отвлечься. Поэтому грузит
Офигенный пост про то, как давать talks, то есть делать презентации. Я уже давно на своем опыте понял, что презентация должны быть веселыми, с шутками, картинками и мемами, чем проще, тем лучше. Люди хотя отдохнуть, развлечься или отвлечься. Поэтому грузит

Офигенный пост про то, как давать talks, то есть делать презентации. Я уже давно на своем опыте понял, что презентация должны быть веселыми, с шутками, картинками и мемами, чем проще, тем лучше. Люди хотя отдохнуть, развлечься или отвлечься. Поэтому грузить их нудятиной - ну такое... Но 95% выступлений именно такие 😬 бесполезные, скучные, waste of time. Поэтому, если есть возможность выступать перед аудиторий, постарайтесь не грузить людей, доставьте им удовольствие. Мое собственное самое любимое выступление было в Москве, в Mailru - Как технологии помогают Amazon быть самой клиентоориентированной компанией на Земле? Я очень действительно потратил много времени на подготовку, и на контент, …

4 days, 17 hours назад @ t.me
Аналитика данных - это не только о числах и создании дашбордов. Это о понимании бизнес-контекста, задавании правильных вопросов и интерпретации данных в бизнес рекомендации и решения.Эффективные аналитики и инженеры обладают сочетанием технической эксперт
Аналитика данных - это не только о числах и создании дашбордов. Это о понимании бизнес-контекста, задавании правильных вопросов и интерпретации данных в бизнес рекомендации и решения.Эффективные аналитики и инженеры  обладают сочетанием технической эксперт Аналитика данных - это не только о числах и создании дашбордов. Это о понимании бизнес-контекста, задавании правильных вопросов и интерпретации данных в бизнес рекомендации и решения.Эффективные аналитики и инженеры обладают сочетанием технической эксперт

Аналитика данных - это не только о числах и создании дашбордов. Это о понимании бизнес-контекста, задавании правильных вопросов и интерпретации данных в бизнес рекомендации и решения.Эффективные аналитики и инженеры обладают сочетанием технической экспертизы, бизнес проницательности и критического мышления, позволяющих преобразовывать сырые данные в пользу для бизнеса.

4 days, 19 hours назад @ t.me
7 июня пройдёт Alfa Analyze IT Meetup — встреча для системных аналитиков. Основные темы и спикеры:🎯 Как аналитику проще погрузиться в архитектуру?Борис Пишванов и Михаил Салахов, Solution-архитекторы из Альфы, расскажут, почему может твориться «дичь» на пр
7 июня пройдёт Alfa Analyze IT Meetup — встреча для системных аналитиков. Основные темы и спикеры:🎯 Как аналитику проще погрузиться в архитектуру?Борис Пишванов и Михаил Салахов, Solution-архитекторы из Альфы, расскажут, почему может твориться «дичь» на пр 7 июня пройдёт Alfa Analyze IT Meetup — встреча для системных аналитиков. Основные темы и спикеры:🎯 Как аналитику проще погрузиться в архитектуру?Борис Пишванов и Михаил Салахов, Solution-архитекторы из Альфы, расскажут, почему может твориться «дичь» на пр

7 июня пройдёт Alfa Analyze IT Meetup — встреча для системных аналитиков. Основные темы и спикеры:🎯 Как аналитику проще погрузиться в архитектуру?Борис Пишванов и Михаил Салахов, Solution-архитекторы из Альфы, расскажут, почему может твориться «дичь» на проекте и как из неё приготовить «шашлык» 🎯 Как вести фронтовую документацию рядом с кодомИгорь Савинов, System Analyst, поделится тем, как ведется документация в Альфа-Банке, какие проблемы приходится решать🎯 Метрики эффективности процессов системного анализаС Сергеем Воробьевым, Head of Efficiency Development в Альфе, разберёмся в процессах погружения в компетенции 🎯 Куда расти системному аналитику?Юлия Лебедева, Competency Lead в Сбере, А…

5 days, 5 hours назад @ t.me
Титаны инжиниринга данных обсуждают How Data Engineers Manage Data At A Hyperscale At FAANGs - The Vs of Big Data
Титаны инжиниринга данных обсуждают How Data Engineers Manage Data At A Hyperscale At FAANGs - The Vs of Big Data

Титаны инжиниринга данных обсуждают How Data Engineers Manage Data At A Hyperscale At FAANGs - The Vs of Big Data

5 days, 6 hours назад @ t.me
Путь аналитика. Практическое руководство IT-специалистаЛет шесть назад я прочитал эту книгу Веры Ивановой и Андрея Перерва и она показалась мне достаточно неплохой. Плюс книги в том, что авторы довольно структурировано описывает карьерную лестницу аналити
Путь аналитика. Практическое руководство IT-специалистаЛет шесть назад я прочитал эту  книгу Веры Ивановой и Андрея Перерва и она показалась мне достаточно неплохой. Плюс книги в том, что авторы довольно структурировано описывает карьерную лестницу аналити Путь аналитика. Практическое руководство IT-специалистаЛет шесть назад я прочитал эту книгу Веры Ивановой и Андрея Перерва и она показалась мне достаточно неплохой. Плюс книги в том, что авторы довольно структурировано описывает карьерную лестницу аналити

Путь аналитика. Практическое руководство IT-специалистаЛет шесть назад я прочитал эту книгу Веры Ивановой и Андрея Перерва и она показалась мне достаточно неплохой. Плюс книги в том, что авторы довольно структурировано описывает карьерную лестницу аналитика, приводя список требований к каждой из ступенек, а также указывая способы перехода на новую ступеньку. Также в книге есть много указаний на материалы, которые реально стоит изучить. А минусы в том, что ряд моментов, указанных автором, относится к дискуссионным и с моей точки зрения не нужны:) Если говорить про содержание книги, то она состоит из 7 глав, среди которых есть вводная часть, шаги карьерной лестницы аналитика и заключение, а т…

5 days, 12 hours назад @ t.me
4 часа и вы в теме! Бесплатные курсы от Deeplearning:- ChatGPT Prompt Engineering for Developers- LangChain for LLM Application Development- How Diffusion Models Work- Building Systems with the ChatGPT APIНе уверен, что вам это поможет, но трендово же?!
4 часа и вы в теме! Бесплатные курсы от Deeplearning:- ChatGPT Prompt Engineering for Developers- LangChain for LLM Application Development- How Diffusion Models Work- Building Systems with the ChatGPT APIНе уверен, что вам это поможет, но трендово же?!

4 часа и вы в теме! Бесплатные курсы от Deeplearning:- ChatGPT Prompt Engineering for Developers- LangChain for LLM Application Development- How Diffusion Models Work- Building Systems with the ChatGPT APIНе уверен, что вам это поможет, но трендово же?!

5 days, 19 hours назад @ t.me
VK Cloud Conf: как перенести лучшие практики разработки ИТ-компаний в классический бизнес⏰Когда: 8 июня, 12:00📍 Где: Москва⚡️ Last call: успевайте зарегистрироваться на конференцию для руководителей компаний и ИТ-специалистов разных направлений. Регистраци
VK Cloud Conf: как перенести лучшие практики разработки ИТ-компаний в классический бизнес⏰Когда: 8 июня, 12:00📍 Где: Москва⚡️ Last call: успевайте зарегистрироваться на конференцию для руководителей компаний и ИТ-специалистов разных направлений. Регистраци VK Cloud Conf: как перенести лучшие практики разработки ИТ-компаний в классический бизнес⏰Когда: 8 июня, 12:00📍 Где: Москва⚡️ Last call: успевайте зарегистрироваться на конференцию для руководителей компаний и ИТ-специалистов разных направлений. Регистраци

VK Cloud Conf: как перенести лучшие практики разработки ИТ-компаний в классический бизнес⏰Когда: 8 июня, 12:00📍 Где: Москва⚡️ Last call: успевайте зарегистрироваться на конференцию для руководителей компаний и ИТ-специалистов разных направлений. Регистрация закрывается 7 июня в 12:00В программе:🔹 Как повысить эффективность разработки ИТ-решений с помощью облачных сервисов.🔹Подходы к работе с данными: примеры масштабных дата-решений, особенности и результаты проектов.🔹 Тренды и примеры миграции на российские базы данных.🔹 Лучшие практики облачной безопасности.У вас будет возможность задать вопросы экспертам и узнать мнение коллег из других компаний. Не упустите возможность получить новую инф…

6 days, 5 hours назад @ t.me
The State of Data Engineering 2023 - еще один landing page, но уже от LakeFS. Я не использовал LakeFS, по-моему это решения для версионности озера данных и работает с различными платформами - Athena, Spark, Kafka, Presto. Если кто использует, расскажите на
The State of Data Engineering 2023 - еще один landing page, но уже от LakeFS. Я не использовал LakeFS, по-моему это решения для версионности озера данных и работает с различными платформами - Athena, Spark, Kafka, Presto. Если кто использует, расскажите на

The State of Data Engineering 2023 - еще один landing page, но уже от LakeFS. Я не использовал LakeFS, по-моему это решения для версионности озера данных и работает с различными платформами - Athena, Spark, Kafka, Presto. Если кто использует, расскажите на пальцах, что за штука и зачем? Век живи, век учись! А лучше вебинарчик! Я вообще за любой вебинарчик!🥹В отчете следующие категории:- Ingest - решения для стриминга и batch, ETL/ELT, low-code/no-code/code. Многие решения выглядят знакомыми и популярными. Действительно, все они могут грузить данные из источника в таргет.- Data Lake - решения, которые хранят файлы - Hadoop, S3, Azure Storage и тд. Тоже, все выглядит логично.- Metadata - сост…

6 days, 16 hours назад @ t.me
Интересная графика, сколько в среднем инженер работает 2 года на одном месте, потому что, если вы останетесь, то вы будете получать на 50% меньше, чем могли бы. Все мы смены работы, обычно на 40%. А когда я сидела в Амазоне 5 лет, я отставал на 80% от рынк
Интересная графика, сколько в среднем инженер работает 2 года на одном месте, потому что, если вы останетесь, то вы будете получать на 50% меньше, чем могли бы. Все мы смены работы, обычно на 40%. А когда я сидела в Амазоне 5 лет, я отставал на 80% от рынк Интересная графика, сколько в среднем инженер работает 2 года на одном месте, потому что, если вы останетесь, то вы будете получать на 50% меньше, чем могли бы. Все мы смены работы, обычно на 40%. А когда я сидела в Амазоне 5 лет, я отставал на 80% от рынк

Интересная графика, сколько в среднем инженер работает 2 года на одном месте, потому что, если вы останетесь, то вы будете получать на 50% меньше, чем могли бы. Все мы смены работы, обычно на 40%. А когда я сидела в Амазоне 5 лет, я отставал на 80% от рынка. Сидеть хорошо, если у вас есть другие интересы или источники дохода. А иначе, ни денег, ни знаний.

1 week назад @ t.me
State of the art - замечательный Landing Page, судя по-всему сделан Airbyte. Не знаю насколько можно ему верить, но зарплата в 600к в наши дни для "честных" инженеров, мне кажется, редкость, даже в долине. Хотя после массовых увольнений акции Meta, Microso
State of the art - замечательный Landing Page, судя по-всему сделан Airbyte. Не знаю насколько можно ему верить, но зарплата в 600к в наши дни для "честных" инженеров, мне кажется, редкость, даже в долине. Хотя после массовых увольнений акции Meta, Microso

State of the art - замечательный Landing Page, судя по-всему сделан Airbyte. Не знаю насколько можно ему верить, но зарплата в 600к в наши дни для "честных" инженеров, мне кажется, редкость, даже в долине. Хотя после массовых увольнений акции Meta, Microsoft, Amazon пошли вверх. В Канаде, по моим подсчетам, можно за год заработать 600к+ канадских, но как было сказано в видео выше, про стоимость жизни в Канаде, очень обидно отдавать 50% на налоги, при этом содержать бомжей и дармоедов и на дом мечты, да и просто на дом, все равно не хватит. Не будем о грустном, лучше про опрос.В нем поучаствовало 886 человек. Я думаю, что это определенная аудитория, которая использует популярные решения, то …

1 week назад @ t.me
Left Join Left Join
последний пост 4 часа назад
На чем держится весь мир анализа данных?Друзья, мы перезапускаем нашу самую любимую рубрику из закрытого проекта FULL JOIN — основы статистики. В ближайшие несколько недель мы пройдемся по самым простым вещам, а затем начнем вспоминать чуть менее тривиальн
На чем держится весь мир анализа данных?Друзья, мы перезапускаем нашу самую любимую рубрику из закрытого проекта FULL JOIN — основы статистики. В ближайшие несколько недель мы пройдемся по самым простым вещам, а затем начнем вспоминать чуть менее тривиальн На чем держится весь мир анализа данных?Друзья, мы перезапускаем нашу самую любимую рубрику из закрытого проекта FULL JOIN — основы статистики. В ближайшие несколько недель мы пройдемся по самым простым вещам, а затем начнем вспоминать чуть менее тривиальн

На чем держится весь мир анализа данных?Друзья, мы перезапускаем нашу самую любимую рубрику из закрытого проекта FULL JOIN — основы статистики. В ближайшие несколько недель мы пройдемся по самым простым вещам, а затем начнем вспоминать чуть менее тривиальные понятия и аспекты матстата.Начнем с того, что с ростом любой компании растет и объем генерируемых данных. Но какой толк от данных, если их не анализировать? Анализом данных, как вы и сами знаете, занимаются аналитики данных. Но что на самом деле он из себя представляет? Давайте вспомним азы статистики, на которых зиждется весь анализ, чтобы эта терминология у вас отскакивала от зубов, а все понятия прочно и однозначно закрепились в голо…

4 часа назад @ t.me
Orb: новый криптопроект от основателя OpenAI и WorldcoinСэм Альтман, CEO OpenAI, и основатель крипто стартапа Worldcoin, с которым мы активно сотрудничаем в рамках проекта по разработке процессов инжиниринга и аналитики для них, решил приблизить наступлени
Orb: новый криптопроект от основателя OpenAI и WorldcoinСэм Альтман, CEO OpenAI, и основатель крипто стартапа Worldcoin, с которым мы активно сотрудничаем в рамках проекта по разработке процессов инжиниринга и аналитики для них, решил приблизить наступлени Orb: новый криптопроект от основателя OpenAI и WorldcoinСэм Альтман, CEO OpenAI, и основатель крипто стартапа Worldcoin, с которым мы активно сотрудничаем в рамках проекта по разработке процессов инжиниринга и аналитики для них, решил приблизить наступлени

Orb: новый криптопроект от основателя OpenAI и WorldcoinСэм Альтман, CEO OpenAI, и основатель крипто стартапа Worldcoin, с которым мы активно сотрудничаем в рамках проекта по разработке процессов инжиниринга и аналитики для них, решил приблизить наступление цифровизации общества на еще один шажочек своим новым проектом. OpenAI — это те самые, кто ChatGPT. А, если кто не знает, Worldcoin — это криптовалюта с собственным блокчейном и открытым исходным кодом.Orb: прибор для сканирования радужкиСфера стального цвета, которую вы могли видеть в новостях — это и есть Orb, устройство, которое, просканировав вашу радужку, присваивает вам World ID, своеобразный цифровой паспорт, и делает доступными л…

1 day, 3 hours назад @ t.me
⚖️ ChatGPT: доверяй, но проверяй 🧑‍⚖️Хотя, возможно, другой заголовок был бы уместнее для сегодняшнего поста: «Подлог в заведомо корыстных целях с использованием ChatGPT». А дело все вот в чем: англоязычный Twitter бурлит тредами о шумной истории, в которо
⚖️ ChatGPT: доверяй, но проверяй 🧑‍⚖️Хотя, возможно, другой заголовок был бы уместнее для сегодняшнего поста: «Подлог в заведомо корыстных целях с использованием ChatGPT». А дело все вот в чем: англоязычный Twitter бурлит тредами о шумной истории, в которо ⚖️ ChatGPT: доверяй, но проверяй 🧑‍⚖️Хотя, возможно, другой заголовок был бы уместнее для сегодняшнего поста: «Подлог в заведомо корыстных целях с использованием ChatGPT». А дело все вот в чем: англоязычный Twitter бурлит тредами о шумной истории, в которо

⚖️ ChatGPT: доверяй, но проверяй 🧑‍⚖️Хотя, возможно, другой заголовок был бы уместнее для сегодняшнего поста: «Подлог в заведомо корыстных целях с использованием ChatGPT». А дело все вот в чем: англоязычный Twitter бурлит тредами о шумной истории, в которой юридическая компания в качестве примеров для суда в рамках одного дела привела кейсы, полностью выдуманные ChatGPT.🔵 КраткоАдвокат Стивен Шварц в деле против авиакомпании, во время рейса которой получил травмы его подзащитный, в качестве примеров аналогичных судебных тяжб привел названия, описания и имена участников дел, сгенерированные ChatGPT. Чтобы упростить суду работу (или, возможно, разъярить судью), он даже сопроводил дело скриншо…

2 days, 3 hours назад @ t.me
👀 Под утренний кофе: еженедельный дайджест о технологиях, данных и аналитике🔵 На радость таргетологам: чат с ИИ в Google AdsНа днях в блоге Google вышла новость о том, что Google Ads теперь — «умный» сервис, который может сгенерировать текст для рекламы на
👀 Под утренний кофе: еженедельный дайджест о технологиях, данных и аналитике🔵 На радость таргетологам: чат с ИИ в Google AdsНа днях в блоге Google вышла новость о том, что Google Ads теперь — «умный» сервис, который может сгенерировать текст для рекламы на 👀 Под утренний кофе: еженедельный дайджест о технологиях, данных и аналитике🔵 На радость таргетологам: чат с ИИ в Google AdsНа днях в блоге Google вышла новость о том, что Google Ads теперь — «умный» сервис, который может сгенерировать текст для рекламы на

👀 Под утренний кофе: еженедельный дайджест о технологиях, данных и аналитике🔵 На радость таргетологам: чат с ИИ в Google AdsНа днях в блоге Google вышла новость о том, что Google Ads теперь — «умный» сервис, который может сгенерировать текст для рекламы на основе вашего лендинга, изменить заголовок рекламы, чтобы он больше соответствовал поисковому запросу, собрать ключевики, подходящие под ваш продукт, и многое другое. Хочется верить, что рекламные таланты ИИ не навредят обычному пользователю Google и не сделают рекламу в поисковике чем-то, для чего нужен свой AdBlock.🔵 Новая веха для NVIDIA: капитализация превысила $1 триллионИ все благодаря золотой лихорадке, распространенной спорами ИИ:…

5 days, 4 hours назад @ t.me
Подарок подписчикам: SQL data-аналитик вместо вас на ChatGPT 🚀 Наслушавшись курсов про промпт-инжиниринг, мы c коллегой Егором собрали небольшое решение, которое будет писать SQL-запросы для вашей базы данных вместо вас.Как оно работает?Используя Jupyter н
Подарок подписчикам: SQL data-аналитик вместо вас на ChatGPT 🚀 Наслушавшись курсов про промпт-инжиниринг, мы c коллегой Егором собрали небольшое решение, которое будет писать SQL-запросы для вашей базы данных вместо вас.Как оно работает?Используя Jupyter н

Подарок подписчикам: SQL data-аналитик вместо вас на ChatGPT 🚀 Наслушавшись курсов про промпт-инжиниринг, мы c коллегой Егором собрали небольшое решение, которое будет писать SQL-запросы для вашей базы данных вместо вас.Как оно работает?Используя Jupyter ноутбук и ChatGPT API, вы сможете сгенерировать структуру вашей базы данных в формате JSON с помощью нашего скрипта. А затем, используя созданный контекст и описание БД, ChatGPT начнет писать SQL-запросы, как это делает любой аналитик, прошедший курсы Яндекс.Практикума.Круто, где можно найти решение?Код доступен в открытом репозитории, и каждый может забрать его себе. You’re welcome!Кстати, про подобные фишки и примеры кейсов моей компании …

6 days, 2 hours назад @ t.me
Что происходит за кулисами подкастов? Разбираемся в новом эпизоде Data Heroes! 🦸‍♂️Сегодня мы раскроем все секреты нашего подкаста и расскажем, как мы его создаем. Кроме того, мы пообщаемся с ведущими других известных подкастов, таких как "Data Coffee", "I
Что происходит за кулисами подкастов? Разбираемся в новом эпизоде Data Heroes! 🦸‍♂️Сегодня мы раскроем все секреты нашего подкаста и расскажем, как мы его создаем. Кроме того, мы пообщаемся с ведущими других известных подкастов, таких как "Data Coffee", "I Что происходит за кулисами подкастов? Разбираемся в новом эпизоде Data Heroes! 🦸‍♂️Сегодня мы раскроем все секреты нашего подкаста и расскажем, как мы его создаем. Кроме того, мы пообщаемся с ведущими других известных подкастов, таких как "Data Coffee", "I

Что происходит за кулисами подкастов? Разбираемся в новом эпизоде Data Heroes! 🦸‍♂️Сегодня мы раскроем все секреты нашего подкаста и расскажем, как мы его создаем. Кроме того, мы пообщаемся с ведущими других известных подкастов, таких как "Data Coffee", "IT-шниками не рождаются" и "Это считается». В этом выпуске Николай и гости поделятся тем, какой путь проходит выпуск от идеи до релиза, поделятся своими фишками и личным опытом. Вы узнаете:🔵Почему Николай записывал первые выпуски в душном автомобиле? 😢🔵Как набрать аудиторию и монетизировать подкаст?🔵Что значит быть подкастером? Сколько очков популярности это дает (и дает ли вообще)?🔵Как успевать работать, жить и делать контент? Что мотивиру…

1 week назад @ t.me
☕️ Rebooted! Под утренний кофе: еженедельный дайджест о технологиях, данных и аналитике 🗞Не ждали? Или скучали и сгорали от любопытства, когда мы снова начнем выпускать новостные дайджесты? Надеемся, что второй вариант! Возрождаем нашу «кофейную» традицию
☕️ Rebooted! Под утренний кофе: еженедельный дайджест о технологиях, данных и аналитике 🗞Не ждали? Или скучали и сгорали от любопытства, когда мы снова начнем выпускать новостные дайджесты? Надеемся, что второй вариант! Возрождаем нашу «кофейную» традицию ☕️ Rebooted! Под утренний кофе: еженедельный дайджест о технологиях, данных и аналитике 🗞Не ждали? Или скучали и сгорали от любопытства, когда мы снова начнем выпускать новостные дайджесты? Надеемся, что второй вариант! Возрождаем нашу «кофейную» традицию

☕️ Rebooted! Под утренний кофе: еженедельный дайджест о технологиях, данных и аналитике 🗞Не ждали? Или скучали и сгорали от любопытства, когда мы снова начнем выпускать новостные дайджесты? Надеемся, что второй вариант! Возрождаем нашу «кофейную» традицию и угощаем вас порцией свежих новостей.🔵 Microsoft Fabric: новый продукт на основе ИИНа этой неделе разработчики из Microsoft анонсировали релиз предварительной версии своего нового детища, единой интеллектуальной платформы для хранения данных и аналитики Microsoft Fabric. Намеченный в преемники PowerBI, этот многофункциональный «тяжелоатлет» объединит в себе и пространство для данных, и платформу для управления моделями, и аналитический ин…

1 week, 5 days назад @ t.me
SETTERS MEDIA — издание для тех, кто согласен на будущееНа этой неделе наши друзья @setters вышли на совершенно новый уровень создания контента — запустились как полноценное медиа о будущем.Медиа о будущем — что это?Теперь их обновленном сайте будут выходи
SETTERS MEDIA — издание для тех, кто согласен на будущееНа этой неделе наши друзья @setters вышли на совершенно новый уровень создания контента — запустились как полноценное медиа о будущем.Медиа о будущем — что это?Теперь их обновленном сайте будут выходи

SETTERS MEDIA — издание для тех, кто согласен на будущееНа этой неделе наши друзья @setters вышли на совершенно новый уровень создания контента — запустились как полноценное медиа о будущем.Медиа о будущем — что это?Теперь их обновленном сайте будут выходить материалы в рамках четырех важных тем:🔵 Дело — истории людей, которые выбирают делать: строить карьеру, запускать бизнесы и развивать команды.🔵 Техно — будущее технологично, поэтому стоит внимательно следить за развитием технологий. 🔵 Тренды — чтобы понять, куда катится мир, нужно наблюдать за тем, что в этом мире обсуждается ярче всего.🔵 Смыслы — то, чего всем нам не хватает — основные идеи в искусстве, психологии и культуре.Причем тут…

1 week, 5 days назад @ t.me
Новые вакансии по вашему запросу на сайте: Prompt EngineerРанее мы уже писали про reverse prompt engineering и бесплатный курс по созданию промтов для ChatGPT. А сегодня хотели бы поделиться новостями русскоязычного рынка труда, ведь, как выяснилось, многи
Новые вакансии по вашему запросу на сайте: Prompt EngineerРанее мы уже писали про reverse prompt engineering и бесплатный курс по созданию промтов для ChatGPT. А сегодня хотели бы поделиться новостями русскоязычного рынка труда, ведь, как выяснилось, многи Новые вакансии по вашему запросу на сайте: Prompt EngineerРанее мы уже писали про reverse prompt engineering и бесплатный курс по созданию промтов для ChatGPT. А сегодня хотели бы поделиться новостями русскоязычного рынка труда, ведь, как выяснилось, многи

Новые вакансии по вашему запросу на сайте: Prompt EngineerРанее мы уже писали про reverse prompt engineering и бесплатный курс по созданию промтов для ChatGPT. А сегодня хотели бы поделиться новостями русскоязычного рынка труда, ведь, как выяснилось, многие из наших подписчиков находятся в России.Если вы введете название вакансии «Prompt Engineer» в поисковую строку hh.ru и снимете ограничение поиска по городу, в котором HH вас «поселил», то увидите не менее 20 подходящих вакансий.Сейчас может быть самое удачное время для того, чтобы освоить новые навыки и влиться в индустрию, пока многочисленные онлайн школы не начали выпускать «сертифицированных» специалистов.А если кто-то уже успел занят…

2 weeks назад @ t.me
Инструмент AI Functions для Databricks SQL: на заметку онлайн магазинам (и не только)Зачастую, служба поддержки — один из самых высоконагруженных отделов компании. И у нас есть хорошие новости!В этой статье в блоге Databricks подробно разбирается способ пр
Инструмент AI Functions для Databricks SQL: на заметку онлайн магазинам (и не только)Зачастую, служба поддержки — один из самых высоконагруженных отделов компании. И у нас есть хорошие новости!В этой статье в блоге Databricks подробно разбирается способ пр Инструмент AI Functions для Databricks SQL: на заметку онлайн магазинам (и не только)Зачастую, служба поддержки — один из самых высоконагруженных отделов компании. И у нас есть хорошие новости!В этой статье в блоге Databricks подробно разбирается способ пр

Инструмент AI Functions для Databricks SQL: на заметку онлайн магазинам (и не только)Зачастую, служба поддержки — один из самых высоконагруженных отделов компании. И у нас есть хорошие новости!В этой статье в блоге Databricks подробно разбирается способ применения модели GPT для оптимизации работы службы поддержки. Подобное взаимодействие с языковыми моделями и встраивание их в рабочий процесс менеджеров, взаимодействующих с обращениями и отзывами клиентов, в ближайшем будущем неизбежно станет новой реальностью, поэтому спешим вас познакомить!Основная идеяAI Functions позволяет использовать весь генеративный и аналитический потенциал языковой модели GPT-3.5 Azure OpenAI прямо внутри Databri…

2 weeks, 1 day назад @ t.me
Перезагрузка блога leftjoin.ru: на старт, внимание, марш!Последний год наш блог был на паузе, так как мы уделяли больше внимания другим проектам. Но делиться информацией в формате статей и лонгридов нам ой как хотелось, поэтому мы приняли решение вернуться
Перезагрузка блога leftjoin.ru: на старт, внимание, марш!Последний год наш блог был на паузе, так как мы уделяли больше внимания другим проектам. Но делиться информацией в формате статей и лонгридов нам ой как хотелось, поэтому мы приняли решение вернуться Перезагрузка блога leftjoin.ru: на старт, внимание, марш!Последний год наш блог был на паузе, так как мы уделяли больше внимания другим проектам. Но делиться информацией в формате статей и лонгридов нам ой как хотелось, поэтому мы приняли решение вернуться

Перезагрузка блога leftjoin.ru: на старт, внимание, марш!Последний год наш блог был на паузе, так как мы уделяли больше внимания другим проектам. Но делиться информацией в формате статей и лонгридов нам ой как хотелось, поэтому мы приняли решение вернуться!Первая статья уже на сайтеЧтобы стать полноценным медиа о данных и технологиях, мы усердно взялись за блог. И уже выпустили первый материал — обзор на достаточно свежую базу данных Hydra (нет-нет, ничего общего с почившим маркетплейсом в даркнете). В статье мы расскажем о её основных особенностях, составим запросы для решения нескольких задач и сравним время их выполнения.Ну, что ж, с перезапуском нас! 🔥P.S. Делитесь в комментариях, как в…

2 weeks, 2 days назад @ t.me
Автор книги «Пиши, сокращай» ОЧЕНЬ нервно курит
Автор книги «Пиши, сокращай» ОЧЕНЬ нервно курит Автор книги «Пиши, сокращай» ОЧЕНЬ нервно курит

Автор книги «Пиши, сокращай» ОЧЕНЬ нервно курит

2 weeks, 5 days назад @ t.me
Reverse Prompt Engineering или «Верни все, как было!»Знаете, кто такой «засланец»? В кино это пришелец, который попадает на Землю и живет среди людей, не раскрывая своей натуры. Мы к чему: судя по буму статей, публикуемых в англоязычных источниках, «заслан
Reverse Prompt Engineering или «Верни все, как было!»Знаете, кто такой «засланец»? В кино это пришелец, который попадает на Землю и живет среди людей, не раскрывая своей натуры. Мы к чему: судя по буму статей, публикуемых в англоязычных источниках, «заслан Reverse Prompt Engineering или «Верни все, как было!»Знаете, кто такой «засланец»? В кино это пришелец, который попадает на Землю и живет среди людей, не раскрывая своей натуры. Мы к чему: судя по буму статей, публикуемых в англоязычных источниках, «заслан

Reverse Prompt Engineering или «Верни все, как было!»Знаете, кто такой «засланец»? В кино это пришелец, который попадает на Землю и живет среди людей, не раскрывая своей натуры. Мы к чему: судя по буму статей, публикуемых в англоязычных источниках, «засланцев» в мире контента скоро станет очень много.А спонсором такого натиска являются, конечно же, языковые модели. С этим фактом остается только смириться, но что если хочется не просто плавать в этом океане контента, сгенерированном AI, но и самому седлать волну и стоять у штурвала?И вот тут-то и возникает необходимость в таком приеме по работе с языковыми моделями, как reverse prompt engineering. Какие возможности он открывает?🔵 Узнать, как…

2 weeks, 6 days назад @ t.me
Это Data Heroes и мы… немного волнуемся 😌Потому что сегодня мы пробуем совершенно новый формат подкаста — интервью с гостем! В этом эпизоде Николай пообщается с Владимиром Шаровым — со-основателем международной компании в области IT-консалтинга Navicon.Вла
Это Data Heroes и мы… немного волнуемся 😌Потому что сегодня мы пробуем совершенно новый формат подкаста — интервью с гостем! В этом эпизоде Николай пообщается с Владимиром Шаровым — со-основателем международной компании в области IT-консалтинга Navicon.Вла Это Data Heroes и мы… немного волнуемся 😌Потому что сегодня мы пробуем совершенно новый формат подкаста — интервью с гостем! В этом эпизоде Николай пообщается с Владимиром Шаровым — со-основателем международной компании в области IT-консалтинга Navicon.Вла

Это Data Heroes и мы… немного волнуемся 😌Потому что сегодня мы пробуем совершенно новый формат подкаста — интервью с гостем! В этом эпизоде Николай пообщается с Владимиром Шаровым — со-основателем международной компании в области IT-консалтинга Navicon.Владимир поделился с нами историей своего пути в бизнесе и того, как Navicon стал одной ведущих компаний в своей нише. Вы узнаете:🔵Как компания выходила из кризисов (а их было аж 3!)? 🔵Как строили бизнес раньше, когда не было коучей и тренеров по бизнес-мышлению?🔵В чем главный ингредиент успеха Navicon?🔵С какими трудностями могут столкнуться начинающие руководители и как к ним подготовиться?🔵Кто такой хороший руководитель и как им стать?И, ко…

3 weeks назад @ t.me
2023: год ChatGPT. И курсов по ChatGPTChatGPT продолжает штурмовать заголовки новостей и уже стал самым частым инфоповодом, связанным с ИИ. Один за другим появляются онлайн курсы. Недавно я наткнулся на один такой, который советую к прохождению, «Бесплатны
2023: год ChatGPT. И курсов по ChatGPTChatGPT продолжает штурмовать заголовки новостей и уже стал самым частым инфоповодом, связанным с ИИ. Один за другим появляются онлайн курсы. Недавно я наткнулся на один такой, который советую к прохождению, «Бесплатны

2023: год ChatGPT. И курсов по ChatGPTChatGPT продолжает штурмовать заголовки новостей и уже стал самым частым инфоповодом, связанным с ИИ. Один за другим появляются онлайн курсы. Недавно я наткнулся на один такой, который советую к прохождению, «Бесплатный курс по ChatGPT».Курс AIacademy содержит полезные инсайты, которые пригодятся тем, кто планирует работать с ChatGPT. Лектор курса Илья Мартын вообще порадовал тем, как он вежливо общается с чат-ботом. Вы только взгляните на отрывок!

3 weeks, 1 day назад @ t.me
SQLite на практике SQLite на практике
последний пост 3 days, 19 hours назад
SQL-рецепт: Сравнение с соседямиПредположим, мы хотим сравнить каждую запись с соседними. Например, сравнить продажи за месяц с предыдущим месяцем или с аналогичным месяцем в прошлом году.Решение — использовать функцию lag() поверх SQL-окна.ПримерСравним р
SQL-рецепт: Сравнение с соседямиПредположим, мы хотим сравнить каждую запись с соседними. Например, сравнить продажи за месяц с предыдущим месяцем или с аналогичным месяцем в прошлом году.Решение — использовать функцию lag() поверх SQL-окна.ПримерСравним р

SQL-рецепт: Сравнение с соседямиПредположим, мы хотим сравнить каждую запись с соседними. Например, сравнить продажи за месяц с предыдущим месяцем или с аналогичным месяцем в прошлом году.Решение — использовать функцию lag() поверх SQL-окна.ПримерСравним расходы компании от месяца к месяцу в абсолютном выражении:select year, month, expense, expense - lag(expense) over w as difffrom expenseswindow w as ( order by year, month)order by year, month;year mon exp dif2020 1 82 2020 2 75 -72020 3 104 292020 4 94 -102020 5 99 52020 6 105 62020 7 95 -102020 8 110 152020 9 104 -6lag(value, offset) возвращает значение value из строки, отстоящей на offset строк назад от текущей. По умолчанию offset равн…

3 days, 19 hours назад @ t.me
Кодирование данных в SQLiteВсе знают про шестнадцатеричное кодирование (hex):select hex('hello');-- 68656C6C6Fselect unhex('68656C6C6F');-- helloНо есть и другие способы.Base32:select encode('hello', 'base32');-- NBSWY3DPselect decode('NBSWY3DP', 'base32')
Кодирование данных в SQLiteВсе знают про шестнадцатеричное кодирование (hex):select hex('hello');-- 68656C6C6Fselect unhex('68656C6C6F');-- helloНо есть и другие способы.Base32:select encode('hello', 'base32');-- NBSWY3DPselect decode('NBSWY3DP', 'base32')

Кодирование данных в SQLiteВсе знают про шестнадцатеричное кодирование (hex):select hex('hello');-- 68656C6C6Fselect unhex('68656C6C6F');-- helloНо есть и другие способы.Base32:select encode('hello', 'base32');-- NBSWY3DPselect decode('NBSWY3DP', 'base32');-- helloBase64:select encode('hello', 'base64');-- aGVsbG8=select decode('aGVsbG8=', 'base64');-- helloBase85:select encode('hello', 'base85');-- BOu!rDZselect decode('BOu!rDZ', 'base85');-- helloURL-кодирование:select encode('hel lo!', 'url');-- hel%20lo%21select decode('hel%20lo%21', 'url');-- hel lo!И все они теперь доступны в SQLite с помощью расширения crypto.

6 days, 22 hours назад @ t.me
Неподдерживаемые фичиНекоторым фичам SQL-стандарта уже больше 30 лет, а они до сих пор не реализованы (и, вероятно, никогда не будут).Например, стандарт разрешает накладывать условия на таблицу целиком, но СУБД это не поддерживают.Есть таблица сотрудников:
Неподдерживаемые фичиНекоторым фичам SQL-стандарта уже больше 30 лет, а они до сих пор не реализованы (и, вероятно, никогда не будут).Например, стандарт разрешает накладывать условия на таблицу целиком, но СУБД это не поддерживают.Есть таблица сотрудников:

Неподдерживаемые фичиНекоторым фичам SQL-стандарта уже больше 30 лет, а они до сих пор не реализованы (и, вероятно, никогда не будут).Например, стандарт разрешает накладывать условия на таблицу целиком, но СУБД это не поддерживают.Есть таблица сотрудников:create table employees ( id integer primary key, name varchar(50), salary integer);Накладываем условие «зарплатный фонд должен быть меньше 3000»:create assertion salary_fundcheck ( 3000 > (select sum(salary) from employees));И получаем:error: CREATE ASSERTION is not yet implemented🤷‍♀️

1 week, 4 days назад @ t.me
SQL-рецепт: Сегментация данныхПредположим, мы хотим разбить данные на несколько сегментов, ориентируясь на значения в столбцах.Решение — использовать функцию ntile() поверх SQL-окна.ПримерРазобьем сотрудников из таблицы employees на три группы в зависимост
SQL-рецепт: Сегментация данныхПредположим, мы хотим разбить данные на несколько сегментов, ориентируясь на значения в столбцах.Решение — использовать функцию ntile() поверх SQL-окна.ПримерРазобьем сотрудников из таблицы employees на три группы в зависимост

SQL-рецепт: Сегментация данныхПредположим, мы хотим разбить данные на несколько сегментов, ориентируясь на значения в столбцах.Решение — использовать функцию ntile() поверх SQL-окна.ПримерРазобьем сотрудников из таблицы employees на три группы в зависимости от размера зарплаты:— высокооплачиваемые,— средние,— низкооплачиваемые.select ntile(3) over w as tile, name, salaryfrom employeeswindow w as (order by salary desc)order by salary desc, id;t sal name1 120 Иван1 104 Леонид1 104 Марина1 100 Анна2 96 Вероника2 96 Григорий2 90 Ксения3 84 Елена3 78 Борис3 70 Дарьяntile(n) разбивает все записи на n групп и возвращает номер группы для каждой записи. Если общее количество записей (10 в нашем случ…

1 week, 5 days назад @ t.me
Выпуск «Подлодки» про SQLВышел новый эпизод лучшего айтишного подкаста Podlodka, полностью посвященный SQL! Вместе с ведущими Катей и Стасом обсудили широкий спектр тем, посвященный языку — от самых основ до новейших фич 2023 года.Получился очень насыщенны
Выпуск «Подлодки» про SQLВышел новый эпизод лучшего айтишного подкаста Podlodka, полностью посвященный SQL! Вместе с ведущими Катей и Стасом обсудили широкий спектр тем, посвященный языку — от самых основ до новейших фич 2023 года.Получился очень насыщенны

Выпуск «Подлодки» про SQLВышел новый эпизод лучшего айтишного подкаста Podlodka, полностью посвященный SQL! Вместе с ведущими Катей и Стасом обсудили широкий спектр тем, посвященный языку — от самых основ до новейших фич 2023 года.Получился очень насыщенный тур по SQL. Даже если отлично знаете его — наверняка найдете для себя что-нибудь новенькое. Мне очень понравилось (но я тут, конечно, не объективен).Выпуск на 2+ часа, так что вот темы с таймкодами, чтобы лучше ориентироваться:0:00 Что такое SQL. Почему SQL прекрасен. Зачем SQL разработчику. Стандарт SQL.15:20 Базовый SQL. DDL и DML. Джойны.22:12 Транзакции. Что это и зачем. ACID. Изоляция. Уровни изоляции.45:53 Быстродействие. Фулсканы …

2 weeks назад @ t.me
SQL-шпаргалкаОбычно не публикую материалы совсем уж для начинающих, но сегодня исключение.Сделал шпаргалку по SQL-селектам для всех, кто знал, но подзабыл. Примеры интерактивные, можно заодно и потренироваться.https://antonz.ru/sql-cheatsheet/
SQL-шпаргалкаОбычно не публикую материалы совсем уж для начинающих, но сегодня исключение.Сделал шпаргалку по SQL-селектам для всех, кто знал, но подзабыл. Примеры интерактивные, можно заодно и потренироваться.https://antonz.ru/sql-cheatsheet/

SQL-шпаргалкаОбычно не публикую материалы совсем уж для начинающих, но сегодня исключение.Сделал шпаргалку по SQL-селектам для всех, кто знал, но подзабыл. Примеры интерактивные, можно заодно и потренироваться.https://antonz.ru/sql-cheatsheet/

3 weeks, 3 days назад @ t.me
SQL-рецепт: Ранжирование строкПредположим, мы хотим создать рейтинг, в котором позиция каждой записи определяется значением одного или нескольких столбцов.Решение — использовать функцию rank() поверх SQL-окна, упорядоченного по целевым столбцам.ПримерОтран
SQL-рецепт: Ранжирование строкПредположим, мы хотим создать рейтинг, в котором позиция каждой записи определяется значением одного или нескольких столбцов.Решение — использовать функцию rank() поверх SQL-окна, упорядоченного по целевым столбцам.ПримерОтран

SQL-рецепт: Ранжирование строкПредположим, мы хотим создать рейтинг, в котором позиция каждой записи определяется значением одного или нескольких столбцов.Решение — использовать функцию rank() поверх SQL-окна, упорядоченного по целевым столбцам.ПримерОтранжируем сотрудников из таблицы employees по зарплате:select rank() over w as "rank", name, department, salaryfrom employeeswindow w as (order by salary desc)order by "rank", id;r sal name1 120 Иван2 104 Леонид2 104 Марина4 100 Анна5 96 Вероника5 96 Григорий7 90 КсенияФункция rank() присваивает каждому сотруднику ранг в соответствии с его зарплатой (order by salary desc).Обратите внимание, что сотрудники с одинаковой зарплатой получили одина…

3 weeks, 5 days назад @ t.me
Тут вопрос на английском, но по-русски тоже понимает
Тут вопрос на английском, но по-русски тоже понимает Тут вопрос на английском, но по-русски тоже понимает

Тут вопрос на английском, но по-русски тоже понимает

2 months, 3 weeks назад @ t.me
SQL-консультант в песочницеКому-то нравится заставлять искусственный интеллект делать всякую дичь, ну а я предпочитаю более практичное и полезное применение.Поэтому с сегодняшнего дня в SQLite-песочнице заработала функция «Ask AI».ИИ может объяснять, испра
SQL-консультант в песочницеКому-то нравится заставлять искусственный интеллект делать всякую дичь, ну а я предпочитаю более практичное и полезное применение.Поэтому с сегодняшнего дня в SQLite-песочнице заработала функция «Ask AI».ИИ может объяснять, испра

SQL-консультант в песочницеКому-то нравится заставлять искусственный интеллект делать всякую дичь, ну а я предпочитаю более практичное и полезное применение.Поэтому с сегодняшнего дня в SQLite-песочнице заработала функция «Ask AI».ИИ может объяснять, исправлять и комментировать ваш SQL — не покидая песочницы:➊ Напишите вопрос в виде комментария перед SQL-запросом.➋ Нажмите кнопку «Ask AI».➌ Получите не очень быстрый, но часто полезный ответ от ИИ.Попробуйте! Все, что нужно — API-ключ для OpenAI.https://sqlime.orgP.S. Если API-ключа у вас нет, задать вопрос всегда можно в нашем чате @sqliter_chat. ИИ там тоже иногда отвечает, ну и не только он ツ

2 months, 3 weeks назад @ t.me
regexp_captureЧастая задача в регулярках — извлечь конкретную группу вместо всего совпадения.Например:— строка = 'abc'— паттерн = 'a(.)c'— группа 1 = 'b'regexp_substr в Oracle и MySQL так не умеет, а Postgres требует указывать 4 дополнительных параметра.По
regexp_captureЧастая задача в регулярках — извлечь конкретную группу вместо всего совпадения.Например:— строка = 'abc'— паттерн = 'a(.)c'— группа 1 = 'b'regexp_substr в Oracle и MySQL так не умеет, а Postgres требует указывать 4 дополнительных параметра.По

regexp_captureЧастая задача в регулярках — извлечь конкретную группу вместо всего совпадения.Например:— строка = 'abc'— паттерн = 'a(.)c'— группа 1 = 'b'regexp_substr в Oracle и MySQL так не умеет, а Postgres требует указывать 4 дополнительных параметра.Поэтому для SQLite я запилил отдельную функцию regexp_capture, которая делает ровно это — извлекает конкретную группу из совпадения:select regexp_capture('abc', 'a(.)c', 1);-- b

2 months, 4 weeks назад @ t.me
Интерактивные SQL-примерыЕсть новость для всех поклонников SQL 🙂1.5 года назад я сделал онлайн-песочницу для отладки и шеринга SQL-запросов. С тех пор постоянно использую ее, для обучения и преподавания.Но кое-чего не хватало.Я хотел, чтобы была возможност
Интерактивные SQL-примерыЕсть новость для всех поклонников SQL 🙂1.5 года назад я сделал онлайн-песочницу для отладки и шеринга SQL-запросов. С тех пор постоянно использую ее, для обучения и преподавания.Но кое-чего не хватало.Я хотел, чтобы была возможност

Интерактивные SQL-примерыЕсть новость для всех поклонников SQL 🙂1.5 года назад я сделал онлайн-песочницу для отладки и шеринга SQL-запросов. С тех пор постоянно использую ее, для обучения и преподавания.Но кое-чего не хватало.Я хотел, чтобы была возможность превратить любую статью или заметку в блоге в интерактивную SQL-песочницу.Чтобы читатели могли отредактировать запрос и посмотреть, как изменится результат. Или даже попробовать собственные запросы.Я хотел интерактивные SQL-примеры в браузере.И в итоге их сделал!Теперь каждый может превратить статичные SQL-запросы в статье, заметке или веб-странице — в интерактивные примеры.Что особенно приятно, это требует минимальных изменений в HTML-к…

3 months назад @ t.me
Новые уроки по оконным функциямДля выпускников курса по окошкам — вышли три новых урока:— Мат. статистика. Изучаем относительный ранг, медиану и процентили.— Острова и кластеры. Объединяем похожие значения в группы.— Очистка данных. Удаляем дубликаты и зап
Новые уроки по оконным функциямДля выпускников курса по окошкам — вышли три новых урока:— Мат. статистика. Изучаем относительный ранг, медиану и процентили.— Острова и кластеры. Объединяем похожие значения в группы.— Очистка данных. Удаляем дубликаты и зап

Новые уроки по оконным функциямДля выпускников курса по окошкам — вышли три новых урока:— Мат. статистика. Изучаем относительный ранг, медиану и процентили.— Острова и кластеры. Объединяем похожие значения в группы.— Очистка данных. Удаляем дубликаты и заполняем пропуски.Приглашаю попробовать!

3 months, 1 week назад @ t.me
Импорт-экспорт в SQLiteНаписал небольшое руководство по импорту и экспорту данных в SQLite:— Загрузить JSON-документ из файла.— Построчно прочитать текстовый файл.— Построчно записать результаты выполнения запроса в файл.— Импортировать файлы из каталога.h
Импорт-экспорт в SQLiteНаписал небольшое руководство по импорту и экспорту данных в SQLite:— Загрузить JSON-документ из файла.— Построчно прочитать текстовый файл.— Построчно записать результаты выполнения запроса в файл.— Импортировать файлы из каталога.h

Импорт-экспорт в SQLiteНаписал небольшое руководство по импорту и экспорту данных в SQLite:— Загрузить JSON-документ из файла.— Построчно прочитать текстовый файл.— Построчно записать результаты выполнения запроса в файл.— Импортировать файлы из каталога.https://antonz.ru/sqlean-fileio/

3 months, 1 week назад @ t.me
Работа с файлами в SQLiteУ SQLite есть расширение для работы с файлами с такими функциями:— readfile(path)— writefile(path, data)Они читают или пишут файл одним куском, что плохо подходит для больших файлов.Чтобы работать с файлами было удобнее, я сделал р
Работа с файлами в SQLiteУ SQLite есть расширение для работы с файлами с такими функциями:— readfile(path)— writefile(path, data)Они читают или пишут файл одним куском, что плохо подходит для больших файлов.Чтобы работать с файлами было удобнее, я сделал р

Работа с файлами в SQLiteУ SQLite есть расширение для работы с файлами с такими функциями:— readfile(path)— writefile(path, data)Они читают или пишут файл одним куском, что плохо подходит для больших файлов.Чтобы работать с файлами было удобнее, я сделал расширение fileio с парой дополнительных функций:fileio_scan(path)Построчно читает файл:select rowid, value, namefrom fileio_scan('hello.txt');fileio_append(path, str)Дописывает строку в файл:create table hello(value text);-- insert some dataselect sum( fileio_append( 'hello.txt', value||char(10) )) from hello;Теперь можно работать с файлами построчно, экономя память!

3 months, 3 weeks назад @ t.me
Ну очень грубая (примерно как π = 3) иллюстрация того, как работает поиск по индексу
Ну очень грубая (примерно как π = 3) иллюстрация того, как работает поиск по индексу Ну очень грубая (примерно как π = 3) иллюстрация того, как работает поиск по индексу

Ну очень грубая (примерно как π = 3) иллюстрация того, как работает поиск по индексу

3 months, 3 weeks назад @ t.me
Datalytics Datalytics
последний пост 1 час назад
😻 😫 🐹 😫 🐱 😫 🐭 😫🦉Data Secrets — канал для датасаентистов– Как тренировали алгоритм, который обыграл чемпиона мира в шахматы? – Как работает FaceID в твоем смартфоне? – Как обучить ChatGPT на стареньком ноутбуке? – Как предсказать курс биткоина и исход футбо
😻 😫 🐹 😫 🐱 😫 🐭 😫🦉Data Secrets — канал для датасаентистов– Как тренировали алгоритм, который обыграл чемпиона мира в шахматы? – Как работает FaceID в твоем смартфоне? – Как обучить ChatGPT на стареньком ноутбуке? – Как предсказать курс биткоина и исход футбо

😻 😫 🐹 😫 🐱 😫 🐭 😫🦉Data Secrets — канал для датасаентистов– Как тренировали алгоритм, который обыграл чемпиона мира в шахматы? – Как работает FaceID в твоем смартфоне? – Как обучить ChatGPT на стареньком ноутбуке? – Как предсказать курс биткоина и исход футбольного матча? – Чем отличаются сверточные и рекуррентные нейросети?Заходи и узнаешь @data_secrets

1 час назад @ t.me
Приглашаем на Cinimex BI Meetup — наш первый офлайн-митап в Воронеже с онлайн-трансляцией. Будем говорить о «внедрении BI: Взгляд глазами бизнеса и технарей». Встречаемся 21 июня в 18:30 на площадке Saburov Hall. Также будет онлайн-трансляция на Youtube, з
Приглашаем на Cinimex BI Meetup — наш первый офлайн-митап в Воронеже с онлайн-трансляцией. Будем говорить о «внедрении BI: Взгляд глазами бизнеса и технарей». Встречаемся 21 июня в 18:30 на площадке Saburov Hall. Также будет онлайн-трансляция на Youtube, з Приглашаем на Cinimex BI Meetup — наш первый офлайн-митап в Воронеже с онлайн-трансляцией. Будем говорить о «внедрении BI: Взгляд глазами бизнеса и технарей». Встречаемся 21 июня в 18:30 на площадке Saburov Hall. Также будет онлайн-трансляция на Youtube, з

Приглашаем на Cinimex BI Meetup — наш первый офлайн-митап в Воронеже с онлайн-трансляцией. Будем говорить о «внедрении BI: Взгляд глазами бизнеса и технарей». Встречаемся 21 июня в 18:30 на площадке Saburov Hall. Также будет онлайн-трансляция на Youtube, зарегистрируйтесь и мы пришлем вам ссылку. О чем расскажем? Поговорим о том, как бизнес своими глазами видит внедрение BI-систем и как технические специалисты оценивают и действуют при внедрении BI.Посмотрим на три варианта внедрения BI и пофилософствуем на тему будущего разделения труда, какие профессии будущего в BI нас уже ждут. Регистрация по ссылке - https://cinimex.timepad.ru/event/2442809/

20 часов назад @ t.me
👉Присоединяйтесь к нашему сообществу Data Analyst REBRAIN, если вы интересуетесь аналитикой данных, управлением проектами или маркетингом. У нас для вас есть множество открытых онлайн-практикумов каждый месяц, которые проводят профессиональные аналитики. В
👉Присоединяйтесь к нашему сообществу Data Analyst REBRAIN, если вы интересуетесь аналитикой данных, управлением проектами или маркетингом. У нас для вас есть множество открытых онлайн-практикумов каждый месяц, которые проводят профессиональные аналитики. В

👉Присоединяйтесь к нашему сообществу Data Analyst REBRAIN, если вы интересуетесь аналитикой данных, управлением проектами или маркетингом. У нас для вас есть множество открытых онлайн-практикумов каждый месяц, которые проводят профессиональные аналитики. В рамках практикумов мы разбираем реальные кейсы анализа данных с использованием самых актуальных инструментов, таких как Python, SQL, Tableau, бизнес-метрики и визуализация данных, статистика, теория вероятностей и другие. Уровень сложности и направление каждого практикума подобраны таким образом, чтобы каждый мог найти для себя интересные задачи и развиваться в соответствии с уровнем своей компетенции. ✔️ Подключайтесь к нам уже сегодня и…

2 days, 1 hour назад @ t.me
В сервисе Yandex Data Proc стало доступно создание управляемых кластеров Hive Metastore (Public Preview)Hive Metastore связывает разнородные ETL-системы и инструменты для работы с общими данными и упрощает их развёртывание. Кластеры Metastore управляют таб
В сервисе Yandex Data Proc стало доступно создание управляемых кластеров Hive Metastore (Public Preview)Hive Metastore связывает разнородные ETL-системы и инструменты для работы с общими данными и упрощает их развёртывание. Кластеры Metastore управляют таб В сервисе Yandex Data Proc стало доступно создание управляемых кластеров Hive Metastore (Public Preview)Hive Metastore связывает разнородные ETL-системы и инструменты для работы с общими данными и упрощает их развёртывание. Кластеры Metastore управляют таб

В сервисе Yandex Data Proc стало доступно создание управляемых кластеров Hive Metastore (Public Preview)Hive Metastore связывает разнородные ETL-системы и инструменты для работы с общими данными и упрощает их развёртывание. Кластеры Metastore управляют табличными метаданными объектов, которые находятся в бакетах Object Storage.Теперь решать задачи подготовки и очистки данных, создания хранилищ и предметно-ориентированных витрин данных стало проще.➡️ Подробнее о новинке и о том, как первым получить доступ по ссылке

5 days, 2 hours назад @ t.me
Мои хорошие знакомые из eLama ищут человека на позицию руководителя отдела аналитикиeLama — это единая платформа для управления интернет-рекламой. Они объединили рекламные системы в один личный кабинет, создали около 30 собственных инструментов, что позвол
Мои хорошие знакомые из eLama ищут человека на позицию руководителя отдела аналитикиeLama — это единая платформа для управления интернет-рекламой. Они объединили рекламные системы в один личный кабинет, создали около 30 собственных инструментов, что позвол Мои хорошие знакомые из eLama ищут человека на позицию руководителя отдела аналитикиeLama — это единая платформа для управления интернет-рекламой. Они объединили рекламные системы в один личный кабинет, создали около 30 собственных инструментов, что позвол

Мои хорошие знакомые из eLama ищут человека на позицию руководителя отдела аналитикиeLama — это единая платформа для управления интернет-рекламой. Они объединили рекламные системы в один личный кабинет, создали около 30 собственных инструментов, что позволило сделать жизнь рекламодателей намного прощеЧто предстоит на этой позиции:🟢развивать команду аналитиков, состоящую из Data engineers, data analysts, BI analysts, product analysts: проводить оценки производительности, обучать и менторить сотрудников для достижения оптимальных результатов и развития их профессионального потенциала;🟢управлять аналитическим отделом из 14 человек: формировать стратегии, планировать и выполнять аналитические п…

6 days, 2 hours назад @ t.me
Ещё вчера они отвечали за код и технологии, а сегодня в их подчинении специалисты, к которым никто не приложил инструкцию. Да, быть начинающим управленцем в IT — рискованно, но интересно. Открывается много новой информации и определений.Насчёт определений
Ещё вчера они отвечали за код и технологии, а сегодня в их подчинении специалисты, к которым никто не приложил инструкцию. Да, быть начинающим управленцем в IT — рискованно, но интересно. Открывается много новой информации и определений.Насчёт определений Ещё вчера они отвечали за код и технологии, а сегодня в их подчинении специалисты, к которым никто не приложил инструкцию. Да, быть начинающим управленцем в IT — рискованно, но интересно. Открывается много новой информации и определений.Насчёт определений

Ещё вчера они отвечали за код и технологии, а сегодня в их подчинении специалисты, к которым никто не приложил инструкцию. Да, быть начинающим управленцем в IT — рискованно, но интересно. Открывается много новой информации и определений.Насчёт определений — в карточках собрали несколько ключевых, которые познакомят вас с профессией руководителя в IT поближе. А по поводу новой информации: в Практикуме появился курс по управлению командой разработки с воркшопами, личными консультациями и интерактивным учебником. Пройдите первый бесплатный урок

1 week назад @ t.me
Продакт-менеджер + ИИ. На входе идеи, на выходе — деньгиИИ позволяет делать резюме встречи за 1 минуту, анализировать рынок — за 5, создать десяток проработанных гипотез улучшения продукта — за 15; и аудит продаж — за 30. А если вооружить его фреймворками
Продакт-менеджер + ИИ. На входе идеи, на выходе — деньгиИИ позволяет делать резюме встречи за 1 минуту, анализировать рынок — за 5, создать десяток проработанных гипотез улучшения продукта — за 15; и аудит продаж — за 30. А если вооружить его фреймворками

Продакт-менеджер + ИИ. На входе идеи, на выходе — деньгиИИ позволяет делать резюме встречи за 1 минуту, анализировать рынок — за 5, создать десяток проработанных гипотез улучшения продукта — за 15; и аудит продаж — за 30. А если вооружить его фреймворками — JTBD, Riskiest Assumption Test, Growth Hacking, Юнит-экономикой; добавить туда продуктовую аналитику, тестирование каналов продаж и стратегии выхода на рынок — получиться адронный коллайдер для запуска и развития продуктов. Быстрый и дешевый — как вы и мечтали.С 3 июня начинаем собирать его из ИИ-сервисов и палок. Каждый для себя. Возьмем идею продукта (вот список), найдем клиентский сегмент, создадим MVP, протестируем каналы продаж, пол…

1 week, 1 day назад @ t.me
#полезноВебинар «Введение в рекомендательные системы»🔥1 июня на YouTube канале пройдёт вебинар на котором раскроется одна из самых важных и популярных задач, которым приходится заниматься сейчас специалистам по анализу данных.👨🏻‍🏫Спикер: Дмитрий Шипилов, б
#полезноВебинар «Введение в рекомендательные системы»🔥1 июня на YouTube канале пройдёт вебинар на котором раскроется одна из самых важных и популярных задач, которым приходится заниматься сейчас специалистам по анализу данных.👨🏻‍🏫Спикер: Дмитрий Шипилов, б #полезноВебинар «Введение в рекомендательные системы»🔥1 июня на YouTube канале пройдёт вебинар на котором раскроется одна из самых важных и популярных задач, которым приходится заниматься сейчас специалистам по анализу данных.👨🏻‍🏫Спикер: Дмитрий Шипилов, б

#полезноВебинар «Введение в рекомендательные системы»🔥1 июня на YouTube канале пройдёт вебинар на котором раскроется одна из самых важных и популярных задач, которым приходится заниматься сейчас специалистам по анализу данных.👨🏻‍🏫Спикер: Дмитрий Шипилов, более 3-х лет ex. Data Scientist в Х5 Group, сейчас Data Scientist и аналитик в JobToday.com.Что разберём:🔹Где обычный пользователь сталкивается с рекомендательными системами.🔹Какие подходы к решению этой задачи бывают.🔹Как новичку попробовать построить свою первую рекомендательную систему для портфолио.Где и когда?🧑🏻‍🎓 1 июня.⏰ Онлайн в 19.00 по Мск. Трансляция на YouTube канале.

1 week, 1 day назад @ t.me
Привет! Предлагаем вашему вниманию подборку интересных статей из области Анализа данных: ▪︎ Какая бывает аналитика: предиктивная, описательная и еще 2 вида аналитики больших данных ▪︎ 10+ книг по аналитике данных для начинающих и не только ▪︎ Анализ больш
Привет! Предлагаем вашему вниманию подборку интересных статей из области Анализа данных: ▪︎ Какая бывает аналитика: предиктивная, описательная и еще 2 вида аналитики больших данных ▪︎ 10+ книг по аналитике данных для начинающих и не только ▪︎ Анализ больш

Привет! Предлагаем вашему вниманию подборку интересных статей из области Анализа данных: ▪︎ Какая бывает аналитика: предиктивная, описательная и еще 2 вида аналитики больших данных ▪︎ 10+ книг по аналитике данных для начинающих и не только ▪︎ Анализ больших данных в Excel: используем сводную таблицу для работы с BigQuery, Snowflake и ClickHouse ▪︎ Технологии big data: как анализируют большие данные, чтобы получить максимум прибыли ▪︎ Что такое бессерверный SQL? И как использовать его для анализа данных? ▪︎ 30 лучших инструментов больших данных для анализа данных ▪︎ БАЗОВЫЕ ВОЗМОЖНОСТИ ЯЗЫКА PYTHON ДЛЯ АНАЛИЗА ДАННЫХ ▪︎ Как создать простой SQL запрос на выгрузку данных из базы ▪︎ Сбор, консо…

1 week, 1 day назад @ t.me
Принёс вам подборку каналов и чатов с вакансиями для аналитиков, data scientists и дата-инженеров🟢 Datalytics Jobs — Канал с вакансиями для DA, DS, DE🟢 Работа ищет аналитиков — Пожалуй, самый большой чат с вакансиями для аналитиков. Не только вакансии, но
Принёс вам подборку каналов и чатов с вакансиями для аналитиков, data scientists и дата-инженеров🟢 Datalytics Jobs — Канал с вакансиями для DA, DS, DE🟢 Работа ищет аналитиков —  Пожалуй, самый большой чат с вакансиями для аналитиков. Не только вакансии, но Принёс вам подборку каналов и чатов с вакансиями для аналитиков, data scientists и дата-инженеров🟢 Datalytics Jobs — Канал с вакансиями для DA, DS, DE🟢 Работа ищет аналитиков — Пожалуй, самый большой чат с вакансиями для аналитиков. Не только вакансии, но

Принёс вам подборку каналов и чатов с вакансиями для аналитиков, data scientists и дата-инженеров🟢 Datalytics Jobs — Канал с вакансиями для DA, DS, DE🟢 Работа ищет аналитиков — Пожалуй, самый большой чат с вакансиями для аналитиков. Не только вакансии, но и чат, где можно обсудить наболевшие вопросы🟢 Business Intelligence HeadHunter — Вакансии для BI-аналитиков и не только🟢 Job for Analysts & Data Scientists — Вакансии для Digital-аналитиков и Data scientists от NewHRЕщё больше каналов доступно в папке — https://t.me/addlist/5bF19kBJLrI0NTQy

1 week, 2 days назад @ t.me
Конференция по продуктовой аналитике Aha!’23 пройдет 30 мая в МосквеПрактическая конференция по продвинутой продуктовой аналитике и marketplace effiency состоится 30 мая на площадке Центра делового предпринимательства. Среди спикеров конференции представит
Конференция по продуктовой аналитике Aha!’23 пройдет 30 мая в МосквеПрактическая конференция по продвинутой продуктовой аналитике и marketplace effiency состоится 30 мая на площадке Центра делового предпринимательства. Среди спикеров конференции представит Конференция по продуктовой аналитике Aha!’23 пройдет 30 мая в МосквеПрактическая конференция по продвинутой продуктовой аналитике и marketplace effiency состоится 30 мая на площадке Центра делового предпринимательства. Среди спикеров конференции представит

Конференция по продуктовой аналитике Aha!’23 пройдет 30 мая в МосквеПрактическая конференция по продвинутой продуктовой аналитике и marketplace effiency состоится 30 мая на площадке Центра делового предпринимательства. Среди спикеров конференции представители крупных компаний: Avito, Яндекс, Тинькофф, Мегафон, МТС, OZON и др. Целевая аудитория — продуктовые аналитики и менеджеры, директора по маркетингу, ML-специалисты.Ключевые темы конференции: продуктовые эксперименты, a/b-тестирование, модели монетизации, surge pricing, supply & demand balance, ranking and personalization, network effects, экономика и оптимизация.С подробной программой конференции можно ознакомиться по ссылке В конференц…

1 week, 5 days назад @ t.me
Для всех, кто интересуется AI, нейронными сетями, машинным обучением, - мы собрали папку с материалами, как для новичков, так продвинутых датасаентистов.Мы с авторами известных каналов, на каждый из которых я подписан более года подготовили для вас вот эту
Для всех, кто интересуется AI, нейронными сетями, машинным обучением, - мы собрали папку с материалами, как для новичков, так продвинутых датасаентистов.Мы с авторами известных каналов, на каждый из которых я подписан более года подготовили для вас вот эту

Для всех, кто интересуется AI, нейронными сетями, машинным обучением, - мы собрали папку с материалами, как для новичков, так продвинутых датасаентистов.Мы с авторами известных каналов, на каждый из которых я подписан более года подготовили для вас вот эту прекрасную ссылку: https://t.me/addlist/2Ls-snqEeytkMDgyПолезные материалы от разбора алгоритмической базы до продвинутых гайдов по нейроесетям, лайфаками с кодом.Сохраняйте себе и отправляйте друзьям, в этой подборке каждый найдет что-то для себя: https://t.me/addlist/2Ls-snqEeytkMDgy

1 week, 5 days назад @ t.me
Ребята из Авито ищут аналитиков в кластеры Trust and Safety и Business Security.Открыты позиции:➡️ Команда жилой недвижимости➡️ Команда модерации➡️ Команда рейтингов и отзывовИз приятного: • Много качественных данных, мощная инфраструктура и инструменты, л
Ребята из Авито ищут аналитиков в кластеры Trust and Safety и Business Security.Открыты позиции:➡️ Команда жилой недвижимости➡️ Команда модерации➡️ Команда рейтингов и отзывовИз приятного: • Много качественных данных, мощная инфраструктура и инструменты, л Ребята из Авито ищут аналитиков в кластеры Trust and Safety и Business Security.Открыты позиции:➡️ Команда жилой недвижимости➡️ Команда модерации➡️ Команда рейтингов и отзывовИз приятного: • Много качественных данных, мощная инфраструктура и инструменты, л

Ребята из Авито ищут аналитиков в кластеры Trust and Safety и Business Security.Открыты позиции:➡️ Команда жилой недвижимости➡️ Команда модерации➡️ Команда рейтингов и отзывовИз приятного: • Много качественных данных, мощная инфраструктура и инструменты, любое необходимое железо — всё готово для продуктивной работы; • Возможность влиять на бизнес и развитие продукта; • Прозрачная система премий, достойная зарплата — размер обсудим на собеседовании; • Личный бюджет на обучение — книги, курсы и конференции; • ДМС со стоматологией с первого дня, в офисе принимают терапевт и массажист; • Возможность совмещать работу из дома и комфортного офиса в 2 минутах от «Белорусской» с панорамным видом на …

1 week, 5 days назад @ t.me
Курс «Английский для аналитиков» Яндекс ПрактикумаДля специалистов, которые хотят изменить свою профессиональную жизнь и работать в международной команде. Обучение построено вокруг рабочих ситуаций и полезных для карьеры навыков:🗣 Самопрезентация. Рассказ
Курс «Английский для аналитиков» Яндекс ПрактикумаДля специалистов, которые хотят изменить свою профессиональную жизнь и работать в международной команде. Обучение построено вокруг рабочих ситуаций и полезных для карьеры навыков:🗣 Самопрезентация. Рассказ Курс «Английский для аналитиков» Яндекс ПрактикумаДля специалистов, которые хотят изменить свою профессиональную жизнь и работать в международной команде. Обучение построено вокруг рабочих ситуаций и полезных для карьеры навыков:🗣 Самопрезентация. Рассказ

Курс «Английский для аналитиков» Яндекс ПрактикумаДля специалистов, которые хотят изменить свою профессиональную жизнь и работать в международной команде. Обучение построено вокруг рабочих ситуаций и полезных для карьеры навыков:🗣 Самопрезентация. Рассказ о своей роли, задачах, сфере ответственности на поведенческом интервью и в неформальной беседе.🙌 Работа в команде. Стендапы, планирование спринтов, демонстрация навыков командной работы на собеседовании.👨‍💻 Общение с заказчиками и исполнителями. Сбор требований у стейкхолдеров и постановка задач для разработчиков.📈 Презентация результатов работы. Выступление на митапах, неформальное общение с коллегами из отрасли.📝 Обсуждение решений по пр…

1 week, 6 days назад @ t.me
Часто на Hadoop-кластерах не хватает ресурсов. Когда некоторые аналитики просят огромное количество ядер и памяти для своих Jupyter-ноутбуков, другие участники вообще не могут получить ресурсы. Это очень тормозит рабочие процессы. Узнали, согласны?Александ
Часто на Hadoop-кластерах не хватает ресурсов. Когда некоторые аналитики просят огромное количество ядер и памяти для своих Jupyter-ноутбуков, другие участники вообще не могут получить ресурсы. Это очень тормозит рабочие процессы. Узнали, согласны?Александ Часто на Hadoop-кластерах не хватает ресурсов. Когда некоторые аналитики просят огромное количество ядер и памяти для своих Jupyter-ноутбуков, другие участники вообще не могут получить ресурсы. Это очень тормозит рабочие процессы. Узнали, согласны?Александ

Часто на Hadoop-кластерах не хватает ресурсов. Когда некоторые аналитики просят огромное количество ядер и памяти для своих Jupyter-ноутбуков, другие участники вообще не могут получить ресурсы. Это очень тормозит рабочие процессы. Узнали, согласны?Александр Ледовский, тимлид команды аналитики и DS в Авито, делится опытом использования Apache Spark для работы с поисковыми логами.Всё, что нужно знать аналитикам, дата-инженерам, специалистам по обработке больших данных и тимлидам команд, чтобы задавать параметры Spark-сессии и получать ресурсы.Переходите и читайте по ссылке.Реклама. ООО «Авито Тех». LdtCKHdyF

2 weeks назад @ t.me
Труба данных Труба данных
последний пост 5 days, 1 hour назад
Пятничный юмор 😝@ohmydataengineer
Пятничный юмор 😝@ohmydataengineer Пятничный юмор 😝@ohmydataengineer

Пятничный юмор 😝@ohmydataengineer

5 days, 1 hour назад @ t.me
Все очень любят опросы и обзорыhttps://state-of-data.com/Почему? Потому что это собирает больше всего просмотров. Сначала я хотел написать свои наблюдения по поводу этого State of Data 2023 отчета, но потом увидел, что Дима уже сделал это, а дублировать ко
Все очень любят опросы и обзорыhttps://state-of-data.com/Почему? Потому что это собирает больше всего просмотров. Сначала я хотел написать свои наблюдения по поводу этого State of Data 2023 отчета, но потом увидел, что Дима уже сделал это, а дублировать ко Все очень любят опросы и обзорыhttps://state-of-data.com/Почему? Потому что это собирает больше всего просмотров. Сначала я хотел написать свои наблюдения по поводу этого State of Data 2023 отчета, но потом увидел, что Дима уже сделал это, а дублировать ко

Все очень любят опросы и обзорыhttps://state-of-data.com/Почему? Потому что это собирает больше всего просмотров. Сначала я хотел написать свои наблюдения по поводу этого State of Data 2023 отчета, но потом увидел, что Дима уже сделал это, а дублировать контент ради контента мне не особо хочется.Ничего нового, ничего необычного, “ходуб умер”. Если очень хочется потратить время, то результаты можно посмотреть.Ладно, одно наблюдение. Ты можешь быть класным инженером, но сделать так, чтобы графики были читаемыми и с них можно было считать легко информацию - это отдельный навык.Тут у ребят такая мешанина с осями и цветами, что становится очень больно[email protected]

1 week назад @ t.me
https://github.com/modularml/mojoГоворят, тут у Rust и Python случился ребенок в виде нового, хайпового языка программирования под названием Mojo. То есть там концепции и скорость Rust, а еще можно спокойно притаскивать модули Python:You can import and wri
https://github.com/modularml/mojoГоворят, тут у Rust и Python случился ребенок в виде нового, хайпового языка программирования под названием Mojo. То есть там концепции и скорость Rust, а еще можно спокойно притаскивать модули Python:You can import and wri

https://github.com/modularml/mojoГоворят, тут у Rust и Python случился ребенок в виде нового, хайпового языка программирования под названием Mojo. То есть там концепции и скорость Rust, а еще можно спокойно притаскивать модули Python:You can import and write normal Python modules/packages and code.It looks and feels like Python.Mojo wants to bring “systems programming” to Python.Mojo adds `let` and `var` function declarations to give immutability, or not.Mojo adds those famous `structs`.The ability to have static typing/checks at compile is available.Addition of `fn`s instead of `def`s for more immutable, static, and generally stricter methods.Mojo brings the concepts of borrowing and owner…

1 week, 1 day назад @ t.me
Передаю привет Viz команде, которую очень люблю 😂@ohmydataengineer
Передаю привет Viz команде, которую очень люблю 😂@ohmydataengineer Передаю привет Viz команде, которую очень люблю 😂@ohmydataengineer

Передаю привет Viz команде, которую очень люблю 😂@ohmydataengineer

1 week, 5 days назад @ t.me
А ты шо, теперь деврел?Расходился я тут по подкастам, это второй за последний год и, скорее всего, не последний, но ребята из Подлодки пока реагируют как типичный работодатель: мое отклик, прочитали, но не ответили 🤪 С Евгением из @general_it_talks “Тимлид
А ты шо, теперь деврел?Расходился я тут по подкастам, это второй за последний год и, скорее всего, не последний, но ребята из Подлодки пока реагируют как типичный работодатель: мое отклик, прочитали, но не ответили 🤪 С Евгением из @general_it_talks “Тимлид А ты шо, теперь деврел?Расходился я тут по подкастам, это второй за последний год и, скорее всего, не последний, но ребята из Подлодки пока реагируют как типичный работодатель: мое отклик, прочитали, но не ответили 🤪 С Евгением из @general_it_talks “Тимлид

А ты шо, теперь деврел?Расходился я тут по подкастам, это второй за последний год и, скорее всего, не последний, но ребята из Подлодки пока реагируют как типичный работодатель: мое отклик, прочитали, но не ответили 🤪 С Евгением из @general_it_talks “Тимлид Очевидность” мы знакомы давно, поэтому когда он предложил пообщаться за интересную тему - с удовольствием пришел. Евгений и Виктор ведут подкаст “Кода кода” и мы говорили про “Плохой Код VS Чистая Архитектура”. Вышло очень хорошо.Кстати, в эту же тему дров подкинул Кирил Мокенвин (создатель Hexlet.io) - https://habr.com/ru/articles/508876/ - Вероятно, хватит рекомендовать «Чистый код». Да, на Хабре, но большей РФ площадки для IT статей не…

1 week, 6 days назад @ t.me
Про дальнейшее развитиеhttps://www.youtube.com/watch?v=wB0ulHmvU7EКлассический вопрос, который мне задавали нескольких последних карьерных консультациях: а что дальше то делать? Куда дальше идти? Куда движется индустрия?Типичная проблема: IC (расти в техли
Про дальнейшее развитиеhttps://www.youtube.com/watch?v=wB0ulHmvU7EКлассический вопрос, который мне задавали нескольких последних карьерных консультациях: а что дальше то делать? Куда дальше идти? Куда движется индустрия?Типичная проблема: IC (расти в техли

Про дальнейшее развитиеhttps://www.youtube.com/watch?v=wB0ulHmvU7EКлассический вопрос, который мне задавали нескольких последних карьерных консультациях: а что дальше то делать? Куда дальше идти? Куда движется индустрия?Типичная проблема: IC (расти в техлиды, стаффы, принципалы) или менеджеры (тимлиды, ЕМ и вот это все). На деле, конечно, выбор между “индивидуал контрибутер” и “личинкой манагера” это огромная отдельная тема, требующая индивидуально проработки и все, что в общих фразах я могу сказать это “Делайте то, что хотите, а что хотите - не делайте”.Но вот касательно конкретно IC мне очень понравился доклад и статья с Coalesce “Excel at nothing”. Личное ощущение, что в целом, у general…

2 weeks назад @ t.me
Сокращения, что, опять?https://www.getdbt.com/blog/dbt-labs-update-a-message-from-ceo-tristan-handy/Я почти и не писал про сокращения, но это произошло в релевантной компании: в этот раз 15% сокращает dbt, задело всех, и инженеров тоже.Из примечательного,
Сокращения, что, опять?https://www.getdbt.com/blog/dbt-labs-update-a-message-from-ceo-tristan-handy/Я почти и не писал про сокращения, но это произошло в релевантной компании: в этот раз 15% сокращает dbt, задело всех, и инженеров тоже.Из примечательного,

Сокращения, что, опять?https://www.getdbt.com/blog/dbt-labs-update-a-message-from-ceo-tristan-handy/Я почти и не писал про сокращения, но это произошло в релевантной компании: в этот раз 15% сокращает dbt, задело всех, и инженеров тоже.Из примечательного, в 2020 году компания была 20 человек, в 2021 - 50, а в 2023 - почти [email protected]

2 weeks назад @ t.me
Еще немного бубнежа про Modern Data Stackhttps://www.rudderstack.com/assets/the-data-maturity-guide.pdfПродолжая разговор про modern data stack, у ребят из Rudderstack (rudderstack.com, cloud data platrofm) на своем сайте рассказывают, насколько этот ваш M
Еще немного бубнежа про Modern Data Stackhttps://www.rudderstack.com/assets/the-data-maturity-guide.pdfПродолжая разговор про modern data stack, у ребят из Rudderstack (rudderstack.com, cloud data platrofm) на своем сайте рассказывают, насколько этот ваш M

Еще немного бубнежа про Modern Data Stackhttps://www.rudderstack.com/assets/the-data-maturity-guide.pdfПродолжая разговор про modern data stack, у ребят из Rudderstack (rudderstack.com, cloud data platrofm) на своем сайте рассказывают, насколько этот ваш MDS сложная концептуальная штука, ничего не понятно и очень много всяких иконок, в том числе их самих. Ключевая цитата там звучит вот так:Let’s be honest. The modern data stack is an ambiguous concept. It’s confusing and impractical. What we need is a real-world roadmap to help us progressively build more mature data functions. So we developed a practical four-stage framework to guide you along your journey to data maturity.Поэтому за емейл…

2 weeks, 2 days назад @ t.me
Alerts Fatigue в качестве данныхhttps://www.youtube.com/watch?v=hxvVhmhWRJA&Неплохое видео с последнего(?) Coalece: про то, что тестируют в данных. Assumption (предположение что мы ожидаем увидеть) или Assertion (что мы зафорсили в коде). Неплохой расс
Alerts Fatigue в качестве данныхhttps://www.youtube.com/watch?v=hxvVhmhWRJA&Неплохое видео с последнего(?) Coalece: про то, что тестируют в данных. Assumption (предположение что мы ожидаем увидеть) или Assertion (что мы зафорсили в коде). Неплохой расс

Alerts Fatigue в качестве данныхhttps://www.youtube.com/watch?v=hxvVhmhWRJA&Неплохое видео с последнего(?) Coalece: про то, что тестируют в данных. Assumption (предположение что мы ожидаем увидеть) или Assertion (что мы зафорсили в коде). Неплохой рассказ про то, как у людей устроено DQ и как они задолбались получать уведомления о плохом качестве данных. Для себя подсмотрел интересную штуку, которая называется Elementary - OOS Data Observability поверх [email protected]

2 weeks, 2 days назад @ t.me
Ох, сколько интересных вещей я через git blame нашел. И еще в эксельке 😂@ohmydataengineer
Ох, сколько интересных вещей я через git blame нашел. И еще в эксельке 😂@ohmydataengineer Ох, сколько интересных вещей я через git blame нашел. И еще в эксельке 😂@ohmydataengineer

Ох, сколько интересных вещей я через git blame нашел. И еще в эксельке 😂@ohmydataengineer

2 weeks, 5 days назад @ t.me
ChatGPT прям в IDEНа деле, конечно, было уже пару десятков плагинов, которые встраивали функциональность ChatGPT в IDE, но я решил не пользоваться ими, довольствуясь лишь GitHub Copilot. Очень хорошо ускоряет разработку, особенно если ты понимаешь, что ты
ChatGPT прям в IDEНа деле, конечно, было уже пару десятков плагинов, которые встраивали функциональность ChatGPT в IDE, но я решил не пользоваться ими, довольствуясь лишь GitHub Copilot. Очень хорошо ускоряет разработку, особенно если ты понимаешь, что ты ChatGPT прям в IDEНа деле, конечно, было уже пару десятков плагинов, которые встраивали функциональность ChatGPT в IDE, но я решил не пользоваться ими, довольствуясь лишь GitHub Copilot. Очень хорошо ускоряет разработку, особенно если ты понимаешь, что ты

ChatGPT прям в IDEНа деле, конечно, было уже пару десятков плагинов, которые встраивали функциональность ChatGPT в IDE, но я решил не пользоваться ими, довольствуясь лишь GitHub Copilot. Очень хорошо ускоряет разработку, особенно если ты понимаешь, что ты делаешь 🤪Относительно недавно Github аннонсировали Copilot X с функцией подключения и общения с ChatGPT прямо в IDE. Прям в IDE тыкаешь в строчки кода и говоришь “Помоги мне поправить это дерьмо” и тебе рефактор предложат, сверху тестов накатят…Осталось только ChatGPT для коммандной строки и все будет шикардос… oh, wait! Это уже тоже есть тут!Короче, залезть в бету продвинутой версии - вот тут https://github.com/features/preview/copilot-xP…

3 weeks назад @ t.me
Шо там по зарплатам?https://medium.com/@mikldd/europe-data-salary-benchmark-2023-b68cea57923dДля тех, кто планирует релокацию в Европу (если что, это не про “большие бабки”), полезно знать какие-то ориентиры на рынке, даже не смотря на то, что рынок очень
Шо там по зарплатам?https://medium.com/@mikldd/europe-data-salary-benchmark-2023-b68cea57923dДля тех, кто планирует релокацию в Европу (если что, это не про “большие бабки”), полезно знать какие-то ориентиры на рынке, даже не смотря на то, что рынок очень

Шо там по зарплатам?https://medium.com/@mikldd/europe-data-salary-benchmark-2023-b68cea57923dДля тех, кто планирует релокацию в Европу (если что, это не про “большие бабки”), полезно знать какие-то ориентиры на рынке, даже не смотря на то, что рынок очень динамичный, разный, вот это все. Очередное исследование рынка и вот забаный момент из него (графички тоже внутри есть по ссылке):В Германии платят в среднем меньше, например 75% перцентиль в Амстердаме, Лондоне и Дублине платит на 50% больше, чем в Германии. Правда, Амстердам и так большой хаб, Лондон просто жутко дорогой, а Дублин, кажется, сильно перекошен зарплатами Амазона.Ну а так:Junior: Медиана $70k и только в бигтехе переваливает з…

3 weeks, 2 days назад @ t.me
Ща мы dbt притащим в проект и все полетит! 😂@ohmydataengineer
Ща мы dbt притащим в проект и все полетит! 😂@ohmydataengineer Ща мы dbt притащим в проект и все полетит! 😂@ohmydataengineer

Ща мы dbt притащим в проект и все полетит! 😂@ohmydataengineer

3 weeks, 5 days назад @ t.me
Про базовые концепции тестирования в данныхhttps://www.datafold.com/blog/the-state-of-data-testingЕсли вы находитесь на начальной стадии принятия и внедрения тестирования ваших данных, самые базовые концепции и примеры - это то, что вам нужно: Data Accurac
Про базовые концепции тестирования в данныхhttps://www.datafold.com/blog/the-state-of-data-testingЕсли вы находитесь на начальной стадии принятия и внедрения тестирования ваших данных, самые базовые концепции и примеры - это то, что вам нужно: Data Accurac

Про базовые концепции тестирования в данныхhttps://www.datafold.com/blog/the-state-of-data-testingЕсли вы находитесь на начальной стадии принятия и внедрения тестирования ваших данных, самые базовые концепции и примеры - это то, что вам нужно: Data Accuracy, Data Completeness, Data Consistency, Data Integrity.Это скорее базовый уровень, но для начала хватит. А еще можно тыкнуть в твиты автора и посмотреть, а что же другие делают для тестирования данных. Например, клевый ответ “Метод пристального взгляда” (мы так уравнения в 7 классе решали по математике: внимательно смотришь на пример и видишь ответ). Так и тут, скролишь всю табличку, видишь какую-нибудь фигню, значит что-то не то[email protected]

4 weeks назад @ t.me
Что там с modern data stack?https://mattpalmer.io/posts/hot-takes/Ох уж сколько мне этих статей попадалось и продолжает попадаться! Кто-то продолжает восхвалять, а кто-то начинает ругать уже все подряд. Очередной взгляд на вещи, короткая выдержка оттуда- у
Что там с modern data stack?https://mattpalmer.io/posts/hot-takes/Ох уж сколько мне этих статей попадалось и продолжает попадаться! Кто-то продолжает восхвалять, а кто-то начинает ругать уже все подряд. Очередной взгляд на вещи, короткая выдержка оттуда- у

Что там с modern data stack?https://mattpalmer.io/posts/hot-takes/Ох уж сколько мне этих статей попадалось и продолжает попадаться! Кто-то продолжает восхвалять, а кто-то начинает ругать уже все подряд. Очередной взгляд на вещи, короткая выдержка оттуда- у dbt нет некоторой функциональности, например column level lineage, которое ей не позволяет стать лучшим инструментом- Редшифт скатился и больше не конкурент- DWH все также сложно- Airflow - окаменелое устарелое 💩. А Airbyte - еще хуже. Поэтому пользуйтесь Mage (https://www.mage.ai/). Его активно форсит пара известных блоггеров, якобы это замена Airflow. Кто-нибудь пробовал?В общем, как всегда, полезно узнать мнения в других пузырях, но св…

1 month назад @ t.me
enthusiastech enthusiastech
последний пост 1 week, 1 day назад
Having extensive experience with Looker and dbt I've got several thoughts on⚡️ Replacing Looker with Cube + Superset ⚡️🔸 Future of BI and Analytics revolves around declarative metrics store and polyglot serving— You set your metrics simple way, in a single
Having extensive experience with Looker and dbt I've got several thoughts on⚡️ Replacing Looker with Cube + Superset ⚡️🔸 Future of BI and Analytics revolves around declarative metrics store and polyglot serving— You set your metrics simple way, in a single

Having extensive experience with Looker and dbt I've got several thoughts on⚡️ Replacing Looker with Cube + Superset ⚡️🔸 Future of BI and Analytics revolves around declarative metrics store and polyglot serving— You set your metrics simple way, in a single store and version control them— You then consume these metrics from wherever needed (BI, SQL, Apps, REST API)🔸 Cube is a powerful rival to Looker— Both support: Declarative Metrics, Dynamic SQL generation, Caching, RBAC— Cube is Open Source while Looker is a vendor lock-in (which is tying your options and opportunities)— Cube offers freemium plan while Looker is top-tier in terms of pricing🔸 Cube still has got many things to improve— Look…

1 week, 1 day назад @ t.me
Семантический слой для Аналитики ключевых метрик – dbt Metrics vs. Cube🔸 Что такое семантический слой, и в чем разница между Метрикой и Витриной данных.🔸 Пути формирования метрик: SQL (ad-hoc), UI, dbt Metrics, Cube.🔸 Примеры декларативной конфигурации в Y
Семантический слой для Аналитики ключевых метрик – dbt Metrics vs. Cube🔸 Что такое семантический слой, и в чем разница между Метрикой и Витриной данных.🔸 Пути формирования метрик: SQL (ad-hoc), UI, dbt Metrics, Cube.🔸 Примеры декларативной конфигурации в Y

Семантический слой для Аналитики ключевых метрик – dbt Metrics vs. Cube🔸 Что такое семантический слой, и в чем разница между Метрикой и Витриной данных.🔸 Пути формирования метрик: SQL (ad-hoc), UI, dbt Metrics, Cube.🔸 Примеры декларативной конфигурации в YAML и использования метрик.🔸 На что обращать внимание при выборе решения: Стек технологий, Доступность vs. Выразительнось, Гибкость vs. Скорость.В продолжение последней темы - для тех, кто любит читать.Читать на Habr →

1 month назад @ t.me
❗Ссылка на трансляцию: https://www.youtube.com/live/S7U2VTe06tE?feature=share ❓Вопросы задавайте в комментарии к этому посту либо через чат: https://otus.ru/lessons/event-chat/2847/
❗Ссылка на трансляцию: https://www.youtube.com/live/S7U2VTe06tE?feature=share ❓Вопросы задавайте в комментарии к этому посту либо через чат: https://otus.ru/lessons/event-chat/2847/

❗Ссылка на трансляцию: https://www.youtube.com/live/S7U2VTe06tE?feature=share ❓Вопросы задавайте в комментарии к этому посту либо через чат: https://otus.ru/lessons/event-chat/2847/

1 month, 1 week назад @ t.me
❗Ссылка на трансляцию: https://www.youtube.com/live/S7U2VTe06tE?feature=share❓Вопросы задавайте в комментарии к этому посту либо через чат:https://otus.ru/lessons/event-chat/2847/
❗Ссылка на трансляцию: https://www.youtube.com/live/S7U2VTe06tE?feature=share❓Вопросы задавайте в комментарии к этому посту либо через чат:https://otus.ru/lessons/event-chat/2847/

❗Ссылка на трансляцию: https://www.youtube.com/live/S7U2VTe06tE?feature=share❓Вопросы задавайте в комментарии к этому посту либо через чат:https://otus.ru/lessons/event-chat/2847/

1 month, 1 week назад @ t.me
Аналитика ключевых метрик компании: dbt Metrics / Cube.js / LookMLПривет! 25 апреля Вт в 20:00 проведу вебинар на YouTube.Рассмотрим на практике грани интересной темы:🔸 Что такое семантический слой, и в чем разница между Метрикой и Витриной данных🔸 Пути фо
Аналитика ключевых метрик компании: dbt Metrics / Cube.js / LookMLПривет! 25 апреля Вт в 20:00 проведу вебинар на YouTube.Рассмотрим на практике грани интересной темы:🔸 Что такое семантический слой, и в чем разница между Метрикой и Витриной данных🔸 Пути фо

Аналитика ключевых метрик компании: dbt Metrics / Cube.js / LookMLПривет! 25 апреля Вт в 20:00 проведу вебинар на YouTube.Рассмотрим на практике грани интересной темы:🔸 Что такое семантический слой, и в чем разница между Метрикой и Витриной данных🔸 Пути формирования метрик: SQL (ad-hoc), dbt Metrics package, Cube.js, LookML (Looker)🔸 Примеры декларативной конфигурации dbt metrics в yaml🔸 Как использовать продвинутые возможности dbt Metrics (derived metrics, secondary calculations)Важные выводы и идеи при выборе решения:🔸 Open source solutions vs. Vendor lock-in🔸 Flexibility vs. Speed tradeoff (online queries vs. pre-materialized)🔸 Access vs. Expressiveness (in-depth features vs. ease of use…

1 month, 2 weeks назад @ t.me
What I value most in BI tool❄️ I use Looker and totally satisfied with it.Here's my list of features labeled with (H)igh, (M)edium and (L)ow priority and grouped by:— Developer experience— User experience— Administration— Monitoring, System activity— Integ
What I value most in BI tool❄️ I use Looker and totally satisfied with it.Here's my list of features labeled with (H)igh, (M)edium and (L)ow priority and grouped by:— Developer experience— User experience— Administration— Monitoring, System activity— Integ

What I value most in BI tool❄️ I use Looker and totally satisfied with it.Here's my list of features labeled with (H)igh, (M)edium and (L)ow priority and grouped by:— Developer experience— User experience— Administration— Monitoring, System activity— Integrations & AppsI used this list to compare different solutions against what I currently use to see if I can benefit from switching to another tool.You can use it as reference to populate BI tool comparison matrix (included).➡️ https://telegra.ph/What-I-value-most-in-BI-tool-03-14 →#bi #tool #solution

2 months, 3 weeks назад @ t.me
Channel name was changed to «[Technology Enthusiast]»
Channel name was changed to «[Technology Enthusiast]»

Channel name was changed to «[Technology Enthusiast]»

3 months назад @ t.me
Why I use dev containers?How to package dbt and dependencies to a reproducible container– works almost instanty for you and team members– latest stable dbt + adapter versions– easy inividual secrets set up– configuring multiple dbt targets– fancy terminal:
Why I use dev containers?How to package dbt and dependencies to a reproducible container– works almost instanty for you and team members– latest stable dbt + adapter versions– easy inividual secrets set up– configuring multiple dbt targets– fancy terminal:

Why I use dev containers?How to package dbt and dependencies to a reproducible container– works almost instanty for you and team members– latest stable dbt + adapter versions– easy inividual secrets set up– configuring multiple dbt targets– fancy terminal: zsh + git plugin + shell history+ 30 second gif live demo Read more →#dbt #dev #container

3 months назад @ t.me
⚡️ I have run a Proof of Concept with Redshift ServerlessAnd here's the summary:— Reserving Redshift nodes is the best option given specific usage patterns.— Reserved nodes are 30% cheaper than on-demand ones.— Serverless doesn't show stable and production
⚡️ I have run a Proof of Concept with Redshift ServerlessAnd here's the summary:— Reserving Redshift nodes is the best option given specific usage patterns.— Reserved nodes are 30% cheaper than on-demand ones.— Serverless doesn't show stable and production

⚡️ I have run a Proof of Concept with Redshift ServerlessAnd here's the summary:— Reserving Redshift nodes is the best option given specific usage patterns.— Reserved nodes are 30% cheaper than on-demand ones.— Serverless doesn't show stable and production-ready results: faced with multiple query failures during data refresh.— Moreover, Serverless will definitely cost more with the same usage patterns.Read more →#dbt #redshift #database #serverless

3 months, 3 weeks назад @ t.me
Finishing a new Analytics Engineering Lab on Github🚀 DWH powered by Clickhouse and dbt – Build DWH powered by Clickhouse and dbt– Deploy Infrastructure as Code with Terraform and Yandex.Cloud– Instant development with Github Codespaces– Assignment checks w
Finishing a new Analytics Engineering Lab on Github🚀 DWH powered by Clickhouse and dbt – Build DWH powered by Clickhouse and dbt– Deploy Infrastructure as Code with Terraform and Yandex.Cloud– Instant development with Github Codespaces– Assignment checks w

Finishing a new Analytics Engineering Lab on Github🚀 DWH powered by Clickhouse and dbt – Build DWH powered by Clickhouse and dbt– Deploy Infrastructure as Code with Terraform and Yandex.Cloud– Instant development with Github Codespaces– Assignment checks with Github Actions#lab #modeling #dbt #iac

3 months, 3 weeks назад @ t.me
Channel name was changed to «🟧 [Technology Enthusiast]»
Channel name was changed to «🟧 [Technology Enthusiast]»

Channel name was changed to «🟧 [Technology Enthusiast]»

4 months назад @ t.me
🚀 Released myBI dbt Core and myBI Market showcase⚙️ myBI dbt Core module allows quick start transformations on top of data synced by myBI Connect along with multiple useful macros.— Supported Adapters: Clickhouse, PostgreSQL— Reference any data source as s
🚀 Released myBI dbt Core and myBI Market showcase⚙️ myBI dbt Core module allows quick start transformations on top of data synced by myBI Connect along with multiple useful macros.— Supported Adapters: Clickhouse, PostgreSQL— Reference any data source as s

🚀 Released myBI dbt Core and myBI Market showcase⚙️ myBI dbt Core module allows quick start transformations on top of data synced by myBI Connect along with multiple useful macros.— Supported Adapters: Clickhouse, PostgreSQL— Reference any data source as simple as select * from source('general', 'dates')— Build staging layer in one command with filters on account_id applied, pre-join with date dimension, comprehensive data testing (unique, not_null, relationships)— Leverage macros: source_filter_rows to limit rows for dev/test environments, any macro from dbt_utils package ⚡️ myBI Market showcase guides you through building Modern Data Stack analytics:— Configure environment— Install and co…

4 months, 1 week назад @ t.me
💎 Операционализация аналитики c инструментами класса reverse ETL – опыт использования Census 💎В публикации:— Место reverse ETL в схеме потоков данных— Потребность в решении задач операционной аналитики— Различные способы организации reverse ETL— Кейс: Cens
💎 Операционализация аналитики c инструментами класса reverse ETL – опыт использования Census 💎В публикации:— Место reverse ETL в схеме потоков данных— Потребность в решении задач операционной аналитики— Различные способы организации reverse ETL— Кейс: Cens

💎 Операционализация аналитики c инструментами класса reverse ETL – опыт использования Census 💎В публикации:— Место reverse ETL в схеме потоков данных— Потребность в решении задач операционной аналитики— Различные способы организации reverse ETL— Кейс: Census для синхронизации данных в Pipedrive CRMСегодня Операционная аналитика и практики reverse ETL - не столько дань моде, сколько насущная потребность многих компаний. Создать идеальное Хранилище мало, ведь данные создают ценность только тогда, когда вы способны их использовать.Читать на Хабр → #Pipelines #reverse-ETL

6 months, 1 week назад @ t.me
21 ноября (понедельник) в 20:00 проведу вебинар: 🚀 Аналитика продуктивности команд разработки на основе данных Github 🚀 Вы узнаете: 🔹 Каким образом собирать события организации из Github (Webhook, Airbyte) 🔹 С помощью чего осуществить парсинг, трансформа
21 ноября (понедельник) в 20:00 проведу вебинар: 🚀 Аналитика продуктивности команд разработки на основе данных Github 🚀 Вы узнаете: 🔹 Каким образом собирать события организации из Github (Webhook, Airbyte) 🔹 С помощью чего осуществить парсинг, трансформа

21 ноября (понедельник) в 20:00 проведу вебинар: 🚀 Аналитика продуктивности команд разработки на основе данных Github 🚀 Вы узнаете: 🔹 Каким образом собирать события организации из Github (Webhook, Airbyte) 🔹 С помощью чего осуществить парсинг, трансформации…

6 months, 2 weeks назад @ t.me
21 ноября (понедельник) в 20:00 проведу вебинар:🚀 Аналитика продуктивности команд разработки на основе данных Github 🚀Вы узнаете:🔹 Каким образом собирать события организации из Github (Webhook, Airbyte)🔹 С помощью чего осуществить парсинг, трансформации, с
21 ноября (понедельник) в 20:00 проведу вебинар:🚀 Аналитика продуктивности команд разработки на основе данных Github 🚀Вы узнаете:🔹 Каким образом собирать события организации из Github (Webhook, Airbyte)🔹 С помощью чего осуществить парсинг, трансформации, с

21 ноября (понедельник) в 20:00 проведу вебинар:🚀 Аналитика продуктивности команд разработки на основе данных Github 🚀Вы узнаете:🔹 Каким образом собирать события организации из Github (Webhook, Airbyte)🔹 С помощью чего осуществить парсинг, трансформации, сборку витрин данных (dbt)🔹 Как приготовить метрики: PR Rate, Time to Review / Merge (Looker)Кому подходит:🔹 Начинающим и продолжающим специалистам в области Аналитики данных, Data Engineering🔹 Тем, кто интересуется современными подходами организации Хранилищ Данных🔹 Руководителям команд разработки, менеджерам и даже CTO Результаты:🔹 Познакомитесь с современными инструментами организации DWH🔹 Поймете, как устроены процессы разработки ПО в с…

6 months, 2 weeks назад @ t.me
data будни data будни
последний пост 3 days, 2 hours назад
#послушано🎈 Алексей Миловидов в «Запуск завтра» рассказал про то как начинал ClickHouse и к чему это всё привелов 2008 это был просто конструктор отчётов для Яндекс Метрики, просто какие-то базовые отчёты на основе неагрегированных логов тогдашнего рунета
#послушано🎈 Алексей Миловидов в «Запуск завтра» рассказал про то как начинал ClickHouse и к чему это всё привелов 2008 это был просто конструктор отчётов для Яндекс Метрики, просто какие-то базовые отчёты на основе неагрегированных логов тогдашнего рунета

#послушано🎈 Алексей Миловидов в «Запуск завтра» рассказал про то как начинал ClickHouse и к чему это всё привелов 2008 это был просто конструктор отчётов для Яндекс Метрики, просто какие-то базовые отчёты на основе неагрегированных логов тогдашнего рунета. Потом была пауза в развитии и вернулся к разработке в 2011, чтобы в следующем году уже на основе Кликхауса вышла Метрика 2.0Постепенно соседние отделы тоже интересовались возможностью быстро обрабатывать тонны логов и Кликхаус распространялся внутри Яндекса. В 2016 решили выложить КХ в опенсорс — были опасения про безопасность, но плюсы этого решения оказались существеннее. А недавно КХ отделился совсем и стал стартапом с завидной оценкой…

3 days, 2 hours назад @ t.me
Книжный клуб + Кабанчик = 🖤Два года назад как начинающий и ответственный дата-инженер заказал оригинал книги Мартина Клеппманна Designing Data-Intensive Applications с Амазона. Но книга так и лежала у меня с тех пор, не смотря на рейтинг 5.0 и рекомендации
Книжный клуб + Кабанчик = 🖤Два года назад как начинающий и ответственный дата-инженер заказал оригинал книги Мартина Клеппманна Designing Data-Intensive Applications с Амазона. Но книга так и лежала у меня с тех пор, не смотря на рейтинг 5.0 и рекомендации

Книжный клуб + Кабанчик = 🖤Два года назад как начинающий и ответственный дата-инженер заказал оригинал книги Мартина Клеппманна Designing Data-Intensive Applications с Амазона. Но книга так и лежала у меня с тех пор, не смотря на рейтинг 5.0 и рекомендации со всех сторон.И вот в рабочей флудилке заговорили про книжные клубы, я решил что это хороший повод и закинул идею совместно прочитать этот технический бестселлер.План был максимальной простой: одна глава = одна неделя. Встречаемся каждый четверг, обсуждаем прочитанное, вспоминаем байки из опыта (если есть), находим аналоги в нашей инфраструктуре. И вот спустя 12 недель Кабанчик прочитан, книга исчёркана карандашными заметками, в заметках…

1 week, 1 day назад @ t.me
потрёпанный жизнью книжным клубом Кабанчик
потрёпанный жизнью книжным клубом Кабанчик потрёпанный жизнью книжным клубом Кабанчик

потрёпанный жизнью книжным клубом Кабанчик

1 week, 1 day назад @ t.me
Промпт-инженерыЗацепила фраза Григория Бакунова (bobuk) про промт для GitHub Copilot (работает на ChatGPT):> Для тех кто не программирует, посмотрите на картинку — вот так выглядит будущее программирование искусственного интеллекта. Действительно эти ~2
Промпт-инженерыЗацепила фраза Григория Бакунова (bobuk) про промт для GitHub Copilot (работает на ChatGPT):> Для тех кто не программирует, посмотрите на картинку — вот так выглядит будущее программирование искусственного интеллекта. Действительно эти ~2

Промпт-инженерыЗацепила фраза Григория Бакунова (bobuk) про промт для GitHub Copilot (работает на ChatGPT):> Для тех кто не программирует, посмотрите на картинку — вот так выглядит будущее программирование искусственного интеллекта. Действительно эти ~25 предложений можно представить как ~25 абзацев кода для какого-то приложения. Продолжая аналогию с программированием, можно вспомнить с чего начинается почти каждый урок — тот самый Hello world! И то же самое происходит с тем, кто впервые сталкивается с гот-моделями — их промты простые и односложные. А вот продвинутые юзеры гпт-моделей через пробы и ошибки учатся улучшают свои промты и некоторые уже даже не помещаются на страницу. Чем не про…

2 weeks, 1 day назад @ t.me
студенты есть? там открыли конкурс на стажировки, где за деньги можно поконтрибьютить в разный опенсорс: CatBoost, YDB и наш любимый YTsaurus https://foss.kruzhok.org/code-for-all
студенты есть? там открыли конкурс на стажировки, где за деньги можно поконтрибьютить в разный опенсорс: CatBoost, YDB и наш любимый YTsaurus https://foss.kruzhok.org/code-for-all

студенты есть? там открыли конкурс на стажировки, где за деньги можно поконтрибьютить в разный опенсорс: CatBoost, YDB и наш любимый YTsaurus https://foss.kruzhok.org/code-for-all

2 weeks, 1 day назад @ t.me
#послушанодоклад Ивана Ямщикова на TechTrain про практические применения МЛ — от банальных до продвинутых. Медицина, легал и прочие отрасли. В конце общее (позитивное!) напутствие.> Какие сейчас перед нами сценарии развития искусственного интеллекта? Жд
#послушанодоклад Ивана Ямщикова на TechTrain про практические применения МЛ — от банальных до продвинутых. Медицина, легал и прочие отрасли. В конце общее (позитивное!) напутствие.> Какие сейчас перед нами сценарии развития искусственного интеллекта? Жд

#послушанодоклад Ивана Ямщикова на TechTrain про практические применения МЛ — от банальных до продвинутых. Медицина, легал и прочие отрасли. В конце общее (позитивное!) напутствие.> Какие сейчас перед нами сценарии развития искусственного интеллекта? Ждет ли нас еще одна «зима»? Как машинное обучение меняет рынки, общества и планету?iTunes, YouTube⌘⌘⌘В яндексовый подкаст позвали двух директоров Такси (и одного таксиста-блогера). Поговорили об актуальном: распределение загрузки сервиса по часам и месяцам, цены на поездки, как внедряют новые фичи. Ещё из подкаста можно узнать, что СЕО Яндекс Такси регулярно таксует в Саратове (до чего работа довела человека!) iTunes, YouTube⌘⌘⌘Спотифай делает…

2 weeks, 3 days назад @ t.me
деньги-денежки-деньжататак-так-так, что тут у нас? это же зарплаты дата-профессий в Европе!что может быть интереснее, чем залезть в карман к брату-инженеру и узнать сколько туда капает каждый месяц.ребята собрали статистику по 500 вакансиям, сконвертили вс
деньги-денежки-деньжататак-так-так, что тут у нас? это же зарплаты дата-профессий в Европе!что может быть интереснее, чем залезть в карман к брату-инженеру и узнать сколько туда капает каждый месяц.ребята собрали статистику по 500 вакансиям, сконвертили вс деньги-денежки-деньжататак-так-так, что тут у нас? это же зарплаты дата-профессий в Европе!что может быть интереснее, чем залезть в карман к брату-инженеру и узнать сколько туда капает каждый месяц.ребята собрали статистику по 500 вакансиям, сконвертили вс

деньги-денежки-деньжататак-так-так, что тут у нас? это же зарплаты дата-профессий в Европе!что может быть интереснее, чем залезть в карман к брату-инженеру и узнать сколько туда капает каждый месяц.ребята собрали статистику по 500 вакансиям, сконвертили всё в доллары и сделали разрезы по синьорности, стране и компаниям.⌘ что интересного увидели:1. по синьорности: зп есть прямая корреляция на первых 6 лет карьеры, дальше всё по-разному2. по локациям: в Берлина в среднем зп ниже, объясняют наличием там офисов Delivery Hero и Zalando, где зп чуть ниже рынка. А вот в Дублине, кажется, собрались сеньёристые ребята и там явный перекос зп в сторону высоких грейдов.3. по компаниям: Delivery Hero и …

3 months назад @ t.me
короткой строкой про дата-инженерские вакансии в Яндексе:1. открыта вакансия в Практикум. Судя по описанию, всё довольно стандартно: там собрать, сюда положить, сверху витрины; ждут кандидатов с 3+ годами опыта. Если я ничего не путаю, Практикум работает у
короткой строкой про дата-инженерские вакансии в Яндексе:1. открыта вакансия в Практикум. Судя по описанию, всё довольно стандартно: там собрать, сюда положить, сверху витрины; ждут кандидатов с 3+ годами опыта. Если я ничего не путаю, Практикум работает у

короткой строкой про дата-инженерские вакансии в Яндексе:1. открыта вакансия в Практикум. Судя по описанию, всё довольно стандартно: там собрать, сюда положить, сверху витрины; ждут кандидатов с 3+ годами опыта. Если я ничего не путаю, Практикум работает удалённо, а ещё там супер душевная команда ❤️2. а ещё случайно узнал, что 4-5 марта (это уже ЗАВТРА!) можно получить фаст оффер в DWH Яндекс Маркета. Про требования к кандидатам всё написано общо́. Маркет использует подходы к двх-строению как у нас в Go, поэтому там должно быть круто. Я б сходил чисто по фану — часто перетереть за данные с умными людьми без каких-то обязательств 😉3. ну и к нам в Доставку тоже ищут инженера. У нас YT (Hadoop)…

3 months назад @ t.me
в каждом меме есть доля шутки — в далёком 2020 я присматривался куда пойти… и не пошёл в ML 🙃 типа ща я тут по-быстрому с аналитикой сперва разберусь, а там до мл уже шапкой докинуть!
в каждом меме есть доля шутки — в далёком 2020 я присматривался куда пойти… и не пошёл в ML 🙃 типа ща я тут по-быстрому с аналитикой сперва разберусь, а там до мл уже шапкой докинуть!

в каждом меме есть доля шутки — в далёком 2020 я присматривался куда пойти… и не пошёл в ML 🙃 типа ща я тут по-быстрому с аналитикой сперва разберусь, а там до мл уже шапкой докинуть!

3 months, 2 weeks назад @ t.me
Легенды базостроительства в подкасте от dbtMike Stonebraker занимается базами данных с 1970-х. Тогда он написал реляционную БД Ingress, за три года до того как Ларри Эллисон выпустил Oracle. После этого Майкл приложил руку к Postgres (название отсылает к I
Легенды базостроительства в подкасте от dbtMike Stonebraker занимается базами данных с 1970-х. Тогда он написал реляционную БД Ingress, за три года до того как Ларри Эллисон выпустил Oracle. После этого Майкл приложил руку к Postgres (название отсылает к I

Легенды базостроительства в подкасте от dbtMike Stonebraker занимается базами данных с 1970-х. Тогда он написал реляционную БД Ingress, за три года до того как Ларри Эллисон выпустил Oracle. После этого Майкл приложил руку к Postgres (название отсылает к Ingres).Рассказал, как в 1990-х обратили внимание на колоночный тип хранения. Строчное хранение оптимизирует запись, в то время как данных скопилось много и начались проблемы со скоростью чтения — появилась необходимость в том, что стало называться DWH. В 2005 они выпустили Вертику. Понравилась байка как они пришли показывать Вертику в большой тогдашний е-ком. Там был инстанс Оракла за миллион долларов, который обрабатывал аналитический зап…

3 months, 3 weeks назад @ t.me
NoSQL → Not Only SQLNoSQL сейчас употребляется в смысле anti-SQL, как противопоставление доминирующим ораклам и постягрям с их ненавистной реляционной моделью.Хотя изначально смысл закладывался другой — не прямое противопоставление, а как ещё один вариант,
NoSQL → Not Only SQLNoSQL сейчас употребляется в смысле anti-SQL, как противопоставление доминирующим ораклам и постягрям с их ненавистной реляционной моделью.Хотя изначально смысл закладывался другой — не прямое противопоставление, а как ещё один вариант,

NoSQL → Not Only SQLNoSQL сейчас употребляется в смысле anti-SQL, как противопоставление доминирующим ораклам и постягрям с их ненавистной реляционной моделью.Хотя изначально смысл закладывался другой — не прямое противопоставление, а как ещё один вариант, алтернатива. В Книге С Кабанчиком™ Мартин Клеппманн приводит ссылку на заметку из 2009 года.https://web.archive.org/web/20190623045155/http://blog.sym-link.com/2009/10/30/nosql_whats_in_a_name.htmlДействительно это был просто хэштег для митапа по альтернативным базам данных. Хештег потом прилепился, но смысл его постепенно стал более категоричным.А изначально было действительно в значение Not Only SQL.и ещё вот твит от фаундера графовой Б…

3 months, 3 weeks назад @ t.me
иллюстрация «как должен выглядить Data Mesh» из той самой статьи от Zhamak Dehghani из 2020 года https://martinfowler.com/articles/data-mesh-principles.htmlсверху купол федеративного арх-надзора с документами-инструкциямив центре слои-домены с выделенными
иллюстрация «как должен выглядить Data Mesh» из той самой статьи от Zhamak Dehghani из 2020 года https://martinfowler.com/articles/data-mesh-principles.htmlсверху купол федеративного арх-надзора с документами-инструкциямив центре слои-домены с выделенными иллюстрация «как должен выглядить Data Mesh» из той самой статьи от Zhamak Dehghani из 2020 года https://martinfowler.com/articles/data-mesh-principles.htmlсверху купол федеративного арх-надзора с документами-инструкциямив центре слои-домены с выделенными

иллюстрация «как должен выглядить Data Mesh» из той самой статьи от Zhamak Dehghani из 2020 года https://martinfowler.com/articles/data-mesh-principles.htmlсверху купол федеративного арх-надзора с документами-инструкциямив центре слои-домены с выделенными командамив основании — общая платформа для того, чтобы всё работало

3 months, 3 weeks назад @ t.me
Мета ДВХ: ДВХ для ДВХ Посмотрел доклад Жени Ермакова двухлетней давности о том как они делали МетаДВХ в Яндекс Такси. Отдельное удовольствие сначала поработать годик внутри, а потом посмотреть такое вводное видео как пришли к такому решению. Суть докла
Мета ДВХ: ДВХ для ДВХ Посмотрел доклад Жени Ермакова двухлетней давности о том как они делали МетаДВХ в Яндекс Такси. Отдельное удовольствие сначала поработать годик внутри, а потом посмотреть такое вводное видео как пришли к такому решению. Суть докла

Мета ДВХ: ДВХ для ДВХ Посмотрел доклад Жени Ермакова двухлетней давности о том как они делали МетаДВХ в Яндекс Такси. Отдельное удовольствие сначала поработать годик внутри, а потом посмотреть такое вводное видео как пришли к такому решению. Суть доклада…

3 months, 3 weeks назад @ t.me
Netflix Chaos Monkeyчтобы достичь доступности в распределённых сервисах используют избыточность: несколько дисков в рейд-массиве вместо одного или несколько машин вместо одной.в идеале при выходе из строя одного элемента, система должна поддерживать дееспо
Netflix Chaos Monkeyчтобы достичь доступности в распределённых сервисах используют избыточность: несколько дисков в рейд-массиве вместо одного или несколько машин вместо одной.в идеале при выходе из строя одного элемента, система должна поддерживать дееспо

Netflix Chaos Monkeyчтобы достичь доступности в распределённых сервисах используют избыточность: несколько дисков в рейд-массиве вместо одного или несколько машин вместо одной.в идеале при выходе из строя одного элемента, система должна поддерживать дееспособность на определённом уровне. Если у нас 10 000 дисков, то по техническим допускам в среднем один диск должен выходить из строя каждый день.даже когда есть чёткие инструкции по восстановлению, только практика может отточить навык, а чтобы такая практика происходила регулярно, в Нетфликсе в инфру запускают МАРТЫШКУ ХАОСА (лайк за нейминг!).точнее даже целое стадо разноспециализированных мартышек: одна рандомно прибивает неоптимальной нас…

4 months назад @ t.me
Мета ДВХ: ДВХ для ДВХПосмотрел доклад Жени Ермакова двухлетней давности о том как они делали МетаДВХ в Яндекс Такси. Отдельное удовольствие сначала поработать годик внутри, а потом посмотреть такое вводное видео как пришли к такому решению.Суть доклада с
Мета ДВХ: ДВХ для ДВХПосмотрел доклад Жени Ермакова двухлетней давности о том как они делали МетаДВХ в Яндекс Такси. Отдельное удовольствие сначала поработать годик внутри, а потом посмотреть такое вводное видео как пришли к такому решению.Суть доклада с

Мета ДВХ: ДВХ для ДВХПосмотрел доклад Жени Ермакова двухлетней давности о том как они делали МетаДВХ в Яндекс Такси. Отдельное удовольствие сначала поработать годик внутри, а потом посмотреть такое вводное видео как пришли к такому решению.Суть доклада сводиться к тому, что логи использования ДВХ засунули в ДВХ как отдельный источник. Смоделировав опрятные модели, это позволило посчитать метрики и отслеживать насколько хорошо команды ДВХ справляются со своими задачами.Мы пользуемся такими отчётами, чтобы отслеживать использование новых объектов (не зря ли мы старались, добавляя их); а ещё поддерживаем счёт в нашей битве за пользователей с «теневым двх»: ключевая метрика здесь — соотношение …

4 months назад @ t.me
под капотом Яндекс.Такси под капотом Яндекс.Такси
последний пост None
🎧 Podcasts
Data Engineering Podcast Data Engineering Podcast
последний пост 2 days, 13 hours назад
Reduce The Overhead In Your Pipelines With Agile Data Engine's DataOps Service
Reduce The Overhead In Your Pipelines With Agile Data Engine's DataOps Service

Summary

A significant portion of the time spent by data engineering teams is on managing the workflows and operations of their pipelines. DataOps has arisen as a parallel set of practices to that of DevOps teams as a means of reducing wasted effort. Agile Data Engine is a platform designed to handle the infrastructure side of the DataOps equation, as well as providing the insights that you need to manage the human side of the workflow. In this episode Tevje Olin explains how the platform is implemented, the features that it provides to reduce the amount of effort required to keep your pipelines running, and how you can start using it in your own team.

Announcements

Hello and welcome to the …

2 days, 13 hours назад @ dataengineeringpodcast.com
A Roadmap To Bootstrapping The Data Team At Your Startup
A Roadmap To Bootstrapping The Data Team At Your Startup

Summary

Building a data team is hard in any circumstance, but at a startup it can be even more challenging. The requirements are fluid, you probably don't have a lot of existing data talent to manage the hiring and onboarding, and there is a need to move fast. Ghalib Suleiman has been on both sides of this equation and joins the show to share his hard-won wisdom about how to start and grow a data team in the early days of company growth.

Announcements

Hello and welcome to the Data Engineering Podcast, the show about modern data management

RudderStack helps you build a customer data platform on your warehouse or data lake. Instead of trapping data in a black box, they enable you to easily co…

1 week, 2 days назад @ dataengineeringpodcast.com
Keep Your Data Lake Fresh With Real Time Streams Using Estuary
Keep Your Data Lake Fresh With Real Time Streams Using Estuary

Summary

Batch vs. streaming is a long running debate in the world of data integration and transformation. Proponents of the streaming paradigm argue that stream processing engines can easily handle batched workloads, but the reverse isn't true. The batch world has been the default for years because of the complexities of running a reliable streaming system at scale. In order to remove that barrier, the team at Estuary have built the Gazette and Flow systems from the ground up to resolve the pain points of other streaming engines, while providing an intuitive interface for data and application engineers to build their streaming workflows. In this episode David Yaffe and Johnny Graettinger sh…

2 weeks, 2 days назад @ dataengineeringpodcast.com
What Happens When The Abstractions Leak On Your Data
What Happens When The Abstractions Leak On Your Data

Summary

All of the advancements in our technology is based around the principles of abstraction. These are valuable until they break down, which is an inevitable occurrence. In this episode the host Tobias Macey shares his reflections on recent experiences where the abstractions leaked and some observances on how to deal with that situation in a data platform architecture.

Announcements

Hello and welcome to the Data Engineering Podcast, the show about modern data management

RudderStack helps you build a customer data platform on your warehouse or data lake. Instead of trapping data in a black box, they enable you to easily collect customer data from the entire stack and build an identity gr…

3 weeks, 2 days назад @ dataengineeringpodcast.com
Use Consistent And Up To Date Customer Profiles To Power Your Business With Segment Unify
Use Consistent And Up To Date Customer Profiles To Power Your Business With Segment Unify

Summary

Every business has customers, and a critical element of success is understanding who they are and how they are using the companies products or services. The challenge is that most companies have a multitude of systems that contain fragments of the customer's interactions and stitching that together is complex and time consuming. Segment created the Unify product to reduce the burden of building a comprehensive view of customers and synchronizing it to all of the systems that need it. In this episode Kevin Niparko and Hanhan Wang share the details of how it is implemented and how you can use it to build and maintain rich customer profiles.

Announcements

Hello and welcome to the Data …

1 month назад @ dataengineeringpodcast.com
Realtime Data Applications Made Easier With Meroxa
Realtime Data Applications Made Easier With Meroxa

Summary

Real-time capabilities have quickly become an expectation for consumers. The complexity of providing those capabilities is still high, however, making it more difficult for small teams to compete. Meroxa was created to enable teams of all sizes to deliver real-time data applications. In this episode DeVaris Brown discusses the types of applications that are possible when teams don't have to manage the complex infrastructure necessary to support continuous data flows.

Announcements

Hello and welcome to the Data Engineering Podcast, the show about modern data management

RudderStack helps you build a customer data platform on your warehouse or data lake. Instead of trapping data in a b…

1 month, 2 weeks назад @ dataengineeringpodcast.com
Building Self Serve Business Intelligence With AI And Semantic Modeling At Zenlytic
Building Self Serve Business Intelligence With AI And Semantic Modeling At Zenlytic

Summary

Business intellingence has been chasing the promise of self-serve data for decades. As the capabilities of these systems has improved and become more accessible, the target of what self-serve means changes. With the availability of AI powered by large language models combined with the evolution of semantic layers, the team at Zenlytic have taken aim at this problem again. In this episode Paul Blankley and Ryan Janssen explore the power of natural language driven data exploration combined with semantic modeling that enables an intuitive way for everyone in the business to access the data that they need to succeed in their work.

Announcements

Hello and welcome to the Data Engineering …

1 month, 3 weeks назад @ dataengineeringpodcast.com
An Exploration Of The Composable Customer Data Platform
An Exploration Of The Composable Customer Data Platform

Summary

The customer data platform is a category of services that was developed early in the evolution of the current era of cloud services for data processing. When it was difficult to wire together the event collection, data modeling, reporting, and activation it made sense to buy monolithic products that handled every stage of the customer data lifecycle. Now that the data warehouse has taken center stage a new approach of composable customer data platforms is emerging. In this episode Darren Haken is joined by Tejas Manohar to discuss how Autotrader UK is addressing their customer data needs by building on top of their existing data stack.

Announcements

Hello and welcome to the Data Eng…

1 month, 4 weeks назад @ dataengineeringpodcast.com
Mapping The Data Infrastructure Landscape As A Venture Capitalist
Mapping The Data Infrastructure Landscape As A Venture Capitalist

Summary

The data ecosystem has been building momentum for several years now. As a venture capital investor Matt Turck has been trying to keep track of the main trends and has compiled his findings into the MAD (ML, AI, and Data) landscape reports each year. In this episode he shares his experiences building those reports and the perspective he has gained from the exercise.

Announcements

Hello and welcome to the Data Engineering Podcast, the show about modern data management

Businesses that adapt well to change grow 3 times faster than the industry average. As your business adapts, so should your data. RudderStack Transformations lets you customize your event data in real-time with your own …

2 months назад @ dataengineeringpodcast.com
Unlocking The Potential Of Streaming Data Applications Without The Operational Headache At Grainite
Unlocking The Potential Of Streaming Data Applications Without The Operational Headache At Grainite

Summary

The promise of streaming data is that it allows you to react to new information as it happens, rather than introducing latency by batching records together. The peril is that building a robust and scalable streaming architecture is always more complicated and error-prone than you think it's going to be. After experiencing this unfortunate reality for themselves, Abhishek Chauhan and Ashish Kumar founded Grainite so that you don't have to suffer the same pain. In this episode they explain why streaming architectures are so challenging, how they have designed Grainite to be robust and scalable, and how you can start using it today to build your streaming data applications without all …

2 months, 1 week назад @ dataengineeringpodcast.com
Aligning Data Security With Business Productivity To Deploy Analytics Safely And At Speed
Aligning Data Security With Business Productivity To Deploy Analytics Safely And At Speed

Summary

As with all aspects of technology, security is a critical element of data applications, and the different controls can be at cross purposes with productivity. In this episode Yoav Cohen from Satori shares his experiences as a practitioner in the space of data security and how to align with the needs of engineers and business users. He also explains why data security is distinct from application security and some methods for reducing the challenge of working across different data systems.

Announcements

Hello and welcome to the Data Engineering Podcast, the show about modern data management

Join in with the event for the global data community, Data Council Austin. From March 28-30th 2…

2 months, 2 weeks назад @ dataengineeringpodcast.com
Use Your Data Warehouse To Power Your Product Analytics With NetSpring
Use Your Data Warehouse To Power Your Product Analytics With NetSpring

Summary

With the rise of the web and digital business came the need to understand how customers are interacting with the products and services that are being sold. Product analytics has grown into its own category and brought with it several services with generational differences in how they approach the problem. NetSpring is a warehouse-native product analytics service that allows you to gain powerful insights into your customers and their needs by combining your event streams with the rest of your business data. In this episode Priyendra Deshwal explains how NetSpring is designed to empower your product and data teams to build and explore insights around your products in a streamlined and…

2 months, 4 weeks назад @ dataengineeringpodcast.com
Exploring The Nuances Of Building An Intential Data Culture
Exploring The Nuances Of Building An Intential Data Culture

Summary

The ecosystem for data professionals has matured to the point that there are a large and growing number of distinct roles. With the scope and importance of data steadily increasing it is important for organizations to ensure that everyone is aligned and operating in a positive environment. To help facilitate the nascent conversation about what constitutes an effective and productive data culture, the team at Data Council have dedicated an entire conference track to the subject. In this episode Pete Soderling and Maggie Hays join the show to explore this topic and their experience preparing for the upcoming conference.

Announcements

Hello and welcome to the Data Engineering Podcast, …

3 months назад @ dataengineeringpodcast.com
Building A Data Mesh Platform At PayPal
Building A Data Mesh Platform At PayPal

Summary

There has been a lot of discussion about the practical application of data mesh and how to implement it in an organization. Jean-Georges Perrin was tasked with designing a new data platform implementation at PayPal and wound up building a data mesh. In this episode he shares that journey and the combination of technical and organizational challenges that he encountered in the process.

Announcements

Hello and welcome to the Data Engineering Podcast, the show about modern data management

Are you tired of dealing with the headache that is the 'Modern Data Stack'? We feel your pain. It's supposed to make building smarter, faster, and more flexible data infrastructures a breeze. It ends …

3 months, 1 week назад @ dataengineeringpodcast.com
The View Below The Waterline Of Apache Iceberg And How It Fits In Your Data Lakehouse
The View Below The Waterline Of Apache Iceberg And How It Fits In Your Data Lakehouse

Summary

Cloud data warehouses have unlocked a massive amount of innovation and investment in data applications, but they are still inherently limiting. Because of their complete ownership of your data they constrain the possibilities of what data you can store and how it can be used. Projects like Apache Iceberg provide a viable alternative in the form of data lakehouses that provide the scalability and flexibility of data lakes, combined with the ease of use and performance of data warehouses. Ryan Blue helped create the Iceberg project, and in this episode he rejoins the show to discuss how it has evolved and what he is doing in his new business Tabular to make it even easier to implement…

3 months, 2 weeks назад @ dataengineeringpodcast.com
«Ничего такого» by Dodo Enginnering
последний пост None
Запуск завтра Podcast Запуск завтра Podcast
последний пост 5 days, 16 hours назад
Интернет в Китае. Как устроен великий китайский файрвол
Интернет в Китае. Как устроен великий китайский файрвол Интернет в Китае. Как устроен великий китайский файрвол

Пройдите наш опрос: https://form.typeform.com/to/JtPoHCCk Пятая часть всех пользователей интернета на планете приходится на Китай. При этом китайский интернет существует почти обособленно от остального мира. Как так получилось и в чем отличие пользовательского опыта в Китае разбираемся с двумя экспертами — Джеймсом Гриффитсом, британским журналистом и автором книги про файрвол и Леонидом Ковачичем, китаистом, изучающим системы контроля за интернетом в КНР. Реклама. Осваивайте новые стеки и технологии в Яндекс Практикуме: https://clck.ru/34FzoC Слушать «Запуск++» и другие бонусы по подписке ЛибоЛибо+ в приложении «Подкасты» от Apple https://cutt.ly/zap0106epap или в закрытом тг-канале Либо/Л…

5 days, 16 hours назад @ zapuskzavtra.libsyn.com
Что нового в кибербезе? Взломы блокчейна, AI-атаки и аудиты за миллионы
Что нового в кибербезе? Взломы блокчейна, AI-атаки и аудиты за миллионы Что нового в кибербезе? Взломы блокчейна, AI-атаки и аудиты за миллионы

Омар Ганиев занимается кибербезопасностью больше 10 лет, а его команда ищет уязвимости в смарт-контрактах и взламывает внутренние сети банков. В этом эпизоде он рассказывает Самату, как забытые сервера приводят к взломам огромных корпораций, почему в блокчейне так много платят за обнаружение уязвимости и какие меры безопасности стоит принимать обычным пользователям. Реклама. Курс «Мидл Python-разработчик» от Яндекс Практикума: https://clck.ru/34FzkS Ссылки: Выступление Омара про AI security: https://www.youtube.com/watch?v=RhbKkaibUGQ Слушать «Запуск++» и другие бонусы по подписке ЛибоЛибо+ в приложении «Подкасты» от Apple https://cutt.ly/zap2505epap или в закрытом тг-канале Либо/Либо https…

1 week, 5 days назад @ zapuskzavtra.libsyn.com
ClickHouse. Из разработки внутри Яндекса в самостоятельную компанию
ClickHouse. Из разработки внутри Яндекса в самостоятельную компанию ClickHouse. Из разработки внутри Яндекса в самостоятельную компанию

Алексей Миловидов занимается проектом ClickHouse больше 10 лет. За это время его разработка стала опенсорсной, вышла из-под крыла Яндекса и привлекла несколько миллиардов инвестиций. В этом эпизоде Алексей вспоминает этот путь и рассказывает, чем сейчас живет компания ClickHouse. Реклама. Бесплатный курс «Подготовка к алгоритмическому собеседованию» от Яндекс Практикума: https://clck.ru/34FzhT Ссылки: Документация ClickHouse: https://clck.ru/34TBES Andy Pavlo: Database Systems CMU: https://clck.ru/34TBFM Книга Designing Data-Intensive Applications: The Big Ideas Behind Reliable, Scalable, and Maintainable Systems, автор Мартин Клеппманн: https://clck.ru/34TBNE Build Your Own Redis: https://…

2 weeks, 5 days назад @ zapuskzavtra.libsyn.com
Найти себя на карте. Как GPS определяет наше местоположение
Найти себя на карте. Как GPS определяет наше местоположение Найти себя на карте. Как GPS определяет наше местоположение

Чтобы ваш телефон мог с высокой точностью определить, где вы находитесь, государства вкладывают миллиарды долларов в запуск в космос спутников, а еще строят сложную инфраструктуру на земле. В этом эпизоде эксперт по системам навигации Игорь Веренинов рассказывает, как они устроены и как их делают еще точнее. Реклама. Станьте экспертом Яндекс Практикума: https://clck.ru/34FzZN Эпизод про точное время: https://pc.st/e/0J2gxUNxjHU Эпизод подкаста «Собес» про ChatGPT: https://pc.st/e/4NZyyE2wmPu Слушать «Запуск++» и другие бонусы по подписке ЛибоЛибо+ в приложении «Подкасты» от Apple https://clck.ru/34PVht или в закрытом тг-канале Либо/Либо https://bit.ly/zav_ep_tg Подписаться только на «Запуск…

3 weeks, 5 days назад @ zapuskzavtra.libsyn.com
Ликбез о микрофонах. Как они устроены и как выбрать свой
Ликбез о микрофонах. Как они устроены и как выбрать свой Ликбез о микрофонах. Как они устроены и как выбрать свой

В подкастах важен хороший звук, и Самат наконец-то решил разобраться, как его получают. В этом ему помогает Илья Лукашев — звукорежиссер и большой энтузиаст микрофонов. Почему поролон для подавления шумов — миф? Как создать эффект шепота в ухо? Нужно ли покупать микрофон для зум-созвонов? Сообщество Ильи: https://vk.com/boring_sound YouTube-канал Ильи: https://www.youtube.com/@ilyalukashev/videos Реклама. «Курс Мидл Python-разработчик» от Яндекс Практикума https://clck.ru/33pVid Ссылки: Сравнение направленности микрофонов: https://clck.ru/34Fy89 Бинауральный микрофон: https://clck.ru/34Fy8t Audio test kitchen: https://www.audiotestkitchen.com Gearspace: https://clck.ru/34FyAL Прослушивающее…

1 month, 1 week назад @ zapuskzavtra.libsyn.com
Войти в IT: детская версия. Как подружить школьника с цифровым миром
Войти в IT: детская версия. Как подружить школьника с цифровым миром Войти в IT: детская версия. Как подружить школьника с цифровым миром

Тизер: в этом выпуске дочь Самата учится программировать! 150 тысяч детей учат информатику по программе Яндекс Учебника. Гость сегодняшнего эпизода Влад Степанов рассказал, зачем школьникам питон и как его команда проектирует уроки для детей, которые и так с детства пользуются гаджетами и интернетом. Реклама. «Курс по автоматизации тестирования на Java и Python» от Яндекс Практикума: https://clck.ru/33pVge Информатика от Яндекс Учебника: https://education.yandex.ru/inf/ Рекомендации от гостя: Подкаст про викторианский стиль: https://clck.ru/34C6R7 Игра, разработанная детьми: https://clck.ru/34C6Rm Канал Veritasuim: https://youtube.com/@veritasium (видео с русским дубляжом — https://youtube.…

1 month, 2 weeks назад @ zapuskzavtra.libsyn.com
Нейроинтерфейсы. Как связать компьютер с мозгом
Нейроинтерфейсы. Как связать компьютер с мозгом Нейроинтерфейсы. Как связать компьютер с мозгом

В этом эпизоде разбираемся, как считывать сигналы с мозга, анализировать активность лобных долей и играть в нейроигры. И главное — зачем всё это нужно. В гостях — Дмитрий Конышев, руководитель разработки в компании Нейроботикс Реклама. Бесплатный курс от Яндекс Практикума «Подготовка к алгоритмическому собеседованию»: https://clck.ru/33pVgN Подписаться на «Запуск++» в Телеграме: https://t.me/+N_AopnXC0dBkMGQy Подписаться на Либо/Либо+ в Телеграме, куда включены эпизоды «Запуск++»: https://t.me/+LXZx5JRqO4o0MjJi Чат Запуска в телеграме: https://t.me/zapuskzavtra Связаться: [email protected] Партнер этого подкаста — Яндекс Практикум. https://practicum.yandex.ru/ Редакторка — Маша Агличев…

1 month, 3 weeks назад @ zapuskzavtra.libsyn.com
Цифровая нефть. Как искусственный интеллект помогает нефтедобыче
Цифровая нефть. Как искусственный интеллект помогает нефтедобыче Цифровая нефть. Как искусственный интеллект помогает нефтедобыче

Предсказательные модели, вычисления на суперкомпьютерах и анализ горных пород с помощью нейросетей — вот что получается, когда в консервативную индустрию приходят бодрые айтишные стартапы. Основатель компании Digital Petroleum Дмитрий Коротеев рассказывает, как разрабатывает инструменты, экономящие время и деньги нефтяных гигантов. Релама. Бесплатный курс от Яндекс Практикума «Основы Go»: https://clck.ru/33pVg3 Подписаться на «Запуск++» в Телеграме: https://t.me/+N_AopnXC0dBkMGQy Подписаться на Либо/Либо+ в Телеграме, куда включены эпизоды «Запуск++»: https://t.me/+LXZx5JRqO4o0MjJi Чат Запуска в телеграме: https://t.me/zapuskzavtra Связаться: [email protected] Партнер этого подкаста — …

2 months назад @ zapuskzavtra.libsyn.com
Как находить иностранных клиентов. Отвечают «Злые марсиане»
Как находить иностранных клиентов. Отвечают «Злые марсиане» Как находить иностранных клиентов. Отвечают «Злые марсиане»

Как русскоязычной компании сделать имя в Кремниевой долине? В этом выпуске Ира Назарова, СEO Evil Martians, учит Самата нетворкать и критиковать по-американски, а еще рассказывает, как продавать то, что бесплатно. Реклама. Курс от Яндекс Практикума Middle Python-разработчик: https://clck.ru/33pVdS Сайт Злых Марсиан https://evilmartians.com Твиттер марсиан https://twitter.com/evilmartians Эпизод Запуска++ про Ruby можно послушать по подписке. Подписаться на «Запуск++» в Телеграме: https://t.me/+N_AopnXC0dBkMGQy Подписаться на Либо/Либо+ в Телеграме, куда включены эпизоды «Запуск++»: https://t.me/+LXZx5JRqO4o0MjJi Чат Запуска в телеграме: https://t.me/zapuskzavtra Связаться: [email protected]

2 months, 1 week назад @ zapuskzavtra.libsyn.com
Спутники в космосе и инженеры на земле. Откуда берется точное время
Спутники в космосе и инженеры на земле. Откуда берется точное время Спутники в космосе и инженеры на земле. Откуда берется точное время

Зачем знать время с точностью до наносекунд? Что будет, если не «подкручивать» часики? Как секунда может быть отрицательной? Инженер из Facebook Олег Облеухов рассказывает, как люди и компьютеры гонятся за точностью времени. А еще пугает Самата тем, что случится в 2036 году. Реклама. Курс для прокачки навыков фронтенда от Яндекс Практикума: https://clck.ru/33pVdD Эпизод про сотовые сети: https://pc.st/e/2Bw2jdxLn3j Посты Олега в инженерном блоге Facebook: NTP: https://clck.ru/33qvmN Open source time appliance: https://clck.ru/33qvrC Leap second: https://clck.ru/33qvu9 PTP: https://clck.ru/33qvur Leap Second: https://en.wikipedia.org/wiki/Leap_second Подписаться на «Запуск++» в Телеграме: ht…

2 months, 2 weeks назад @ zapuskzavtra.libsyn.com
Что умеет умный дом
Что умеет умный дом Что умеет умный дом

Как подружить умную лампочку от Яндекса с теплым полом? Как умнеют целые города? Катя Основина из компании iRidi рассказывает, как умные дома учатся понимать наши потребности и заботятся о нашем здоровье. Реклама. Курсы от Яндекс Практикума для разаботчиков и тестировщиков. Осваивайте новые стеки и технологии: https://clck.ru/33jL64 Сайт компании: https://iridi.com/ Саммит IRidi: https://youtu.be/n9gcpYZ3-8g Подписаться на «Запуск++» в Телеграме: https://t.me/+N_AopnXC0dBkMGQy Подписаться на Либо/Либо+ в Телеграме, куда включены эпизоды «Запуск++»: https://t.me/+LXZx5JRqO4o0MjJi Чат Запуска в телеграме: https://t.me/zapuskzavtra Связаться: [email protected] Партнер этого подкаста — Янд…

2 months, 3 weeks назад @ zapuskzavtra.libsyn.com
Wi-Fi. Как появился золотой стандарт беспроводной связи
Wi-Fi. Как появился золотой стандарт беспроводной связи Wi-Fi. Как появился золотой стандарт беспроводной связи

Какое отношение Стивен Хокинг имеет к появлению Wi-Fi? Почему файлы загружаются дольше, чем скачиваются? Как за вами следят точки доступа? Историю появления самой популярной беспроводной технологии рассказывает Кирилл Луконин, автор канала «Злой беспроводник». Реклама. Курсы от Яндекс Практикума для фронтенд-разработчиков по JavaScript и React: https://clck.ru/33fdwx Ссылки: Злой беспроводник https://t.me/EvilWirelessMan База полезных материалов на GitHub https://github.com/skhomm/useful-wireless-links Подписаться на «Запуск++» в Телеграме: https://t.me/+N_AopnXC0dBkMGQy Подписаться на Либо/Либо+ в Телеграме, куда включены эпизоды «Запуск++»: https://t.me/+LXZx5JRqO4o0MjJi Чат Запуска в тел…

3 months назад @ zapuskzavtra.libsyn.com
(Не)случайные процессы. Как математики предсказывают распространение вирусов и результаты выборов
(Не)случайные процессы. Как математики предсказывают распространение вирусов и результаты выборов (Не)случайные процессы. Как математики предсказывают распространение вирусов и результаты выборов

Этот эпизод — об одной математической задаче со смешным названием, без которой мы смотрели бы на мир совсем по-другому. Математик Люба Тупикина рассказывает, как ученые предсказывают случайные процессы, находят объяснение смертности людей, вычисляют размер интернета, и при чем тут Альберт Эйнштейн. Реклама. Курс от Яндекс Практикума курс для тех, кто знаком с основами Python-разработки и хочет вырасти до мидла. Подробности по ссылке: https://clck.ru/33fduz Рекомендации от гостьи: «First Steps in Random Walks» Соколова и Клафтера «Сила слабых связей» Грановеттера «Теория вероятности» Колмогорова Статьи Станислава Смирнова Подписаться на «Запуск++» в Телеграме: https://t.me/+N_AopnXC0dBkMGQy …

3 months назад @ zapuskzavtra.libsyn.com
Как электричество попадает к нам домой
Как электричество попадает к нам домой Как электричество попадает к нам домой

В «Запуске завтра» мы уже девять сезонов рассказываем о технологиях, которые меняют нашу жизнь. Но все они невозможны без электроэнергии. В этом эпизоде разбираемся, как работают электрические сети, в какой стране розетки безопаснее и почему гудят трансформаторы. Реклама. У Яндекс Практикума есть два курса по автоматизации тестирования: на Java и на Python. Подробности по ссылке: https://clck.ru/33YASz Канал Энерголикбез: https://youtube.com/@energolikbez Подписаться на «Запуск++» в Телеграме: https://t.me/+N_AopnXC0dBkMGQy Подписаться на Либо/Либо+ в Телеграме, куда включены эпизоды «Запуск++»: https://t.me/+LXZx5JRqO4o0MjJi Чат Запуска в телеграме: https://t.me/zapuskzavtra Связаться: zap…

3 months, 2 weeks назад @ zapuskzavtra.libsyn.com
«Это не кнопку на сайте поменять». Как создаются новые лекарства и сколько это стоит
«Это не кнопку на сайте поменять». Как создаются новые лекарства и сколько это стоит «Это не кнопку на сайте поменять». Как создаются новые лекарства и сколько это стоит

Как сделать таблетку-блокбастер? Во что инвестировать — в лекарство от акне или от слабых коленей? Как с помощью одного приложения на айпаде можно диагностировать Альцгеймера? И, конечно — где во всём этом наука о данных? Разбираемся в индустрии, от которой зависят человеческие жизни, вместе с Анной Костиковой, директором по Data Science в фармацевтической компании Novartis. Реклама. Бесплатный курс по основам Go от Яндекс Практикума: https://clck.ru/33USkn Подписаться на «Запуск++» в Телеграме: https://t.me/+N_AopnXC0dBkMGQy Подписаться на Либо/Либо+ в Телеграме, куда включены эпизоды «Запуск++»: https://t.me/+LXZx5JRqO4o0MjJi Чат Запуска в телеграме: https://t.me/zapuskzavtra Связаться: z…

3 months, 2 weeks назад @ zapuskzavtra.libsyn.com
Moscow Python Podcast Moscow Python Podcast
последний пост 3 days, 21 hours назад
Language Summit 2023 / новости PyPI / Python 3.12 beta 1/ Diablo 4
Language Summit 2023 / новости PyPI / Python 3.12 beta 1/ Diablo 4 Language Summit 2023 / новости PyPI / Python 3.12 beta 1/ Diablo 4

Новый выпуск посвятили актуальным новостям за май 2023 года в мире Python. Параллельно играли в Diablo, поэтому лучше смотреть видеоверсию. Ниже оставили ссылки на все материалы этого подкаста. Тайм-коды 00:00 - интро

2:30 - GIL в Python

4:00 - нужны ли subenterpretator при наличии GIL

10:00 - subenterpretator в Ruby

12:45 - стандартная библиотека (что добавлять, что отбавлять)

13:20 - с одной стороны добавили Pathlib

14:00 - одно взлетает, а другое нет (FastAPI, AIOHTTP)

14:35 - сравнение добавления в Python и Ruby

16:26 - Dark Python

17:00 - пример добавления типов

17:55 - то, когда добавили Asyncio

18:45 - концепция: «современный Python - это PyPI»

19:00 - dataclass

20:45 - расширение си…

3 days, 21 hours назад @ learnpython.podbean.com
Как внедрить Python в компанию с тысячей разработчиков на C#
Как внедрить Python в компанию с тысячей разработчиков на C# Как внедрить Python в компанию с тысячей разработчиков на C#

В гостях у Moscow Python Podcast Даниил Мясников, Руководитель Python-разработки в Контуре. Обсудили в выпуске:

зачем затаскивать Python в компанию с С# разработчиками

какая была реакция у бизнеса реакция разработчиков о переходе на Python

основные претензии C# разработчиков к внедрению Python

блиц-вопросы от Гриши про интерфейс и про IronPython

чему питонист может научиться у шарписта

комфортно ли было переключаться между стилями

многих ли шарпистов удалось переключить на Python как обучали сотрудников Python

что не нравилось в Python и как замеряли перфоманс

истории Миши и Гриши про Linux

что фиксировали при заносе, а что отдали на откуп разработчиков

блиц-вопрос про аннотации типов

для ч…

2 weeks, 5 days назад @ learnpython.podbean.com
Что нового в мире Python за апрель
Что нового в мире Python за апрель Что нового в мире Python за апрель

Новый выпуск посвятили актуальным новостям за апрель 2023 года в мире Python. Ниже оставили ссылки на все материалы этого подкаста.

• статья от Python Software Foundation - https://pyfound.blogspot.com/2023/04/the-eus-proposed-cra-law-may-have.html • европейские акты:

- Cyber Resilience Act - https://digital-strategy.ec.europa.eu/en/library/cyber-resilience-act - Product Liability Act - https://eur-lex.europa.eu/legal-content/EN/TXT/?uri=CELEX%3A52022PC0495 • релиз urllib3 2.0 - https://sethmlarson.dev/urllib3-2.0.0 • PyPI анонсировали поддержку trusted publisher - https://blog.pypi.org/posts/2023-04-20-introducing-trusted-publishers/ • менеджер пакетов от создателя Flask - https://github.c…

1 month назад @ learnpython.podbean.com
Обучение подростков и взрослых Python в 2023 году / Программирование — вторая грамотность
Обучение подростков и взрослых Python в 2023 году / Программирование — вторая грамотность Обучение подростков и взрослых Python в 2023 году / Программирование — вторая грамотность

В гостях у Moscow Python Podcast Артем Рудаковский,

преподаватель Лицея Академии Яндекса. Обсудили в выпуске:

путь Артема в программировании и начало преподавания

что такое Академия Яндекса

Яндекс приходит в школы и делает свое обучение или заменяет уроки информатики

что вкладывается в тезис «программирование — вторая грамотность» и будет ли необходимо программировать, чтобы выжить через 50 лет

насколько нужно программирование, когда есть ChatGPT

главные различия при обучение программированию подростка и взрослого

честно ли показывать программирование интересным или нужно показывать реальность в индустрии

инструменты, которые используют в Лицее Академии Яндекса

гайды для родителей, которые …

1 month, 1 week назад @ learnpython.podbean.com
Ответы на вопросы зрителей про Python
Ответы на вопросы зрителей про Python Ответы на вопросы зрителей про Python

Привет! В специальном выпуске с ответами на вопросы зрителей обсудили: портрет middle-разработчика как не сломать типы хорошая ли идея перейти с Python на Golang

остался ли смысл от AIOHTTP после релиза Django 4.2

как дебажить асинхронный код на предмет наличия блокирующих event loop вызовов

и другие вопросы Ведущие: Михаил Корнеев и Григорий Петров

CFP Moscow Python Conf

https://cfp.conf.python.ru Все выпуски:

https://podcast.python.ru Митапы MoscowPython:

https://moscowpython.ru Курс Learn Python:

https://learn.python.ru/

1 month, 3 weeks назад @ learnpython.podbean.com
Что нового в мире Python за март
Что нового в мире Python за март Что нового в мире Python за март

Новый выпуск посвятили актуальным новостям за март 2023 года в мире Python. Ниже оставили ссылки на все материалы этого подкаста.

• LTS-релиз Django 4.2 - https://pandas.pydata.org/docs/dev/whatsnew/v2.0.0.html • Вышел pandas 2.0 - https://pandas.pydata.org/docs/dev/whatsnew/v2.0.0.html • Релиз PyTorch 2.0 - https://pytorch.org/blog/pytorch-2.0-release/ • Исследование экосистемы Django от JetBrains - https://lp.jetbrains.com/django-developer-survey-2022/ • PEP 709 – Inlined comprehensions - https://peps.python.org/pep-0709/ • PEP 582 - https://discuss.python.org/t/pep-582-python-local-packages-directory/963/430 • PEP 710 Recording the provenance of installed https://peps.python.org/pep-0710…

2 months назад @ learnpython.podbean.com
Боли и радости observability
Боли и радости observability Боли и радости observability

В гостях у Moscow Python Podcast Мстислав Казаков, руководитель Python практики, Usetech. Обсудили в выпуске:

что такое observability

куда смотреть, если observability не завезли

зачем придумывать навороты с логгингом

как ввести в проект observability

о главной проблеме логов

о readiness и liveness или зачем начинать с хелсчеков в Django

Sentry и Elastic APM, в чем разница и схожесть

как работает New Relic

в чем плюсы Elastic APM и почему стоит начинать с docker run

«‎когда говорят об observability у всех в голове prometheus и grafana»‎

ответы на вопрос про ошибку процесса измерения, в чем преимущество ELK перед Graylog, про отслеживание блокировок баз данных в observability, ​про отличия п…

2 months назад @ learnpython.podbean.com
Как сделать работу разработчика удобнее — CI/CD, DevOps, Jenkins
Как сделать работу разработчика удобнее — CI/CD, DevOps, Jenkins Как сделать работу разработчика удобнее — CI/CD, DevOps, Jenkins

В гостях у Moscow Python Podcast Никита Соболев, CTO wemake.services и Арсений Сапелкин, тимлид Kaspersky OS. Обсудили в выпуске:

чем занимается команда тулов в YADRO Jenkins и причем здесь «большой драчевый напильник»

с чего начинать работу с CI/CD

нужно ли изучать Jenkins про запас или просто знать о нем

умирает ли концепция DevOps «проблемы возникают, когда есть сложные environments или стенды»

деплой в системе хранения данных и использование пирамиды тестирования

оффтоп, как Алексей пришел к такой жизни с DevOps почему о DevOps вспоминают, когда все плохо и каким людям лучше не становиться девопсами

про YAML

зачем делить команду тулов и команду DevOps

ответили на вопросы, применим ли ан…

2 months, 2 weeks назад @ learnpython.podbean.com
Новости Python за февраль 2023
Новости Python за февраль 2023 Новости Python за февраль 2023

Новый выпуск посвятили актуальным новостям за февраль 2023 года в мире Python. Ниже оставили ссылки на все материалы этого подкаста. • 32 года Python - https://tomaszs2.medium.com/happy-birthday

• Python Software Foundation ищет разработчика - https://pyfound.blogspot.com/2023/01/the-psf

• Три больших атаки на pypi:

- https://blog.phylum.io/phylum-discovers

- https://blog.phylum.io/phylum-go-based

- https://blog.phylum.io/another-attack

• Python тренды в 2023 году - https://blog.jerrycodes.com/python-trends

• Самуэль Колвин поднял инвестиции от Sequoia Capital - https://pydantic.dev/announcement/

• Отчет про Python в blockchain-разработке - https://tradingstrategy.ai/blog/the-state-of-pytho…

3 months назад @ learnpython.podbean.com
Copilot для Python-разработчика. Почему AI не изменил разработку?
Copilot для Python-разработчика. Почему AI не изменил разработку? Copilot для Python-разработчика. Почему AI не изменил разработку?

В гостях у Moscow Python Podcast Никита Соболев, CTO wemake.services и Арсений Сапелкин, тимлид Kaspersky OS. Обсудили в выпуске:

опыт использования Copilot

этические вопросы использования AI в работе

перспективы Copilot, ChatGPT

«у программистов будет больше задач или уменьшится количество программистов?»

все станут тимлидами или «киберпанк, который мы заслужили»

количество кода будет расти, качество - возможно, но неточно

AI системы сделают сильных программистов сильнее, а слабые останутся на том же уровне и не захотят учиться их использовать?

как пропасть между новичками и опытными программистами расширится

Kite, Tabnine vs Copilot

плюсы и минусы систем AI в обучении программированию

про…

3 months, 1 week назад @ learnpython.podbean.com
Новинки в Python 3.12 / Опять переписали виртуальную машину / Большая чистка stdlib
Новинки в Python 3.12 / Опять переписали виртуальную машину / Большая чистка stdlib Новинки в Python 3.12 / Опять переписали виртуальную машину / Большая чистка stdlib

В гостях у Moscow Python Podcast Никита Соболев, CTO wemake.services. Обсудили в выпуске:

как переписали виртуальную машину

полезна ли интеграция с perf или уже умеем с toolchain

компиляцию Python и концепцию 3 стульев

придем ли к отключению GIL

«выкидываем distutils, не будет ли 3.12 катастрофой из-за этого»‎

улучшение сообщений об ошибках и важность удобства языка программирования

обновление в C-API tier

ответ на вопрос про увеличение производительности Ведущие: Михаил Корнеев и Григорий Петров

Ссылки подкаста: PEP 684 - https://peps.python.org/pep-0684/

Все выпуски: https://podcast.python.ru

Митапы MoscowPython: https://moscowpython.ru

Курс Learn Python: https://learn.python.ru/

3 months, 3 weeks назад @ learnpython.podbean.com
Выход SQLAlchemy 2.0 / сборка Python без GIL / топ Python библиотек 2022 и другие новости Python
Выход SQLAlchemy 2.0 / сборка Python без GIL / топ Python библиотек 2022 и другие новости Python Выход SQLAlchemy 2.0 / сборка Python без GIL / топ Python библиотек 2022 и другие новости Python

Новый выпуск посвятили актуальным новостям за январь 2023 года в мире Python. Ниже оставили ссылки на все материалы этого подкаста. фреймворк Robin - https://github.com/sansyrox/robyn PEP 703 по Python без GIL - https://peps.python.org/pep-0703/ релиз SQLAlchemy 2.0 - https://www.sqlalchemy.org/

PEP 701 по доработке f-строк - https://peps.python.org/pep-0701/ PEP 704 по обязательному виртуальному окружению - https://peps.python.org/pep-0704/ Malware в nightly-билдах - https://pytorch.org/blog/compromised-... Python 2.7 убрали из Debidian - https://bugs.debian.org/cgi-bin/bugre... топ Python библиотек 2022 - https://tryolabs.com/blog/2022/12/26/... Ведущие: Михаил Корнеев и Илья Лебедев Все …

4 months назад @ learnpython.podbean.com
Внутри ИИ: люди, разработка и будущее
Внутри ИИ: люди, разработка и будущее Внутри ИИ: люди, разработка и будущее

В гостях у Moscow Python Podcast Иван Самсонов, продакт-менеджер в прикладных исследованиях ИИ во ВКонтакте. Обсудили в выпуске:

- отличается ли звездный разработчик от синьора

- хватит ли понимания бизнеса и умения коммуницировать, чтобы стать A-star

- когда нас заменит искусственный интеллект, и мы отдохнем

- куда приведет развитие языковых моделей

- что делать мидл python-разработчику с фиговым английским, чтобы его не заменили технологии

- ответы на вопросы из трансляции: что делать джуну с 3-летним опытом и фиговым английским, какой язык программирования умрет следующим Ведущие: Михаил Корнеев и Григорий Петров Все выпуски: https://podcast.python.ru

Митапы MoscowPython: https://moscowp…

4 months, 1 week назад @ learnpython.podbean.com
Куда расти разработчику: взгляд из-за рубежа
Куда расти разработчику: взгляд из-за рубежа Куда расти разработчику: взгляд из-за рубежа

В гостях у Moscow Python Podcast Георгий Могелашвили, Engineering Manager в Shopify и основатель GetMentor.dev. Обсудили в выпуске:

- разницу менталитетов в работе - как давать обратную связь - культуру разработки и роль Engineering Manager в Shopify - куда расти разработчику сегодня - разницу зарплат у менеджеров и контрибьютеров - как менеджеру растить разработчиков - как определить грейд и перейти на другой - отличия систем грейдов в компаниях - про GetMentor и зачем нужен ментор - конференции для профессионального роста

- ответы на вопросы из трансляции: возможно ли самостоятельно вырасти до сеньора, нужно ли менеджерам писать код, с чего начать поиски работы в зарубежной компании и про…

4 months, 2 weeks назад @ learnpython.podbean.com
Подводим итоги 2022 в мире Python
Подводим итоги 2022 в мире Python Подводим итоги 2022 в мире Python

Привет, вот о чем поговорили Михаил Корнеев и Григорий Петров в последнем в этом году выпуске подкаста. - Новые форматы прямых эфиров и новостных выпусков в подкасте

- Планы на ускорение Python и эксперимент с выпиливанием gil - black вышел из беты

- Три штуки, которые надо добавить в Python

- 10 лет выступлениям Гриши о Python

- Что будет, если добавлять в язык новые инструменты, чтобы было красиво (и стоит ли их использовать?)

- Ушла эпоха, из MacOS выпилили Python 2.7

- Что так и не так с JetBrains Developers Survey

- Релиз Python 3.11 - Copilot и как мы справлялись без него 20 лет назад

- Ответили на вопросы из трансляции: про фреймворк Masonite и какие фреймворки взлетят в 2023, про пе…

5 months, 2 weeks назад @ learnpython.podbean.com
Podlodka Podcast Podlodka Podcast
последний пост 1 day, 21 hours назад
Podlodka #323 – Языки конфигураций
Podlodka #323 – Языки конфигураций Podlodka #323 – Языки конфигураций

Нам постоянно приходится что-то конфигурировать – стартовое состояние программы, билд-систему, сервера и много чего еще. Для решения этой задачи есть куча инструментов, начиная от ini файлов и YAML, заканчивая экзотикой вроде Dhall. В выпуске Дмитрий Коваников, опытный Haskellист и сеньор в Bloomberg, рассказал про основные существующие подходы к написанию конфигураций и про то, как выбрать подходящий язык для своих задач. Посмотрите, что делает Точка и как живут их разработчики, на сайте. Там же найдёте ссылку на хабр, выступления на конфах и вакансии. Также ждем вас, ваши лайки, репосты и комменты в мессенджерах и соцсетях! Telegram-чат: https://t.me/podlodka

Telegram-канал: https://t.me/…

1 day, 21 hours назад @ soundcloud.com
Podlodka #322 – 3D-печать
Podlodka #322 – 3D-печать Podlodka #322 – 3D-печать

В выпуске обсудили что из себя представляет современная 3D-печать: какие материалы используются и какие задачи можно решать при помощи нее. Во второй половине выпуска рассмотрели печать как бизнес и что нужно, чтобы в нее вкатиться.

В гости пришел Стефан Русо – ведущий с канала 3DIY, который занимается печатью уже больше 10 лет. Скидка 15% на заказ тарифов готового питания от Grow Food по промокоду PODLODKA: clck.ru/34XH3s Также ждем вас, ваши лайки, репосты и комменты в мессенджерах и соцсетях! Telegram-чат: https://t.me/podlodka Telegram-канал: https://t.me/podlodkanews Страница в Facebook: www.facebook.com/podlodkacast/ Twitter-аккаунт: https://twitter.com/PodlodkaPodcast Ведущие в выпус…

1 week, 1 day назад @ soundcloud.com
Podlodka #321 – SQL
Podlodka #321 – SQL Podlodka #321 – SQL

SELECT * FROM Episodes WHERE YEAR(published_at) > 2022 Думаете это все, на что способен SQL? Антон Жиянов, энтузиаст SQLite, красочно объясняет, что это заблуждение! Этот 3-х часовой 😱 выпуск можно смело использовать при подготовке к собеседованию: мы подробно разобрали как базовые конструкции, так и расширенные и современные фичи SQL: массивы, графы, рекурсию и многое другое. Поговорили, как готовить SQL с заботой о быстродействии и безопасности ваших баз данных, а также окунулись в мир SQL для анализа данных. Партнер выпуска – международная продуктовая IT-компания Garage Eight, которая создает экосистемы финансовых сервисов. Подписывайся на телеграм канал команды, чтобы не пропустить поле…

2 weeks, 1 day назад @ soundcloud.com
Podlodka #320 – Многопоточные алгоритмы
Podlodka #320 – Многопоточные алгоритмы Podlodka #320 – Многопоточные алгоритмы

Продолжаем серию алгоритмических выпусков! Алгоритмы – это сложно, многопоточность – тоже. Тогда насколько сложны многопоточные алгоритмы? Попытаемся разобраться с Никитой Ковалем из JetBrains! А еще обратите внимание на наш новый проект – подкаст “Бреслав и Ложечкин”. Имена говорят сами за себя, но все же: в этом подкасте Андрей Бреслав (ex-JetBrains, а теперь основатель стартапа) и Александр Ложечкин (ex-Microsoft, ex-Amazon, а теперь CIO в банке) рассуждают, спорят, делятся опытом, и просто болтают на темы развития людей, руководства и технологий. Учитывая уникальный опыт Андрея и Александра, будет интересно и познавательно! Первый выпуск по ссылке:

https://breslav-lozhechkin.mave.digita…

2 weeks, 6 days назад @ soundcloud.com
Podlodka #319 – Теория сложности
Podlodka #319 – Теория сложности Podlodka #319 – Теория сложности

Можно ли доказать, что для какой-то задачи не существует быстрых алгоритмов? И как все-таки оптимизировать то, что вычислитель очень трудно? Надо ли париться про константы? P = NP, или все-таки нет? На эти и другие вопросы нам ответил Александр Куликов, доктор физико-математических наук и руководитель лаборатории алгоритмов и теории сложности в JetBrains Research. Команда для вашего проекта с гарантией результата от Umbrella IT (https://umbrellait.ru). Разрабатываем высоконагруженные приложения и сложные ИТ-системы для бизнеса. Быстрый онбординг. Первые результаты через 2 недели. 22-26 мая пройдет конференция Podlodka Python Crew. Скидка для слушателей по промокоду ASYNCIO.

https://podlodka…

4 weeks, 1 day назад @ soundcloud.com
Podlodka #318 – Backend Driven UI
Podlodka #318 – Backend Driven UI Podlodka #318 – Backend Driven UI

В выпуске разобрались чем отличается BDUI от стандартного клиент-серверного приложения. Какие бенефиты это дает и с какими сложностями сталкиваются разработчики на пути.

В гости позвали руководителя мобильной разработки AliExpress РФ Александра Казарцева. Также ждем вас, ваши лайки, репосты и комменты в мессенджерах и соцсетях!

Telegram-чат: https://t.me/podlodka Telegram-канал: https://t.me/podlodkanews Страница в Facebook: https://facebook.com/podlodkacast/ Twitter-аккаунт: https://twitter.com/PodlodkaPodcast Ведущие в выпуске:

Стас Цыганов, Катя Петрова Полезные ссылки:

Статья от Airbnb https://medium.com/airbnb-engineering/a-deep-dive-into-airbnbs-server-driven-ui-system-842244c5f5 Yoga…

1 month назад @ soundcloud.com
Podlodka #317 – Делегирование
Podlodka #317 – Делегирование Podlodka #317 – Делегирование

В этом выпуске разбираемся с делегированием – управленческим инструментом, одновременно простым для понимания и весьма сложным для освоения. Полномочия рассказать об этом мы делегировали опытному руководителю — Евгению Коту! Яндекс Практикум предлагает линейку курсов для опытных разработчиков и тестировщиков. Туда входят программы по алгоритмам и структурам данных, C++, Python, фронтенд-разработке, автоматизации тестирования на Java, DevOps, Go, React и тестировании веб-приложений на Python. Записаться на подходящий курс можно по ссылке: https://clck.ru/349AKq Поддержи лучший подкаст про IT:

www.patreon.com/podlodka Также ждем вас, ваши лайки, репосты и комменты в мессенджерах и соцсетях! T…

1 month, 1 week назад @ soundcloud.com
Podlodka #316 – Письменная культура в IT
Podlodka #316 – Письменная культура в IT Podlodka #316 – Письменная культура в IT

Текст – важный и зачастую основной формат наших рабочих коммуникаций. Мы все умеем писать, но как и любой скилл, он требует развития. Что такое «письменная культура», почему важно поддерживать ее высокий уровень и какие сигналы говорят о том, что в вашей компании что-то идет не так? Какие преимущества

есть у текстовых коммуникаций и какие практики помогут сделать ее более эффективной? Применимы ли все эти практики к… написанию кода? Все это и даже больше обсудили с нашим постоянным гостем Александром Ложечкиным, который рассказал уйму интересных деталей про то, как развивают письменную культуру в Amazon, Microsoft и не только! У наших друзей из Яндекс Практикума есть линейка курсов для опыт…

1 month, 2 weeks назад @ soundcloud.com
Podlodka #315 – Кофе
Podlodka #315 – Кофе Podlodka #315 – Кофе

Сложно придумать напиток, более тесно вплетённый в наши рабочие ритуалы, чем кофе. У него такая непростая и интересная культура приготовления и употребления, что мы не могли оставить его в стороне. Все, что вы хотели знать про кофе – в этом выпуске! Бесплатный курс "Подготовка к алгоритмическому собеседованию" от Яндекс Практикума создан для тех, у кого уже есть опыт в разработке. Авторы курса — опытные разработчики, которые провели и оценили не одну сотню алгоритмических интервью. Курс рассчитан на 10 часов, для прохождения переходите по ссылке: clck.ru/345Srg Поддержи лучший подкаст про IT:

www.patreon.com/podlodka Также ждем вас, ваши лайки, репосты и комменты в мессенджерах и соцсетях! …

1 month, 3 weeks назад @ soundcloud.com
Podlodka #314 – AI пишет код
Podlodka #314 – AI пишет код Podlodka #314 – AI пишет код

Разговоры про то, что программистов вот-вот заменит какая-то технология, ведутся каждые пару лет. Но в этот раз, кажется, все серьезно – ChatGPT пишет полноценные мобильные приложения, конфиги для AWS и разбирает сложные баги. Чтобы разобраться с тем, а как конкретно LLM генерируют код, как этим можно управлять, и что нас ждет в будущем, мы позвали Егора Богомолова, исследователя в лаборатории ML4SE JetBrains Research. Бесплатный курс "Основы Go" от Яндекс Практикума создан для тех, кто уже знаком с основами бэкенд-разработки. Обучение проходит на реальном коде и задачах. Для прохождения курса переходите по ссылке: https://clck.ru/342g5c Приходите на конференцию Podlodka Teamlead Crew, кото…

2 months назад @ soundcloud.com
Podlodka #313 – Creative Coding
Podlodka #313 – Creative Coding Podlodka #313 – Creative Coding

Creative Coding — это тип программирования, цель которого — создать что-то выразительное вместо чего-то функционального. AI и искусству у нас уже был посвящен выпуск, поэтому в этот раз мы сосредоточились на том, что программист может создать сам: используя лишь любимый язык программирования и подходящий фреймворк, такой как OPENRNDR. Антон Архипов, developer advocate из JetBrains, и, как выяснилось в процессе записи, NFT-художник, погрузил нас в удивительный мир на стыке искусства и кодинга: генеративный арт, эстетическая геометрия, сакральная геометрия, не обошли стороной и музыку. Кстати, если вы включите этот выпуск на Youtube (ссылка), то сможете не только представить себе то, о чем мы…

2 months, 1 week назад @ soundcloud.com
Podlodka #312 – Производство лекарств
Podlodka #312 – Производство лекарств Podlodka #312 – Производство лекарств

Обсудили этапы производства лекарств: от проектирования в отделе RnD, до приготовления в биореакторе и упаковки. В гости пришел Василий Юрташкин – руководитель отдела ИТ-архитектуры в биотехнологической компании BIOCAD. Разобрали как сложности создания новых лекарств, так и возможные проблемы технологического процесса, а главное, как их можно решать при помощи IT. Книга Александра Бындю «Антихрупкость в IT» разбирает наиболее частые проблемы и сценарии из-за чего IT-компании могут буксовать или проваливаться. Автор покрывает довольно обширную область от продуктового подхода к разработке до рефакторинга больших систем. Книга позиционируется для людей разной направленности из IT, потому реком…

2 months, 2 weeks назад @ soundcloud.com
Podlodka #311 – Видеоблоггинг
Podlodka #311 – Видеоблоггинг Podlodka #311 – Видеоблоггинг

Кто-то пишет Твиттер-треды, кто-то ведет Telegram-каналы, а кто-то пилит полезные видео на YouTube и собирает сотни тысяч просмотров. Мы поговорили с Александром Ильиным, программистом и YouTube-блоггером, про то, что влияет на популярность видео, как создавать контент и какую часть работы нужно делегировать, чтобы оставались силы на самое интересное. Поддержи лучший подкаст про IT:

www.patreon.com/podlodka Также ждем вас, ваши лайки, репосты и комменты в мессенджерах и соцсетях! Telegram-чат: https://t.me/podlodka Telegram-канал: https://t.me/podlodkanews Страница в Facebook: www.facebook.com/podlodkacast/ Twitter-аккаунт: https://twitter.com/PodlodkaPodcast Ведущие в выпуске:

Катя Петрова…

2 months, 3 weeks назад @ soundcloud.com
Podlodka #310 – Организация стажировок
Podlodka #310 – Организация стажировок Podlodka #310 – Организация стажировок

Podlodka достигла сингулярности и пишет выпуски сама с собой. Егор со Стасом задушевно поговорили про то как построить программу стажировок в своей компании. Кто нужен в качестве ментора, как собеседовать стажеров, какого уровня сотрудников можно получить после на выходе, а самое главное: как продать идею бизнесу. Приходите на конференцию Podlodka Java Crew про микросервисы: https://podlodka.io/javacrew. Не забудьте воспользоваться промокодом на 300р: micro_java Поддержи лучший подкаст про IT:

https://www.patreon.com/podlodka Также ждем вас, ваши лайки, репосты и комменты в мессенджерах и соцсетях! Telegram-чат: https://t.me/podlodka Telegram-канал: https://t.me/podlodkanews Страница в Face…

3 months назад @ soundcloud.com
Podlodka #309 – Мобильные фермы
Podlodka #309 – Мобильные фермы Podlodka #309 – Мобильные фермы

Устали ждать несколько по несколько часов, пока на CI отработают все проверки для вашего пулл-реквеста? Не можете нормально спать, ведь текущее покрытие автотестами не обеспечивает нужные гарантии качества ваших приложений? А счета из облачных сервисов тестирования снятся в кошмарах? Добро пожаловать в мир в построения собственных мобильных ферм! Вместе с Антоном Малинским, основателем MarathonLabs мы не только пофилософствовали на тему целесообразности такого решения, но и в деталях обсудили принципы построения ферм: и на аппаратом, и на софтверном уровнях. Приходите на конференцию iOS Podlodka Crew про инфраструктуру:

https://podlodka.io/ioscrew. Не забудьте воспользоваться промокодом на …

3 months, 1 week назад @ soundcloud.com
Проветримся! Проветримся!
последний пост 2 weeks, 6 days назад
Григорий Свердлин: идите лесом
Григорий Свердлин: идите лесом

Григорий Свердлин долгое время руководил Ночлежкой, а сейчас создал "Идите лесом!" — организацию, которая помогает избежать мобилизации."Ночлежка"https://homeless.ru/"Идите лесом!"https://iditelesom.org/Слушайте "Проветримся!", где вам удобно:ApplePodcasts: https://apple.co/2Psx8ydGooglePodcasts: https://clck.ru/F7BA7Я.Музыка: https://clck.ru/JJB8ySupport the show

2 weeks, 6 days назад @ buzzsprout.com
Григорий Бакунов: технологии и люди
Григорий Бакунов: технологии и люди

Григорий Бакунов эксперт в области информационных технологий, соведущий подкаста радио-Т и автор канала @addmetoМы начали с разговора про искусственный интеллект, а закончили широким обзором технологий, которые меняют нашу повседневную жизнь.Слушайте "Проветримся!", где вам удобно:ApplePodcasts: https://apple.co/2Psx8ydGooglePodcasts: https://clck.ru/F7BA7Я.Музыка: https://clck.ru/JJB8ySupport the show

2 weeks, 6 days назад @ buzzsprout.com
Искусственный Интеллект в маркетинге и не только
Искусственный Интеллект в маркетинге и не только

Гостевой эпизод подкаста тренд-хантеры.Support the show

3 weeks, 2 days назад @ buzzsprout.com
Безопасность Искусственного Интеллекта
Безопасность Искусственного Интеллекта

Говорим с Арчетом и Павлом Комаровским про безопасность ИИ.Телеграм-канал и YouTube Павла.Телеграм-канал и подкаст Арчета.Не будьте такими душными, давайте лучше - проветримся!Подпишись в Телеграм на канал @progulkaApplePodcasts ; GooglePodcasts ; Spotify ; Я.музыкаSupport the show

1 month назад @ buzzsprout.com
Оксана Мороз: Культура и Травма
Оксана Мороз: Культура и Травма

Оксана Мороз защитила диссертацию "Культурная травма в российском литературном дискурсе конца XX века", а последнее время интересуется темой Death Tech и тем, как технологии трансформирую отношение людей к смерти.Не будьте такими душными, давайте лучше - проветримся!Подпишись в Телеграм на канал @progulkaApplePodcasts ; GooglePodcasts ; Spotify ; Я.музыкаSupport the show

1 month, 2 weeks назад @ buzzsprout.com
Вещие вещи: искусственный интеллект и будущее
Вещие вещи: искусственный интеллект и будущее

Какие сейчас перед нами сценарии развития искусственного интеллекта? Ждет ли нас еще одна «зима»? Как машинное обучение меняет рынки, общества и планету?Доклад на конференции TechTrain. Если хотите увидеть слайды, сходите на YouTube. Кстати, если вы подпишетесь, то поможете увеличить количество людей, которые регулярно смотрят или слушают "Проветримся!" https://youtu.be/BmUSfln9WrEКстати, у ребят в ближайшую неделю ещё две большие конференции. Heisenbug — большая конференция по тестированиюJpoint — большая конференция для Java-разработчиков.Не пропустите!Support the show

2 months назад @ buzzsprout.com
Мария Шутова: генетика и клеточная терапия
Мария Шутова: генетика и клеточная терапия

Мария Шутова занимается коммерциализацией исследований в Cell and Gene Therapy Catapult.Не будьте такими душными, давайте лучше - проветримся!Подпишись в Телеграм на канал @progulkaApplePodcasts ; GooglePodcasts ; Spotify ; Я.музыкаSupport the show

2 months, 1 week назад @ buzzsprout.com
Ярослав Кравцов: метавселенные
Ярослав Кравцов: метавселенные

Ярослав Кравцов — художник, геймдизайнер и создатель метавселенных на платформе Roblox.Не будьте такими душными, давайте лучше - проветримся!Подпишись в Телеграм на канал @progulkaApplePodcasts ; GooglePodcasts ; Spotify ; Я.музыкаSupport the show

2 months, 2 weeks назад @ buzzsprout.com
Никита и Виталий Касьяновы: Tookas
Никита и Виталий Касьяновы: Tookas

Никита и Виталий Касьяновы работают над проектом Tookas — электроприставкой для инвалидных колясок.Не будьте такими душными, давайте лучше - проветримся!Подпишись в Телеграм на канал @progulkaApplePodcasts ; GooglePodcasts ; Spotify ; Я.музыкаSupport the show

2 months, 3 weeks назад @ buzzsprout.com
Светлана Великанова: университет нового поколения
Светлана Великанова: университет нового поколения

Светлана Великанова создала университет Harbour. https://harbour.space/Не будьте такими душными, давайте лучше - проветримся!Подпишись в Телеграм на канал @progulkaApplePodcasts ; GooglePodcasts ; Spotify ; Я.музыкаSupport the show

3 months назад @ buzzsprout.com
Маруся Лежнева: помощь мигрантам
Маруся Лежнева: помощь мигрантам

Маруся Лежнева одна из соосновательниц фонда Хьюм.https://welcomehume.org/Не будьте такими душными, давайте лучше - проветримся!Подпишись в Телеграм на канал @progulkaApplePodcasts ; GooglePodcasts ; Spotify ; Я.музыкаSupport the show

3 months, 1 week назад @ buzzsprout.com
Межсезонье. Как искусственный интеллект поможет нам сохранить человечность?
Межсезонье. Как искусственный интеллект поможет нам сохранить человечность?

Разговор с Анной Ковалёвой для Reforum.Support the show

6 months, 1 week назад @ buzzsprout.com
Межсезонье. Василий Севрюк про нобелевскую премию по физике 2022
Межсезонье. Василий Севрюк про нобелевскую премию по физике 2022

Про новую нобелевскую премию по физике рассказывает Василий Севрюк — квантовый инженер IQM Quantum Computers.https://www.meetiqm.com/Support the show

7 months, 3 weeks назад @ buzzsprout.com
Смелость не нравиться
Смелость не нравиться

Писатель и психолог из Японии написали книгу-диалог о том, что такое индивидуальная психология. Не будьте такими душными, давайте лучше - проветримся!Подпишись в Телеграм на канал @progulkaApplePodcasts ; GooglePodcasts ; Spotify ; Я.музыкаSupport the show

8 months, 1 week назад @ buzzsprout.com
Стоицизм в XXI веке
Стоицизм в XXI веке

Книга Уильяма Ирвайна о том, чему современный человек может научиться у философов Греции и Рима. Не будьте такими душными, давайте лучше - проветримся!Подпишись в Телеграм на канал @progulkaApplePodcasts ; GooglePodcasts ; Spotify ; Я.музыкаSupport the show

8 months, 1 week назад @ buzzsprout.com
Вы находитесь здесь Вы находитесь здесь
последний пост None
Comand Line Heroes by RedHat Comand Line Heroes by RedHat
последний пост None
Python Bytes Python Bytes
последний пост 1 week, 1 day назад
#338 Scripting iOS with Python
#338 Scripting iOS with Python 1 week, 1 day назад @ pythonbytes.fm
#337 Backtracking For a Package
#337 Backtracking For a Package 2 weeks, 1 day назад @ pythonbytes.fm
#336 We found one of your batteries
#336 We found one of your batteries 3 weeks, 1 day назад @ pythonbytes.fm
#335 Should you get your mojo on?
#335 Should you get your mojo on? 3 weeks, 6 days назад @ pythonbytes.fm
#334 Packaging Organizations
#334 Packaging Organizations 1 month назад @ pythonbytes.fm
#333 Live From PyCon
#333 Live From PyCon 1 month, 2 weeks назад @ pythonbytes.fm
#332 A Python, a Slurpee, and Some Chaos
#332 A Python, a Slurpee, and Some Chaos 1 month, 2 weeks назад @ pythonbytes.fm
#331 Python From the Future
#331 Python From the Future 1 month, 3 weeks назад @ pythonbytes.fm
#330 Your data, validated 5x-50x faster, coming soon
#330 Your data, validated 5x-50x faster, coming soon 2 months назад @ pythonbytes.fm
#329 Creating very old Python code
#329 Creating very old Python code 2 months, 1 week назад @ pythonbytes.fm
#328 We are going to need some context here
#328 We are going to need some context here 2 months, 2 weeks назад @ pythonbytes.fm
#327 Untangling XML with Pydantic
#327 Untangling XML with Pydantic 2 months, 3 weeks назад @ pythonbytes.fm
#326 Let's Go for a PyGWalk
#326 Let's Go for a PyGWalk 3 months назад @ pythonbytes.fm
#325 It's called a merge conflict
#325 It's called a merge conflict 3 months, 1 week назад @ pythonbytes.fm
#324 JSON in My DB?
#324 JSON in My DB? 3 months, 2 weeks назад @ pythonbytes.fm
Software Engineering Daily Software Engineering Daily
последний пост 1 day, 2 hours назад
Modern Robotics Platform with Eliot Horowitz
Modern Robotics Platform with Eliot Horowitz

Programming robotics software has traditionally been a specialized field. The software industry has seen rapid progress, the operating system that provides the foundation for our software applications is taken care of by companies like Google, Microsoft, and other players like Canonical, Amazon, etc. The robotics industry still needs that OS layer that handles the complexities

The post Modern Robotics Platform with Eliot Horowitz appeared first on Software Engineering Daily.

1 day, 2 hours назад @ softwareengineeringdaily.com
Cloud Native Search with Vinayak Borkar
Cloud Native Search with Vinayak Borkar

Mach5 Search is a slide-in, cloud-native replacement for Elasticsearch and OpenSearch that immediately saves up to 90% in operating cost. Mach5 Search can run on top of Google BigQuery, Snowflake, and Databricks, or natively on Object Stores in all the major clouds. Vinayak Borkar is the CEO and Co-Founder of Mach5 Software and he joins

The post Cloud Native Search with Vinayak Borkar appeared first on Software Engineering Daily.

6 days, 2 hours назад @ softwareengineeringdaily.com
Observability for Your Cloud Dependencies with Jeff Martens
Observability for Your Cloud Dependencies with Jeff Martens

Metrist is an observability platform designed to commoditize application observability. Jeff Martens is the CEO of Metrist, and he joins us today. This episode is hosted by Lee Atchison. Lee Atchison is a software architect, author, and thought leader on cloud computing and application modernization. His most recent book, Architecting for Scale (O’Reilly Media) is

The post Observability for Your Cloud Dependencies with Jeff Martens appeared first on Software Engineering Daily.

1 week, 1 day назад @ softwareengineeringdaily.com
Low-Code SQL on dbt Core with Raj Bains from Prophecy
Low-Code SQL on dbt Core with Raj Bains from Prophecy

In this podcast episode, we take a look at the intricacies of low-code data pipelines with Raj Bains, the founder of Prophecy.io. Raj shares valuable insights into how performant low-codedata pipelines are revolutionizing industries and transforming everyday operations. Raj discusses the founding story of Prophecy.io, the company’s mission, and its approach to democratizing the creation

The post Low-Code SQL on dbt Core with Raj Bains from Prophecy appeared first on Software Engineering Daily.

1 week, 5 days назад @ softwareengineeringdaily.com
Cloud-native Control Planes with Bassam Tabbara
Cloud-native Control Planes with Bassam Tabbara

Cross Plane is an innovative open source control plane framework that helps companies provide managed access to cloud native control planes. Upbound provides a single global platform to build, deploy, and operate these internally managed control planes that are powered by cross plane. Bassam Tabbara is the CEO of Upbound, and he joins us today.

The post Cloud-native Control Planes with Bassam Tabbara appeared first on Software Engineering Daily.

2 weeks назад @ softwareengineeringdaily.com
PromptOps with Dev Nag
PromptOps with Dev Nag

When your application fails, finding the reason quickly is essential for limiting downtime. Often, most of the time it takes to repair a problem is taken by figuring out what exactly went wrong. Prompt Ops is a service designed to make tracing the answer to why something happened back to the original cause. This episode

The post PromptOps with Dev Nag appeared first on Software Engineering Daily.

2 weeks, 1 day назад @ softwareengineeringdaily.com
Shift Conference with Ivan Burazin
Shift Conference with Ivan Burazin

In the Software Industry, Conferences are crucial for developers, offering learning, networking, and collaboration opportunities. Attendees stay updated on the latest technologies, gain new skills, and connect with peers. These events expose developers to industry trends, inspire innovation, and foster professional growth. Overall, Conferences play a vital role in advancing knowledge, building connections, and driving

The post Shift Conference with Ivan Burazin appeared first on Software Engineering Daily.

2 weeks, 5 days назад @ softwareengineeringdaily.com
Cloud-native WebAssembly with Matt Butcher
Cloud-native WebAssembly with Matt Butcher

When Web Assembly was created it was supposed to be a compile target, where you could compile your favorite programming language and then execute it inside of a web browser. This made it possible for developers to choose a programming language like C++ for compute intensive applications. Fermyon is taking Web Assembly to the cloud.

The post Cloud-native WebAssembly with Matt Butcher appeared first on Software Engineering Daily.

3 weeks назад @ softwareengineeringdaily.com
Software Supply Chain with Feross Aboukhadijeh
Software Supply Chain with Feross Aboukhadijeh

The software supply chain refers to the process of creating and distributing software products. This includes all of the steps involved in creating, testing, packaging, and delivering software to end-users or customers. Socket is a new security company that can protect your most critical apps from supply chain attacks. They are taking an entirely new

The post Software Supply Chain with Feross Aboukhadijeh appeared first on Software Engineering Daily.

3 weeks, 1 day назад @ softwareengineeringdaily.com
Chaos Engineering with Uma Mukkara
Chaos Engineering with Uma Mukkara

Chaos engineering is a discipline within the field of software engineering that focuses on testing and improving the resilience and stability of a system by intentionally introducing controlled instances of chaos and failure. The primary goal of chaos engineering is to identify and address potential weaknesses and vulnerabilities in a system, ultimately making it more

The post Chaos Engineering with Uma Mukkara appeared first on Software Engineering Daily.

3 weeks, 1 day назад @ softwareengineeringdaily.com
CAP Theorem 23 Years Later with Eric Brewer
CAP Theorem 23 Years Later with Eric Brewer

The CAP theorem, also known as Brewer’s theorem, is a fundamental principle in distributed systems that states that it is impossible to simultaneously achieve three desirable properties in a distributed data system: Consistency, Availability, and Partition tolerance. Eric Brewer is the VP of Infrastructure & Google Fellow at Google and he joins us today. Jordi

The post CAP Theorem 23 Years Later with Eric Brewer appeared first on Software Engineering Daily.

3 weeks, 5 days назад @ softwareengineeringdaily.com
Early Stage Venture Capital with Astasia Myers
Early Stage Venture Capital with Astasia Myers

Astasia is a Partner on Quiet Capital’s enterprise team. Prior to joining Quiet, she was an investor on Redpoint Venture’s early stage enterprise team. Astasia joins the show to talk about Early Stage Venture Capital. Sean’s been an academic, startup founder, and Googler. He has published works covering a wide range of topics from

The post Early Stage Venture Capital with Astasia Myers appeared first on Software Engineering Daily.

3 weeks, 6 days назад @ softwareengineeringdaily.com
Kubernetes Security with Ian Coldwater
Kubernetes Security with Ian Coldwater

Ian Coldwater is a DevSecOps engineer turned red teamer who specializes in breaking and hardening Kubernetes, containers, and cloud native infrastructure. In their spare time, they like to go on cross-country road trips, capture flags, and eat a lot of pie. Ian lives in Minneapolis and tweets as @IanColdwater. Sponsorship inquiries: [email protected]

The post Kubernetes Security with Ian Coldwater appeared first on Software Engineering Daily.

1 month назад @ softwareengineeringdaily.com
Cloud Native in 2023 with Chris Aniszczyk
Cloud Native in 2023 with Chris Aniszczyk

Cloud native technologies empower organizations to build and run scalable applications in modern, dynamic environments such as public, private, and hybrid clouds. Containers, service meshes, microservices, immutable infrastructure, and declarative APIs exemplify this approach. These techniques enable loosely coupled systems that are resilient, manageable, and observable. Combined with robust automation, they allow engineers to make

The post Cloud Native in 2023 with Chris Aniszczyk appeared first on Software Engineering Daily.

1 month назад @ softwareengineeringdaily.com
GitOps for Kubernetes with Priyanka Ravi and Stefan Prodan
GitOps for Kubernetes with Priyanka Ravi and Stefan Prodan

The post GitOps for Kubernetes with Priyanka Ravi and Stefan Prodan appeared first on Software Engineering Daily.

1 month назад @ softwareengineeringdaily.com
Habr Podcasts Habr Podcasts
последний пост 3 months назад
Хабр ПРО // Оставь карту дома: на что способна NFC в платежах сейчас и в будущем
Хабр ПРО // Оставь карту дома: на что способна NFC в платежах сейчас и в будущем Хабр ПРО // Оставь карту дома: на что способна NFC в платежах сейчас и в будущем

В этом выпуске Хабр ПРО мы обсудили NFC: как работает эта технология, почему широко применяется в оплате и как будет развиваться.

Гости:

Андрей Ковригин, директор по продажам СБП (АО «НСПК»)

Александра Баженова, аналитик-разработчик

Эфир от 28 февраля 2023.

00:55 Знакомство с NFC: что это такое, как работает, где применяется и из чего выросло. 04:57 Курица или яйцо: это NFC пришла в платежи или сама выросла из технологии бесконтактной оплаты. Почему технология обрела популярность. 08:06 Вживить метку NFC: шутки и реальность. 09:05 Варианты оплаты с помощью NFC и их различия. 10:16 История появления NFC в СБП, и как технологию используют сейчас. 18:10 Почему при оплате с помощью меток необхо…

3 months назад @ soundcloud.com
Хабр Про // Единство горы рушит: как синхронизировать разработку и управление продуктом
Хабр Про // Единство горы рушит: как синхронизировать разработку и управление продуктом Хабр Про // Единство горы рушит: как синхронизировать разработку и управление продуктом

В вашей компании команды разработки и управления продуктом тоже никак не могут договориться? В этом выпуске обсудим, как достичь дзена между лебедем и щукой: Технический директор «Дзена» Дима Кондрашкин

Директор по продукту «Дзена» Саша Колокольников А в роли рака был Андрей Аврамчук — ведущий подкаста. Онлайн прошёл 2 февраля 2023. 1:47 Взаимодействие между разработкой и продактом: критерии хорошего процесса и доверие как ключевое условие. 6:54 Как определить готовность MVP: подходы в разработке и продукте. 10:54 Что делать, если идея не взлетела. 14:24 Неудачи как полезный опыт. 15:27 Распределение ответственности между CTO и CPO. 19:03 Синхронизация работы через OKR и смена направлений в…

4 months назад @ soundcloud.com
Хабр ПРО // Школа жизни для моделей: как MLOps продуктивизации помогает
Хабр ПРО // Школа жизни для моделей: как MLOps продуктивизации помогает Хабр ПРО // Школа жизни для моделей: как MLOps продуктивизации помогает

Когда-то на создание новых ML-продуктов уходили недели и месяцы, а теперь результат должен быть в течение пары дней. В этом выпуске Хабр ПРО мы обсудили, как создать свою MLOps-платформу. Про то, как идет эта работа в Мегафоне, нам рассказали: → Максим Кожевников, Head of Data Science

→ Артём Глазунов, Head of ML Platform and Analytical services и ведущий подкаста «Данные люди» https://t.me/bigdatapeople. Тайминги:

01:22 Идеальный пайплайн для ML-моделей

03:22 Главное звено внедрения MLOps

08:13 Секрет успеха своей платформы

11:51 Как определить, что нужна своя платформа

17:09 Вредные советы: как убить ML-модель

21:27 Как разные задачи ML меняют конфигурацию MLOps

24:48 Проблемы продуктивиз…

4 months, 1 week назад @ soundcloud.com
Хабр ПРО // Прощай, NFC? Обсуждаем, придут ли QR-коды на смену картам
Хабр ПРО // Прощай, NFC? Обсуждаем, придут ли QR-коды на смену картам Хабр ПРО // Прощай, NFC? Обсуждаем, придут ли QR-коды на смену картам

Давным-давно, на заре эпохи Хэйсэй, Масахиро Хара придумал QR-код — новый формат меток для отслеживания деталей на автомобильном конвейере. Технология оказалась удачной, и спустя 30 лет продолжает проникать в нашу повседневную жизнь. В этом выпуске Хабр ПРО мы обсудили, чем же так удобны QR-коды, какие функции они выполняют в платежных системах и куда могут развиться дальше. Наши гости: → Екатерина Аккузина, руководитель центра развития мобильных платежей, Мир Plat.Form → Игорь Тростников, директор по развитию продуктов СБП, Мир Plat.Form 01:20 Почему технология QR-кодов сейчас так популярна

05:03 Чем технология QR-кодов удобна пользователям

05:36 Как работают платежи с использованием QR-ко…

6 months, 3 weeks назад @ soundcloud.com
Хабр ПРО // Hello world: две истории о старте в IT
Хабр ПРО // Hello world: две истории о старте в IT Хабр ПРО // Hello world: две истории о старте в IT

Старт карьеры в ИТ похож на гонки на выживание: и там и там цели достигают не все. В этом выпуске — те, кто её достиг. Мы поговорили с Junior-разработчиками о том, как они строили карьеру, что им помогало, а что мешало. Итак, сегодня в нашей виртуальной студии

Толибжон Сохибов из Лаборатории Касперского,

Максим Набиуллин из Московского кредитного банка. 00:56 Почему именно ИТ

02:29 Чувствуется ли разница между теми, кто учит программирование со школы, и теми, кто с ним знакомится позже.

04:33 Нужно ли начинать учиться программированию рано

06:14 Самый сложный барьер при поиске работы

10:08 Откуда ждать помощи в обучении

11:44 Как ощущалась нехватка практического опыта

13:38 Как учат командн…

7 months, 2 weeks назад @ soundcloud.com
Хабр ПРО // В чём магия геоданных и как их найти без регистрации и СМС
Хабр ПРО // В чём магия геоданных и как их найти без регистрации и СМС Хабр ПРО // В чём магия геоданных и как их найти без регистрации и СМС

В книгах и фильмах про пиратов всегда были карты сокровищ. В современном мире карты и дополняющие их данные — сокровища сами по себе.

В этом выпуске говорим о геоданных и о том, как разработчики их используют. Завесу тайны над геоданными приоткроют:

Елена Гоголева, начальник управления аналитических исследований и инновационных технологий Промсвязьбанка,

Мария Сакиркина, продуктовый аналитик 2ГИС. 01:05 Где работают с геоданными

02:50 Можно ли считать пиратскую карту Джека Воробья геоданными

03:30 Задачи, в которых помогают геоданные

09:13 Как геоданные помогают выбирать места для магазинов, офисов и банкоматов

10:45 Типовые задачи при работе с данными

15:23 Спасут ли геоданные наш любимый …

7 months, 3 weeks назад @ soundcloud.com
Мысли и Методы Мысли и Методы
последний пост None
Трёп Себранта Трёп Себранта
последний пост 2 months, 1 week назад
Как ИТМО говорил "ДА!" ChatGPT
Как ИТМО говорил "ДА!" ChatGPT Как ИТМО говорил "ДА!" ChatGPT

-= Выпуск 73 =- Запись митапа “ИТМО говорит ChatGPT - да!” с моим минимальным предисловием. Сам митап я модерировал с колоссальным удовольствием, потому что на практике убедился, что в сильном вузе обсуждают не как ограничить или запретить новинку — а как ей полезней и интересней всего пользоваться; и студентам, и преподавателям. А если где с новой технологией начинают бороться — это про сам вуз говорит плохое, а не про технологию :) Запись с видео можно посмотреть

2 months, 1 week назад @ sebrant.chat
LLMs как герои 23Q1; готовимся встречать мультимодальность, эмбодимент и эмерджентность
LLMs как герои 23Q1; готовимся встречать мультимодальность, эмбодимент и эмерджентность LLMs как герои 23Q1; готовимся встречать мультимодальность, эмбодимент и эмерджентность

На фоне уже который месяц не спадающего интереса к ChatGPT и прочим большим языковым моделям я снова позвал в Трёп любимого собеседника — Ваню Ямщикова. Много лет он занимается обработкой естественного языка и языковыми моделями не только как практик, но и как ученый. Потому и его взгляды на происходящее и его ожидания от будущего, да еще в задорном и полемичном стиле изложенные, — очень своевременное и очень освежающее слушание. Несколько ссылок, упоминавшихся в разговоре: Выступление Вани на YaC-2018 про (прошлым летом, июль 2022) Статья в QuantaMagazine, которую Работа, в которой наглядно показано, что такое

2 months, 2 weeks назад @ sebrant.chat
Предновогоднее: чуток итогов-2022, чуток ожиданий-2023
Предновогоднее: чуток итогов-2022, чуток ожиданий-2023 Предновогоднее: чуток итогов-2022, чуток ожиданий-2023

-=Выпуск 71=- По традиции, под Новый год немного моего сольного трёпа про технологические итоги года уходящего и ожидания от года наступающего. Содержит для меня нетипичный фрагмент: хоть и не люблю я списки всяких персон года, решил объясниться, почему для меня в мире хайтека человеком уходящего года стал Илон Маск.

5 months, 1 week назад @ sebrant.chat
Зачем декану ИТМО Hard Science Fiction
Зачем декану ИТМО Hard Science Fiction Зачем декану ИТМО Hard Science Fiction

-=Выпуск 70=- Саша Капитонов рассказывает, какую научную фантастику он любит и почему считает ее полезной и для себя, и для студентов. Выпуск может быть источником чтива на приближающихся новогодних каникулах, но я специально не даю здесь ссылок на многочисленные упомянутые книжки: внимательно слушайте и ищите авторов и их произведения на своих любимых сервисах: тут вкусы бывают сильно разные.

5 months, 3 weeks назад @ sebrant.chat
Два продуктово-технологических итога 2022
Два продуктово-технологических итога 2022 Два продуктово-технологических итога 2022

-=Выпуск 69=- Настал сезон, чтоб оглянуться на уходящий потихоньку год: не хочу длинных списков; порассуждаю о всего лишь двух не столько событиях, сколько процессах, которыми лично мне запомнился пейзаж области высоких технологий в 2022. В рассказе я обещаю ссылки на прошлые подкасты здесь в тему метавселенной (в моем её понимании) и на статьи, где можно посмотреть на генеративную графику ныне модных инструментов и поверхностно сравнить их. Майский рассказ на конференции CodeFest-2022 в Новосибирске Первое здесь — как я её для себя понимал (больше года назад) Как полтора года назад из Мастерской-15 Видео со по текстовым описаниям Аналогичное а не ролика

7 months, 2 weeks назад @ sebrant.chat
⌨ Coding
Martin Fowler
последний пост 1 week назад
Privacy Enhancing Technologies: An Introduction for Technologists
Privacy Enhancing Technologies: An Introduction for Technologists Privacy Enhancing Technologies: An Introduction for Technologists

Differential privacy is a rigorous and scientific definition of how to measure and understand privacy—today's "gold standard" for thinking through problems like anonymization.

DefinitionDifferential privacy is essentially a way to measure the privacy loss of an individual.

Once you know the maximum contribution and, therefore, the sensitivity, you can apply what is called a differential privacy mechanism.

This uncertainty allows you to bound the amount of privacy loss for an individual, and information gain for an attacker.

This uncertainty helps insert plausible deniability or reasonable doubt in differential privacy responses, which is how they guarantee privacy in a scientific and real s…

1 week назад @ martinfowler.com
Dependency Composition
Dependency Composition Dependency Composition

Based on frustrations with conventional framework-based dependency injection, I have adopted a composition strategy that utilizes partial application to inject context into modules.

TDD encourages incrementalism but I wanted to go even further, so I have taken a minimalist "function-first" approach to module composition.

At this point, I have a shell of a test with test dependencies missing.

If you are interested in how the test dependencies are initialized, you can see the results in the GitHub repo.

Anything that isn't a direct dependency, I leave where it is in test code.

2 weeks назад @ martinfowler.com
Emacs xref stopped working on Macs with dumb-jump
Emacs xref stopped working on Macs with dumb-jump

Martin Fowler: 19 May 2023Recently I found that xref in Emacs had stopped working for me on my mac laptop.

The command flow between xref and dumb-jump is difficult to follow, but looking at the dumb-jump customization page alerted me to dumb-jump having a debug option.

By default it uses git grep while in a git repo (almost everything I do is in a git repo).

Its git grep command is quite complex, using regexps to (I assume) get more sensible results.

Reading that, I discovered that a change to git grep means that how git grep processes regexes differs depending on the operating system.

2 weeks, 4 days назад @ martinfowler.com
Using ChatGPT as a technical writing assistant
Using ChatGPT as a technical writing assistant Using ChatGPT as a technical writing assistant

An experienced technical author explores using ChatGPT to assist with a number of writing projects.

One of the main tasks I hoped it would help me with was crafting ‘blips’ for the Thoughtworks Technology Radar.

Strengths and weaknesses of ChatGPT in technical writing On balance, I’d say ChatGPT has proven to be a useful tool in the technical writing process, but it’s not without its foibles.

Strengths: Knowledge: ChatGPT excels at instant recall of similar situations, facts, and ways others have discussed a subject.

Strategies for improving ChatGPT’s output ChatGPT can be a useful technical writing assistant, but the quality of the output depends heavily on how you use it.

1 month, 1 week назад @ martinfowler.com
What Does a Technical Author Look Like?
What Does a Technical Author Look Like? What Does a Technical Author Look Like?

You could ask ChatGPT to come up with a Stable Diffusion prompt for a technical author.

ChatGPT Using Stable Diffusion, you can generate a portrait of a technical author by providing detailed and descriptive prompts.

"A technical author with a friendly smile, holding a pen and a notepad, standing in front of a whiteboard filled with diagrams and notes."

"A creative technical author in a comfortable workspace, brainstorming ideas on a mind map, with multiple sticky notes and colored markers around."

"A technical author in a modern office, collaborating with colleagues on a large, shared screen, while taking notes and discussing ideas."

1 month, 1 week назад @ martinfowler.com
An example of LLM prompting for programming
An example of LLM prompting for programming An example of LLM prompting for programming

And vitest, react testing library for model, view model and related hooks, cypress component tests for view.

Local view model is implemented as React component props or states(by useState hook), unless for global local view model, which is also implemented as Redux store slice.

Don’t dispatch action directly to change the states of shared view model, use an encapsulated view model interface instead.

One possible prompt might be:Rewrite the master plan, and group tasks as model, view model and view.

Don’t dispatch action directly to change the states of shared view model, use an encapsulated view model interface instead.

1 month, 3 weeks назад @ martinfowler.com
Slack in your plans
Slack in your plans Slack in your plans

Slack is the policy of deliberately leaving time that isn't allocated for stories, using that time for unplanned work.

A good way to introduce slack into planning is to use it to cope with the inherent uncertainty of planning.

In this situation the team can plan at their lowest consistent number (15) and treat the additional time as slack.

People often fear that slack will lead to idleness, but there are many productive ways to use that slack time.

Without slack, such work needs to be scheduled into the plan, increasing delay, and the cycle time of other teams.

2 months назад @ martinfowler.com
Brass Birmingham becomes #1 on BoardGameGeek
Brass Birmingham becomes #1 on BoardGameGeek Brass Birmingham becomes #1 on BoardGameGeek

I got into hobby board games while at school and have continued my involvement, these days streaming regularly on YouTube with Heavy Cardboard.

Then a couple of weeks ago that last champion - Gloomhaven - was toppled by exactly the kind of game that I like: Brass Birmingham.

The original Brass, now called Brass Lancashire, appeared in 2007 and has been a highly rated game, staying in BGG's top 40, ever since.

Brass Birmingham, which came out in 2018 isn't necessarily superior, despite being the one that took the top ranking.

They were driven by their love of the original Brass game, and wanted to take over its publication.

3 months, 1 week назад @ martinfowler.com
Shaky Twitter Two-Factor Authentication Interaction
Shaky Twitter Two-Factor Authentication Interaction

Martin Fowler: 18 Feb 2023Accessing Twitter this morning, I was greeted with a prompt saying that they were getting rid of text messages as a form of two-factor authentication unless you subscribed to Twitter Blue.

I thought “fine”, because I don’t use text messages for that, preferring a one-time code managed by 1Password.

It seems that Twitter had mistakenly deleted my one-time code link.

I don’t think this is a huge deal, as I just set up another one-time code.

But it’s the sort of thing that reinforces the impression that bits are steadily falling off Twitter.

3 months, 2 weeks назад @ martinfowler.com
Modularizing React Applications: fixing Shotgun Surgery
Modularizing React Applications: fixing Shotgun Surgery Modularizing React Applications: fixing Shotgun Surgery

This article explores the application of established UI building patterns to the React world, with a refactoring journey code example to showcase the benefits.

The emphasis is placed on how layering architecture can help organize the React application for improved responsiveness and future changes.

While I've put React application, there isn't such a thing as React application.

The evolution of a React application For small or one-off projects, you might find that all logic is just written inside React components.

Single Component Application It can be called pretty much a Single Component Application: Figure 1: Single Component Application But soon, you realise one single component require…

3 months, 2 weeks назад @ martinfowler.com
Retrospectives Antipatterns
Retrospectives Antipatterns Retrospectives Antipatterns

Aino Corry, author of "Retrospectives Antipatterns", is a teacher, a technical conference editor and retrospectives facilitator.

Retrospectives Antipatterns are descriptions of what can go wrong in that activity and how to remedy it.

With detailed scenarios, imaginative illustrations and step-by-step instructions, this book started my journey as a retrospective facilitator.

Their book helped me to plan shorter, more efficient retrospectives, but also contains tools for the facilitator that helped me with the actual process of planning the retrospectives in a more efficient way.

I wrote ”Retrospectives Antipatterns” to answer these questions, so that you can avoid making the same mistakes I …

3 months, 3 weeks назад @ martinfowler.com
Modularizing React Applications: adding a new feature
Modularizing React Applications: adding a new feature Modularizing React Applications: adding a new feature

This article explores the application of established UI building patterns to the React world, with a refactoring journey code example to showcase the benefits.

The emphasis is placed on how layering architecture can help organize the React application for improved responsiveness and future changes.

While I've put React application, there isn't such a thing as React application.

The evolution of a React application For small or one-off projects, you might find that all logic is just written inside React components.

Single Component Application It can be called pretty much a Single Component Application: Figure 1: Single Component Application But soon, you realise one single component require…

3 months, 3 weeks назад @ martinfowler.com
An example of modularizing a React application
An example of modularizing a React application An example of modularizing a React application

This article explores the application of established UI building patterns to the React world, with a refactoring journey code example to showcase the benefits.

The emphasis is placed on how layering architecture can help organize the React application for improved responsiveness and future changes.

While I've put React application, there isn't such a thing as React application.

The evolution of a React application For small or one-off projects, you might find that all logic is just written inside React components.

Single Component Application It can be called pretty much a Single Component Application: Figure 1: Single Component Application But soon, you realise one single component require…

3 months, 4 weeks назад @ martinfowler.com
Comparing Engagement on Twitter and the Fediverse
Comparing Engagement on Twitter and the Fediverse Comparing Engagement on Twitter and the Fediverse

One of the new features on Mastodon for a recovering twitterer is the CW field for new posts.

Mastodon is a federated network, so I have to accept that different parts of the community will have different standards.

My publisher is Thoughtworks, as that company controls the Mastodon server I post from.

Mastodon allows longer posts than Twitter, and I’ve seen even longer posts that I assume came from other Fediverse software.

Many Mastodon guides state that all political posts should be behind CWs.

3 months, 4 weeks назад @ martinfowler.com
Modularizing React Applications with Established UI Patterns
Modularizing React Applications with Established UI Patterns Modularizing React Applications with Established UI Patterns

The emphasis is placed on how layering architecture can help organize the React application for improved responsiveness and future changes.

While I've put React application, there isn't such a thing as React application.

With all this extra context, trying to squeeze everything into React components or hooks is generally not a good idea.

The evolution of a React application For small or one-off projects, you might find that all logic is just written inside React components.

Single Component Application It can be called pretty much a Single Component Application: Figure 1: Single Component Application But soon, you realise one single component requires a lot of time just to read what is goin…

3 months, 4 weeks назад @ martinfowler.com
Антон Жиянов Антон Жиянов
последний пост 3 days, 21 hours назад
Сравнение с соседями в SQL
Сравнение с соседями в SQL Сравнение с соседями в SQL

Сравнение с соседями в SQLЭто заметка из серии «SQL-рецепты», в которой я описываю решения распространенных задач анализа данных в SQL.

Предположим, мы хотим сравнить каждую запись с соседними, ориентируясь на значения в одном или нескольких столбцах:Сравнить продажи за месяц с предыдущим месяцем (MoM-изменения) или с тем же месяцем в прошлом году (YoY-изменения).

Теперь посчитаем разницу каждого месяца с предыдущим в процентах:select year , month , expense , round ( ( expense - lag ( expense ) over w ) * 100 .

month , cur .

expense , cur .

3 days, 21 hours назад @ antonz.ru
Base64 и другие кодировки в SQLite
Base64 и другие кодировки в SQLite Base64 и другие кодировки в SQLite

Кодируем бинарные данные в текст и обратно.

5 days, 17 hours назад @ antonz.ru
LIMIT и FETCH в SQL
LIMIT и FETCH в SQL LIMIT и FETCH в SQL

LIMIT и FETCH в SQLЗанимательный факт: В SQL-стандарте не предусмотрен limit .

Все используют limit :select * from employees order by salary desc limit 5 ;┌────┬──────────┬────────────┬────────┐ │ id │ name │ department │ salary │ ├────┼──────────┼────────────┼────────┤ │ 25 │ Иван │ it │ 120 │ │ 23 │ Леонид │ it │ 104 │ │ 24 │ Марина │ it │ 104 │ │ 33 │ Анна │ sales │ 100 │ │ 31 │ Вероника │ sales │ 96 │ └────┴──────────┴────────────┴────────┘А согласно стандарту, следует использовать fetch :select * from employees order by salary desc fetch first 5 rows only ;fetch first N rows only делает то же, что и limit N . Но вообще fetch может больше.

Лимит с одинаковыми значениямиДопустим, мы хоти…

1 week назад @ antonz.ru
Сегментация данных в SQL
Сегментация данных в SQL Сегментация данных в SQL

Сегментация данных в SQLЭто заметка из серии «SQL-рецепты», в которой я описываю решения распространенных задач анализа данных в SQL.

Предположим, мы хотим разбить данные на несколько сегментов, ориентируясь на значения в одном или нескольких столбцах.

ПримерРазобьем сотрудников из таблицы employees на три группы в зависимости от размера зарплаты:высокооплачиваемые,средние,низкооплачиваемые.

Если общее количество записей (10 в нашем случае) не делится на размер группы (3), то первые группы будут крупнее последних.

salary ) * 3 / ( select count ( * ) from employees ) ) + 1 as tile , name , salary from employees as e1 order by salary desc , id ;Хотите узнать больше об оконных функциях?

1 week, 5 days назад @ antonz.ru
Выпуск «Подлодки» про SQL
Выпуск «Подлодки» про SQL Выпуск «Подлодки» про SQL

Тур по языку от самых основ до новейших фич.

2 weeks назад @ antonz.ru
SQL-шпаргалка
SQL-шпаргалка SQL-шпаргалка

select city , population , timezone from city ;whereОставляет в результате только те строки, которые подходят под условие.

select city , population from city order by population ;По умолчанию сортирует от меньшего к большему, но если добавить desc — то наоборот:select city , population from city order by population desc ;limitОставляет только первые N строк результата.

Обычно используется в связке с order byselect city , population from city order by population limit 5 ;ГруппировкаОбъединяем данные в группы и считаем сводные показатели.

Внутренний JOIN (он же INNER JOIN)Мы хотим выбрать записи из vacancy , но добавить к ним название работодателя ( employer.name ).

Если подходящее значение в…

3 weeks, 3 days назад @ antonz.ru
SQL-рецепт: Ранжирование строк
SQL-рецепт: Ранжирование строк SQL-рецепт: Ранжирование строк

SQL-рецепт: Ранжирование строкПредположим, мы хотим создать рейтинг, в котором позиция каждой записи определяется значением одного или нескольких столбцов.

ПримерОтранжируем сотрудников из таблицы employees по зарплате:select rank () over w as "rank" , name , department , salary from employees window w as ( order by salary desc ) order by "rank" , id ;Функция rank() присваивает каждому сотруднику ранг в соответствии с его зарплатой ( order by salary desc ).

Обратите внимание, что сотрудники с одинаковой зарплатой получили одинаковые ранги (Леонид и Марина, Вероника и Григорий).

СовместимостьВсе основные СУБД поддерживают оконные функции rank() и dense_rank() .

В этих случаях можно перенести…

3 weeks, 5 days назад @ antonz.ru
AI-ассистент для SQLite
AI-ассистент для SQLite AI-ассистент для SQLite

Попросите ИИ объяснить или найти проблемы в SQL-запросе.

2 months, 3 weeks назад @ antonz.ru
ChatGPT-бот на Python
ChatGPT-бот на Python ChatGPT-бот на Python

Telegram-бот, который использует официальное API OpenAI

2 months, 3 weeks назад @ antonz.ru
Интерактивные SQL-примеры на JavaScript
Интерактивные SQL-примеры на JavaScript Интерактивные SQL-примеры на JavaScript

Интерактивные SQL-примеры на JavaScriptЧитать про SQL хорошо, но пробовать запросы вживую еще лучше!

Поэтому я разработал виджеты, которые помогут вам превратить статичные SQL-запросы в статьях в интерактивные примеры.

Вот рабочий пример, попробуйте его:select * from employees limit 5;А вот четыре шага, которые помогут настроить интерактивные примеры в ваших статьях или документации:1.

sqlime-db.js — веб-компонент базы данных.

— веб-компонент базы данных.

3 months назад @ antonz.ru
Чтение и запись файлов в SQLite
Чтение и запись файлов в SQLite Чтение и запись файлов в SQLite

Чтение и запись файлов в SQLiteИногда бывает удобно загрузить набор данных из внешнего файла или выгрузить результаты запроса в файл.

В отличие от других СУБД, добавить расширение в SQLite элементарно.

Построчно записать результаты в файлДопустим, мы хотим выгрузить записи лога с уровнем ERROR в отдельный файл.

name ), files ;Убедимся, что все записи логов попали в таблицу:select fname , count ( * ) from logs group by fname ;┌────────────────┬──────────┐ │ fname │ count(*) │ ├────────────────┼──────────┤ │ logs/app.log.1 │ 5 │ │ logs/app.log.2 │ 5 │ │ logs/app.log.3 │ 6 │ └────────────────┴──────────┘Порядок!

УстановкаСкачайте свежий релиз Подключите в командной строке SQLite ( sqlite.exe )…

3 months, 1 week назад @ antonz.ru
Сводные таблицы в SQLite
Сводные таблицы в SQLite Сводные таблицы в SQLite

В SQLite ничего такого нет.

Теперь выберем из него данные:select * from v_sales ;┌─────────┬──────┬──────┬──────┬──────┐ │ product │ 2020 │ 2021 │ 2022 │ 2023 │ ├─────────┼──────┼──────┼──────┼──────┤ │ alpha │ 100 │ 120 │ 130 │ 140 │ │ beta │ 10 │ 20 │ 40 │ 80 │ │ gamma │ 80 │ 75 │ 78 │ 80 │ └─────────┴──────┴──────┴──────┴──────┘Работает!

select load_extension ( './pivotvtab' ); create virtual table v_sales using pivot_vtab ( -- строки ( select distinct product from sales ), -- столбцы ( select distinct year , year from sales ), -- ячейки ( select sum ( income ) from sales where product = ?

2 ) );Дальше расширение само все сделает:select * from v_sales ;┌─────────┬──────┬──────┬──────┬───…

3 months, 3 weeks назад @ antonz.ru
Избранные фичи Go 1.20
Избранные фичи Go 1.20 Избранные фичи Go 1.20

Избранные фичи Go 1.20Go 1.20 принес немало новых фич и улучшений.

Err ()) // context canceledНачиная с 1.20, контекст можно создать с помощью context.WithCancelCause() .

Println ( context .

И, начиная с версии 1.20, добавили три новые маски:DateTime = "2006-01-02 15:04:05" DateOnly = "2006-01-02" TimeOnly = "15:04:05"Теперь наконец-то можно делать так:t , _ := time .

CutPrefix ( s , "> " ) fmt .

4 months назад @ antonz.ru
Регулярные выражения в SQLite
Регулярные выражения в SQLite Регулярные выражения в SQLite

Проверяйте текст по шаблону и заменяйте фрагменты прямо из SQL.

4 months назад @ antonz.ru
Композиция атомиков в Go
Композиция атомиков в Go Композиция атомиков в Go

Композиция атомиков в GoАтомарная операция в многозадачной программе — отличная штука.

Int32 func increment () { counter .

Но первый пример при этом гарантирует итоговое значение counter в многозадачной среде:var counter atomic .

Int32 func increment () { counter .

Add ( 1 ) }Если запустить 100 горутин, counter в итоге будет равен 200 (если в процессе выполнения не было ошибок).

4 months, 3 weeks назад @ antonz.ru