Data Engineering
про инжиниринг данных и аналитику
🏢 %company% Engineering
AirBnb Engineering
последний пост 1 day назад
Improving Istio Propagation Delay
Improving Istio Propagation Delay Improving Istio Propagation Delay

A case study in service mesh performance optimizationby: Ying ZhuIntroductionIn this article, we’ll showcase how we identified and addressed a service mesh performance problem at Airbnb, providing insights into the process of troubleshooting service mesh issues.BackgroundAt Airbnb, we use a microservices architecture, which requires efficient communication between services. Initially, we developed a homegrown service discovery system called Smartstack exactly for this purpose. As the company grew, however, we encountered scalability issues¹. To address this, in 2019, we invested in a modern service mesh solution called AirMesh, built on the open-source Istio software. Currently, over 90% of…

1 day назад @ medium.com
Building Airbnb Categories with ML & Human in the Loop
Building Airbnb Categories with ML & Human in the Loop Building Airbnb Categories with ML & Human in the Loop

Airbnb Categories Blog Series — Part II : ML CategorizationBy: Mihajlo Grbovic, Pei Xiong, Pratiksha Kadam, Ying Xiao, Aaron Yin, Weiping Peng, Shukun Yang, Chen Qian, Haowei Zhang, Sebastien Dubois, Nate Ney, James Furnary, Mark Giangreco, Nate Rosenthal, Cole Baker, Bill Ulammandakh, Shankar Shetty, Sid Reddy, Egor PakhomovAirbnb 2022 release introduced Categories, a browse focused product that allows the user to seek inspiration by browsing collections of homes revolving around a common theme, such as Lakefront, Countryside, Golf, Desert, National Parks, Surfing, etc. In Part I of our Categories Blog Series we covered the high level approach to creating Categories and showcasing them in …

1 day, 20 hours назад @ medium.com
Prioritizing Home Attributes Based on Guest Interest
Prioritizing Home Attributes Based on Guest Interest Prioritizing Home Attributes Based on Guest Interest

How Airbnb leverages ML to derive guest interest from unstructured text data and provide personalized recommendations to HostsBy: Joy Jing and Jing XiaAt Airbnb, we endeavor to build a world where anyone can belong anywhere. We strive to understand what our guests care about and match them with Hosts who can provide what they are looking for. What better source for guest preferences than the guests themselves?We built a system called the Attribute Prioritization System (APS) to listen to our guests’ needs in a home: What are they requesting in messages to Hosts? What are they commenting on in reviews? What are common requests when calling customer support? And how does it differ by the home…

1 month назад @ medium.com
Learning To Rank Diversely
Learning To Rank Diversely Learning To Rank Diversely

by Malay Haldar, Liwei He & Moose AbdoolAirbnb connects millions of guests and Hosts everyday. Most of these connections are forged through search, the results of which are determined by a neural network–based ranking algorithm. While this neural network is adept at selecting individual listings for guests, we recently improved the neural network to better select the overall collection of listings that make up a search result. In this post, we dive deeper into this recent breakthrough that enhances the diversity of listings in search results.How Does Ranking Work?The ranking neural network finds the best listings to surface for a given query by comparing two listings at a time and predictin…

1 month, 3 weeks назад @ medium.com
Making Airbnb’s Android app more accessible
Making Airbnb’s Android app more accessible Making Airbnb’s Android app more accessible

By: Julia Fu, Peter ElliottAt Airbnb, we have been consciously designing and building products to be equally usable by all users. Making our mobile apps and websites more accessible not only aligns with our company’s mission of creating a world where people can belong anywhere, but also supports the civil rights of people with disabilities and complies with the law.In this article, we highlight some of the efforts we have made to make the app more accessible, for example, labeling UI elements, grouping related content, supporting large font scale, providing heading and page names. The Airbnb app is one of the most popular travel apps with millions of users and supports many features. Making…

2 months, 1 week назад @ medium.com
When a Picture Is Worth More Than Words
When a Picture Is Worth More Than Words When a Picture Is Worth More Than Words

How Airbnb uses visual attributes to enhance the Guest and Host experienceBy Yuanpei Cao, Bill Ulammandakh, Hao Wang, and Tony HwangIntroductionOn Airbnb, our hosts share unique listings all over the world. There are hundreds of millions of accompanying listing photos on Airbnb. Listing photos contain crucial information about style and design aesthetics that are difficult to convey in words or a fixed list of amenities. Accordingly, multiple teams at Airbnb are now leveraging computer vision to extract and incorporate intangibles from our rich visual data to help guests easily find listings that suit their preferences.In previous blog posts titled WIDeText: A Multimodal Deep Learning Frame…

3 months, 2 weeks назад @ medium.com
Motion Engineering at Scale
Motion Engineering at Scale Motion Engineering at Scale

How Airbnb is applying declarative design patterns to rapidly build fluid transition animationsBy: Cal StephensMotion is a key part of what makes a digital experience both easy and delightful to use. Fluid transitions between states and screens are key for helping the user preserve context as they navigate throughout a feature. Quick flourishes of animation make an app come alive, and help give it a distinct personality.At Airbnb we launch hundreds of features and experiments that have been developed by engineers across many teams. When building at this scale, it’s critical to consider efficiency and maintainability throughout our tech stack–and motion is no exception. Adding animations to …

3 months, 2 weeks назад @ medium.com
Announcing Lottie 4.0 for iOS
Announcing Lottie 4.0 for iOS Announcing Lottie 4.0 for iOS

A new rendering engine with significant performance improvements powered by Core AnimationBy: Cal StephensLottie is Airbnb’s cross-platform, open source library for rendering vector motion graphics. We use Lottie extensively at Airbnb, and it also powers animations in thousands of other apps throughout the industry.Example Lottie animations included in Airbnb’s iOS appToday we’re releasing Lottie 4.0 for iOS. This major new release brings significant performance improvements to all Lottie animations, with a brand new rendering engine powered by Core Animation.Using Lottie at scale for many years, we’ve learned a lot about its performance characteristics in real-world use cases. We found tha…

3 months, 2 weeks назад @ medium.com
How AI Text Generation Models Are Reshaping Customer Support at Airbnb
How AI Text Generation Models Are Reshaping Customer Support at Airbnb How AI Text Generation Models Are Reshaping Customer Support at Airbnb

Leveraging text generation models to build more effective, scalable customer support products.Gavin Li, Mia Zhao and Zhenyu ZhaoOne of the fastest-growing areas in modern Artificial Intelligence (AI) is AI text generation models. As the name suggests, these models generate natural language. Previously, most industrial natural language processing (NLP) models were classifiers, or what might be called discriminative models in machine learning (ML) literature. However, in recent years, generative models based on large-scale language models are rapidly gaining traction and fundamentally changing how ML problems are formulated. Generative models can now obtain some domain knowledge through large…

4 months назад @ medium.com
Building Airbnb Categories with ML and Human-in-the-Loop
Building Airbnb Categories with ML and Human-in-the-Loop Building Airbnb Categories with ML and Human-in-the-Loop

Airbnb Categories Blog Series — Part IBy: Mihajlo Grbovic, Ying Xiao, Pratiksha Kadam, Aaron Yin, Pei Xiong, Dillon Davis, Aditya Mukherji, Kedar Bellare, Haowei Zhang, Shukun Yang, Chen Qian, Sebastien Dubois, Nate Ney, James Furnary, Mark Giangreco, Nate Rosenthal, Cole Baker, Bill Ulammandakh, Sid Reddy, Egor PakhomovFigure 1. Browsing listings by categories: Castles, Desert, Design, Beach & Countryside25 Years of Online Travel SearchOnline travel search hasn’t changed much in the last 25 years. The traveler enters her destination, dates, and the number of guests into a search interface, which dutifully returns a list of options that best meet the criteria. Eventually, Airbnb and other t…

4 months назад @ medium.com
Mussel — Airbnb’s Key-Value Store for Derived Data
Mussel — Airbnb’s Key-Value Store for Derived Data Mussel — Airbnb’s Key-Value Store for Derived Data

Mussel — Airbnb’s Key-Value Store for Derived DataHow Airbnb built a persistent, high availability and low latency key-value storage engine for accessing derived data from offline and streaming events.By: Chandramouli Rangarajan, Shouyan Guo, Yuxi JinIntroductionWithin Airbnb, many online services need access to derived data, which is data computed with large scale data processing engines like Spark or streaming events like Kafka and stored offline. These services require a high quality derived data storage system, with strong reliability, availability, scalability, and latency guarantees for serving online traffic. For example, the user profiler service stores and accesses real-time and hi…

5 months, 2 weeks назад @ medium.com
Beyond A/B test : Speeding up Airbnb Search Ranking Experimentation through Interleaving
Beyond A/B test : Speeding up Airbnb Search Ranking Experimentation through Interleaving Beyond A/B test : Speeding up Airbnb Search Ranking Experimentation through Interleaving

Beyond A/B Test : Speeding up Airbnb Search Ranking Experimentation through InterleavingIntroduction of Airbnb interleaving experimentation framework, usage and approaches to address challenges in our unique businessQing Zhang, Michelle Du, Reid Andersen, Liwei HeIntroductionWhen a user searches for a place to stay on Airbnb, we aim to show them the best results possible. Airbnb’s relevance team actively works on improving search ranking experience and helps users to find and book listings that match their preference. A/B test is our approach for online assessment. Our business metrics are conversion-focused, and the frequency of guest travel transactions is lower than on other e-commerce p…

5 months, 2 weeks назад @ medium.com
Upgrading Data Warehouse Infrastructure at Airbnb
Upgrading Data Warehouse Infrastructure at Airbnb Upgrading Data Warehouse Infrastructure at Airbnb

This blog aims to introduce Airbnb’s experience upgrading Data Warehouse infrastructure to Spark and Iceberg.By: Ronnie Zhu, Edgar Rodriguez, Jason Xu, Gustavo Torres, Kerim Oktay, Xu ZhangIntroductionIn this blog, we will introduce our motivations for upgrading our Data Warehouse Infrastructure to Spark 3 and Iceberg. We will briefly describe the current state of Airbnb data warehouse infrastructure and the challenges. We will then share our learnings from upgrading one critical production workload: event data ingestion. Finally, we will share the results and the lessons learned.ContextAirbnb’s Data Warehouse (DW) storage was previously migrated from legacy HDFS clusters to S3 to provide b…

5 months, 4 weeks назад @ medium.com
How Airbnb safeguards changes in production
How Airbnb safeguards changes in production How Airbnb safeguards changes in production

Part II: Near Real-time ExperimentsBy: Mike Lin, Preeti Ramasamy, Toby Mao, Zack Loebel-BegelmanIn our first post we discussed the need for a near real time Safe Deploy system and some of the statistics that power its decisions. In this post we will cover the architecture and engineering choices behind the various components that Safe Deploys comprises.Designing a near real-time experimentation system required making explicit tradeoffs among speed, precision, cost, and resiliency. An early decision was to limit near real-time results to only the first 24 hours of an experiment — enough time to catch any major issues and transition to using comprehensive results from the batch pipeline. The …

6 months, 2 weeks назад @ medium.com
Netflix Engineering Netflix Engineering
последний пост 1 week, 3 days назад
Building a Media Understanding Platform for ML Innovations
Building a Media Understanding Platform for ML Innovations Building a Media Understanding Platform for ML Innovations

By Guru Tahasildar, Amir Ziai, Jonathan Solórzano-Hamilton, Kelli Griggs, Vi IyengarIntroductionNetflix leverages machine learning to create the best media for our members. Earlier we shared the details of one of these algorithms, introduced how our platform team is evolving the media-specific machine learning ecosystem, and discussed how data from these algorithms gets stored in our annotation service.Much of the ML literature focuses on model training, evaluation, and scoring. In this post, we will explore an understudied aspect of the ML lifecycle: integration of model outputs into applications.An example of using Machine Learning to find shots of Eleven in Stranger Things and surfacing …

1 week, 3 days назад @ netflixtechblog.com
Elasticsearch Indexing Strategy in Asset Management Platform (AMP)
Elasticsearch Indexing Strategy in Asset Management Platform (AMP) Elasticsearch Indexing Strategy in Asset Management Platform (AMP)

By Burak Bacioglu, Meenakshi JindalAsset Management at NetflixAt Netflix, all of our digital media assets (images, videos, text, etc.) are stored in secure storage layers. We built an asset management platform (AMP), codenamed Amsterdam, in order to easily organize and manage the metadata, schema, relations and permissions of these assets. It is also responsible for asset discovery, validation, sharing, and for triggering workflows.Amsterdam service utilizes various solutions such as Cassandra, Kafka, Zookeeper, EvCache etc. In this blog, we will be focusing on how we utilize Elasticsearch for indexing and search the assets.Amsterdam is built on top of three storage layers.The first layer, …

1 week, 6 days назад @ netflixtechblog.com
Data Reprocessing Pipeline in Asset Management Platform @Netflix
Data Reprocessing Pipeline in Asset Management Platform @Netflix Data Reprocessing Pipeline in Asset Management Platform @Netflix

By Meenakshi JindalOverviewAt Netflix, we built the asset management platform (AMP) as a centralized service to organize, store and discover the digital media assets created during the movie production. Studio applications use this service to store their media assets, which then goes through an asset cycle of schema validation, versioning, access control, sharing, triggering configured workflows like inspection, proxy generation etc. This platform has evolved from supporting studio applications to data science applications, machine-learning applications to discover the assets metadata, and build various data facts.During this evolution, quite often we receive requests to update the existing…

1 week, 6 days назад @ netflixtechblog.com
NTS: Reliable Device Testing at Scale
NTS: Reliable Device Testing at Scale NTS: Reliable Device Testing at Scale

By Benson Ma, ZZ ZimmermanWith contributions from Alok Ahuja, Shravan Heroor, Michael Krasnow, Todor Minchev, Inder SinghIntroductionAt Netflix, we test hundreds of different device types every day, ranging from streaming sticks to smart TVs, to ensure that new version releases of the Netflix SDK continue to provide the exceptional Netflix experience that our customers expect. We also collaborate with our Partners to integrate the Netflix SDK onto their upcoming new devices, such as TVs and set top boxes. This program, known as Partner Certification, is particularly important for the business because device expansion historically has been crucial for new Netflix subscription acquisitions. T…

2 weeks, 1 day назад @ netflixtechblog.com
Data ingestion pipeline with Operation Management
Data ingestion pipeline with Operation Management Data ingestion pipeline with Operation Management

by Varun Sekhri, Meenakshi Jindal, Burak BaciogluIntroductionAt Netflix, to promote and recommend the content to users in the best possible way there are many Media Algorithm teams which work hand in hand with content creators and editors. Several of these algorithms aim to improve different manual workflows so that we show the personalized promotional image, trailer or the show to the user.These media focused machine learning algorithms as well as other teams generate a lot of data from the media files, which we described in our previous blog, are stored as annotations in Marken. We designed a unique concept called Annotation Operations which allows teams to create data pipelines and easil…

2 weeks, 2 days назад @ netflixtechblog.com
Scaling Media Machine Learning at Netflix
Scaling Media Machine Learning at Netflix Scaling Media Machine Learning at Netflix

By Gustavo Carmo, Elliot Chow, Nagendra Kamath, Akshay Modi, Jason Ge, Wenbing Bai, Jackson de Campos, Lingyi Liu, Pablo Delgado, Meenakshi Jindal, Boris Chen, Vi Iyengar, Kelli Griggs, Amir Ziai, Prasanna Padmanabhan, and Hossein TaghaviFigure 1 - Media Machine Learning InfrastructureIntroductionIn 2007, Netflix started offering streaming alongside its DVD shipping services. As the catalog grew and users adopted streaming, so did the opportunities for creating and improving our recommendations. With a catalog spanning thousands of shows and a diverse member base spanning millions of accounts, recommending the right show to our members is crucial.Why should members care about any particular…

1 month, 1 week назад @ netflixtechblog.com
Discovering Creative Insights in Promotional Artwork
Discovering Creative Insights in Promotional Artwork Discovering Creative Insights in Promotional Artwork

By Grace Tang, Aneesh Vartakavi, Julija Bagdonaite, Cristina Segalin, and Vi IyengarWhen members are shown a title on Netflix, the displayed artwork, trailers, and synopses are personalized. That means members see the assets that are most likely to help them make an informed choice. These assets are a critical source of information for the member to make a decision to watch, or not watch, a title. The stories on Netflix are multidimensional and there are many ways that a single story could appeal to different members. We want to show members the images, trailers, and synopses that are most helpful to them for making a watch decision.In a previous blog post we explained how our artwork perso…

1 month, 3 weeks назад @ netflixtechblog.com
Scalable Annotation Service — Marken
Scalable Annotation Service — Marken Scalable Annotation Service — Marken

Scalable Annotation Service — Markenby Varun Sekhri, Meenakshi JindalIntroductionAt Netflix, we have hundreds of micro services each with its own data models or entities. For example, we have a service that stores a movie entity’s metadata or a service that stores metadata about images. All of these services at a later point want to annotate their objects or entities. Our team, Asset Management Platform, decided to create a generic service called Marken which allows any microservice at Netflix to annotate their entity.AnnotationsSometimes people describe annotations as tags but that is a limited definition. In Marken, an annotation is a piece of metadata which can be attached to an object f…

1 month, 3 weeks назад @ netflixtechblog.com
Ready-to-go sample data pipelines with Dataflow
Ready-to-go sample data pipelines with Dataflow Ready-to-go sample data pipelines with Dataflow

by Jasmine Omeke, Obi-Ike Nwoke, Olek GorajekIntroThis post is for all data practitioners, who are interested in learning about bootstrapping, standardization and automation of batch data pipelines at Netflix.You may remember Dataflow from the post we wrote last year titled Data pipeline asset management with Dataflow. That article was a deep dive into one of the more technical aspects of Dataflow and didn’t properly introduce this tool in the first place. This time we’ll try to give justice to the intro and then we will focus on one of the very first features Dataflow came with. That feature is called sample workflows, but before we start in let’s have a quick look at Dataflow in general.D…

3 months, 2 weeks назад @ netflixtechblog.com
For your eyes only: improving Netflix video quality with neural networks
For your eyes only: improving Netflix video quality with neural networks For your eyes only: improving Netflix video quality with neural networks

by Christos G. Bampis, Li-Heng Chen and Zhi LiWhen you are binge-watching the latest season of Stranger Things or Ozark, we strive to deliver the best possible video quality to your eyes. To do so, we continuously push the boundaries of streaming video quality and leverage the best video technologies. For example, we invest in next-generation, royalty-free codecs and sophisticated video encoding optimizations. Recently, we added another powerful tool to our arsenal: neural networks for video downscaling. In this tech blog, we describe how we improved Netflix video quality with neural networks, the challenges we faced and what lies ahead.How can neural networks fit into Netflix video encodin…

4 months назад @ netflixtechblog.com
Match Cutting at Netflix: Finding Cuts with Smooth Visual Transitions
Match Cutting at Netflix: Finding Cuts with Smooth Visual Transitions Match Cutting at Netflix: Finding Cuts with Smooth Visual Transitions

Match Cutting: Finding Cuts with Smooth Visual Transitions Using Machine LearningBy Boris Chen, Kelli Griggs, Amir Ziai, Yuchen Xie, Becky Tucker, Vi Iyengar, Ritwik Kumar, Keila Fong, Nagendra Kamath, Elliot Chow, Robert Mayer, Eugene Lok, Aly Parmelee, Sarah BlankCreating Media with Machine Learning episode 1IntroductionAt Netflix, part of what we do is build tools to help our creatives make exciting videos to share with the world. Today, we’d like to share some of the work we’ve been doing on match cuts.https://medium.com/media/f0a78d7f38bd14f60761a93c160f92bd/hrefIn film, a match cut is a transition between two shots that uses similar visual framing, composition, or action to fluidly br…

4 months, 1 week назад @ netflixtechblog.com
Helping VFX studios pave a path to the cloud
Helping VFX studios pave a path to the cloud Helping VFX studios pave a path to the cloud

By: Peter Cioni (Netflix), Alex Schworer (Netflix), Mac Moore (Conductor Tech.), Rachel Kelley (AWS), Ranjit Raju (AWS)Rendering is core to the VFX processVFX studios around the world create amazing imagery for Netflix productions. Nearly every show that is produced today includes digital visual effects, from the creatures in Stranger Things, to recreating historic London in Bridgerton.Netflix production teams work with a global roster of VFX studios (both large and small) and their artists to create this amazing imagery. But it’s not easy: to pull this off, VFX studios need to build and operate serious technical infrastructure (compute, storage, networking, and software licensing), otherwi…

4 months, 1 week назад @ netflixtechblog.com
New Series: Creating Media with Machine Learning
New Series: Creating Media with Machine Learning New Series: Creating Media with Machine Learning

By Vi Iyengar, Keila Fong, Hossein Taghavi, Andy Yao, Kelli Griggs, Boris Chen, Cristina Segalin, Apurva Kansara, Grace Tang, Billur Engin, Amir Ziai, James Ray, Jonathan Solorzano-HamiltonWelcome to the first post in our multi-part series on how Netflix is developing and using machine learning (ML) to help creators make better media — from TV shows to trailers to movies to promotional art and so much more.Media is at the heart of Netflix. It’s our medium for delivering a range of emotions and experiences to our members. Through each engagement, media is how we bring our members continued joy.This blog series will take you behind the scenes, showing you how we use the power of machine learn…

4 months, 1 week назад @ netflixtechblog.com
Machine Learning for Fraud Detection in Streaming Services
Machine Learning for Fraud Detection in Streaming Services Machine Learning for Fraud Detection in Streaming Services

By Soheil Esmaeilzadeh, Negin Salajegheh, Amir Ziai, Jeff BooteIntroductionStreaming services serve content to millions of users all over the world. These services allow users to stream or download content across a broad category of devices including mobile phones, laptops, and televisions. However, some restrictions are in place, such as the number of active devices, the number of streams, and the number of downloaded titles. Many users across many platforms make for a uniquely large attack surface that includes content fraud, account fraud, and abuse of terms of service. Detection of fraud and abuse at scale and in real-time is highly challenging.Data analysis and machine learning techniq…

4 months, 1 week назад @ netflixtechblog.com
Seeing through hardware counters: a journey to threefold performance increase
Seeing through hardware counters: a journey to threefold performance increase Seeing through hardware counters: a journey to threefold performance increase

By Vadim Filanovsky and Harshad SaneIn one of our previous blogposts, A Microscope on Microservices we outlined three broad domains of observability (or “levels of magnification,” as we referred to them) — Fleet-wide, Microservice and Instance. We described the tools and techniques we use to gain insight within each domain. There is, however, a class of problems that requires an even stronger level of magnification going deeper down the stack to introspect CPU microarchitecture. In this blogpost we describe one such problem and the tools we used to solve it.The problemIt started off as a routine migration. At Netflix, we periodically reevaluate our workloads to optimize utilization of avail…

4 months, 2 weeks назад @ netflixtechblog.com
Pinterest Engineering
последний пост 4 weeks, 1 day назад
Pinterest is now on HTTP/3
Pinterest is now on HTTP/3 Pinterest is now on HTTP/3

Liang Ma | Software Engineer, Core Eng; Scott Beardsley | Engineering Manager, Traffic; Haowei Yuan | Software Engineer, TrafficFigure 1 — HTTP/3 at PinterestNow Pinterest operates on HTTP/3. We have enabled HTTP/3 for major Pinterest production domains on our multi-CDN edge network, and we’ve upgraded client apps’ network stack to support the new protocol. This allows us to catch up with industry trends. Most importantly, faster and more reliable networking improves Pinners’ experience and business metrics.ContextNetwork performance (such as latency and throughput) is critical to Pinners’ experience.In 2021, a group of client networking enthusiasts at Pinterest started thinking about adopt…

4 weeks, 1 day назад @ medium.com
Employee-facing Mutual TLS
Employee-facing Mutual TLS Employee-facing Mutual TLS

Armen Tashjian | Security Engineer, Corporate SecurityThis blog article is the second part of our recently released blog: Enforcing Device AuthN & Compliance at Pinterest.IntroAs part of our device authentication and compliance initiative, Pinterest has implemented employee-facing mutual TLS with a custom identity provider in a way that results in a positive user experience.You may have heard of, or experienced first hand, some unpleasant behavior while attempting to authenticate with a certificate within a browser or application. Even the Wikipedia page for mutual TLS mentions that mTLS is a “..less user-friendly experience, [and] it’s rarely used in end-user applications…”.At Pinterest, w…

1 month, 3 weeks назад @ medium.com
Enforcing Device AuthN & Compliance at Pinterest
Enforcing Device AuthN & Compliance at Pinterest Enforcing Device AuthN & Compliance at Pinterest

Armen Tashjian | Security Engineer, Corporate SecurityIntroPinterest has enforced the use of managed and compliant devices in our Okta authentication flow, using a passwordless implementation, so that access to our tools always requires a healthy Pinterest device.Following the phishing-based attacks against our peers in the tech industry, Pinterest decided to take a two pronged approach to defend against similar attacks. We decided to:Require a managed and healthy Pinterest device be used to access all Pinterest resources, even when in the possession of valid credentialsRequire FIDO2 credentials for user authenticationIn this post, we’ll be focusing on how we required the use of Pinterest m…

1 month, 4 weeks назад @ medium.com
Build an end to end JSON logging system for clients apps
Build an end to end JSON logging system for clients apps Build an end to end JSON logging system for clients apps

Liang Ma | Software Engineer, Core Eng; Wei Zhu | Software Engineer, ObservabilityIn early 2020, during a critical iOS out of memory incident (we have a blogpost for that), we realized that we didn’t have much visibility of how the app is running or a good system to look up for monitoring and troubleshooting.State of loggingAt that time, on the client side, there were a few ways for logging in their daily work:Context logging: built for logging and reporting impressions or anything related to business, thus a time critical and first-class endpoint. Developers need to explicitly define keys that would otherwise be rejected by the endpoint. Some companies call it “analytics logging.”Misc: log…

2 months, 1 week назад @ medium.com
Improving the Player on Android
Improving the Player on Android Improving the Player on Android

Grey Skold | (former Android Video Engineer) ; Lin Wang | Android Performance Engineer; Sheng Liu | Android Performance EngineerPinterest Android App offers a rare experience with a mix of images and videos on a two-column grid. In order to maintain a performant video experience on Android devices, we focused on:Warming upConfigurationsPooling playersWarming UpIn order to reduce the startup latency, we establish a video network connection by sending a dummy HTTP HEAD request during the early application startup time. The same connection can be used to play future videos. This is done even before any video urls are returned from our server.The same strategy also applies to UI rendering. We f…

3 months, 3 weeks назад @ medium.com
Flexible Daily Budgeting at Pinterest
Flexible Daily Budgeting at Pinterest Flexible Daily Budgeting at Pinterest

Kelvin Jiang, Software Engineer, Ads Intelligence | Keshava Subramanya, Engineering Manager, Ads Intelligence | Perrye Ogunwole, Product Manager, Ads IntelligenceIntroductionThe Ads Intelligence team at Pinterest builds products that help advertisers maximize the value they get out of their ad campaigns. As part of that initiative, we have recently launched Flexible Daily Budgets (FDB) to US advertisers in open beta.Figure 1: Flexible daily budgets option in the campaign create flowFDB is an automated ads product that benefits advertisers by distributing the advertising budget for each campaign across multiple days in an automated manner. The goals of this product are to:Enable advertisers …

4 months, 1 week назад @ medium.com
How Pinterest Leverages Realtime User Actions in Recommendation to Boost Homefeed Engagement Volume
How Pinterest Leverages Realtime User Actions in Recommendation to Boost Homefeed Engagement Volume How Pinterest Leverages Realtime User Actions in Recommendation to Boost Homefeed Engagement Volume

Xue Xia, Software Engineer, Homefeed Ranking; Neng Gu, Software Engineer, Content & User Understanding; Dhruvil Deven Badani, Engineering Manager, Homefeed Ranking; Andrew Zhai, Software Engineer, Advanced Technologies GroupImage from https://wallpapercave.com/neural-networks-wallpapers#google_vignetteIn this blog post, we will demonstrate how we improved Pinterest Homefeed engagement volume from a machine learning model design perspective — by leveraging realtime user action features in Homefeed recommender system.BackgroundThe Homepage of Pinterest is the one of most important surfaces for pinners to discover inspirational ideas and contributes to a large fraction of overall user engageme…

4 months, 2 weeks назад @ medium.com
Watch your Manifest
Watch your Manifest Watch your Manifest

Lin Wang | Android Performance EngineerDesigned by AJ Oxendine | Software EngineerIt’s a well-known fact for Android developers that an app’s manifest (AndroidManifest.xml) holds crucial application declarations. It is rarely monitored after being set up because we assume it hardly ever changes. At Pinterest, however, we have been actively monitoring the manifest after realizing it does change every so often.While building an app, Gradle downloads all the dependent libraries to compile and link them with the app. These dependent libraries each have their own mini manifest. During the build process, Android Gradle Plugin (AGP) merges them with the app’s main manifest to form the final manife…

4 months, 3 weeks назад @ medium.com
Query Rewards: Building a Recommendation Feedback Loop During Query Selection
Query Rewards: Building a Recommendation Feedback Loop During Query Selection Query Rewards: Building a Recommendation Feedback Loop During Query Selection

Bella Huang | Software Engineer, Home Candidate Generation; Raymond Hsu | Engineer Manager, Home Candidate Generation; Dylan Wang | Engineer Manager, Home RelevanceIn Homefeed, ~30% of recommended pins come from pin to pin-based retrieval. This means that during the retrieval stage, we use a batch of query pins to call our retrieval system to generate pin recommendations. We typically use a user’s previously engaged pins, and a user may have hundreds (or thousands!) of engaged pins, so a key problem for us is: how do we select the right query pins from the user’s profile?User Profiling with PinnerSAGE OverviewAt Pinterest, we use PinnerSAGE as the main source of a user’s pin profile. Pinner…

4 months, 4 weeks назад @ medium.com
My Summer as a Software Engineering Intern at Pinterest Toronto!
My Summer as a Software Engineering Intern at Pinterest Toronto! My Summer as a Software Engineering Intern at Pinterest Toronto!

Khubi Shah | (former) Software Engineer Intern, Shopping Content MiningThis summer, I had the incredible opportunity to intern at the one and only Pinterest from the new engineering hub in Toronto!I am a final year undergraduate student from the University of Waterloo, majoring in Computer Science with an AI specialization. Growing up, Pinterest was always my go-to social media platform, as it inspired me with new ideas for food, fashion, design, or anything creative! As a result, when I was given the opportunity to join as a Software Engineering Intern this summer in Toronto, I was beyond thrilled to be a part of the company mission: to bring everyone the inspiration to create a life they …

5 months, 1 week назад @ medium.com
Online Data Migration from HBase to TiDB with Zero Downtime
Online Data Migration from HBase to TiDB with Zero Downtime Online Data Migration from HBase to TiDB with Zero Downtime

Ankita Girish Wagh | Senior Software Engineer, Storage and CachingIntroduction and MotivationAt Pinterest, HBase is one of the most critical storage backends, powering many online storage services like Zen (graph database), UMS (wide column datastore), and Ixia (near real time secondary indexing service). The HBase Ecosystem, though having various advantages like strong consistency at row level in high volume requests, flexible schema, low latency access to data, Hadoop integration, etc. cannot serve the needs of our clients for the next 3–5 years. This is due to high operational cost, excessive complexity, and missing functionalities like secondary indexes, support for transactions, etc.Af…

7 months, 1 week назад @ medium.com
Debugging Ad Delivery At Pinterest
Debugging Ad Delivery At Pinterest Debugging Ad Delivery At Pinterest

Nishant Roy | Engineering Manager, Ads Serving PlatformIntro & BackgroundThe Pinterest ads serving platform delivered >$2.5 billion in ad spend in 2021 from thousands of advertisers. Our customer operations team receives 600+ tickets on average every month from advertisers who are looking to understand their performance on our platform. One of the most common questions we receive is why a particular advertiser/ad campaign is not fully utilizing its budget. This question requires a deep analysis of an ad recommendation system consisting of 5+ microservices, 1M+ lines of code, and 100+ active developers, serving >90 million requests everyday. This blog describes how we built a system to swift…

9 months назад @ medium.com
Estimating Potential Audience Size of an Ad at Pinterest
Estimating Potential Audience Size of an Ad at Pinterest Estimating Potential Audience Size of an Ad at Pinterest

Chanheum (Sean) Cho | ML Engineer, Ads Intelligence; Ruixin Qiang |ML Engineer, Ads Intelligence; Keshava Subramanya |Engineering Manager, Ads IntelligenceIntroductionUnderstanding the size of the potential audience of an ad is an important consideration for an advertiser. It enables advertisers to estimate the total population who might be interested in the products or services they advertise and plan their budgets ahead of time. The Ads Intelligence team at Pinterest provides a service called Potential Audience Size in the Ads Manager, so the advertisers can understand their target audience size while they configure their ad groups. The service updates the estimate in real time as the aud…

9 months, 3 weeks назад @ medium.com
Facebook
последний пост 4 months, 3 weeks назад
Improving Instagram notification management with machine learning and causal inference
Improving Instagram notification management with machine learning and causal inference

We’re sharing how Meta is applying statistics and machine learning (ML) to improve notification personalization and management on Instagram – particularly on daily digest push notifications. By using causal inference and ML to identify highly active users who are likely to see more content organically, we have been able to reduce the number of notifications [...]

Read More...

The post Improving Instagram notification management with machine learning and causal inference appeared first on Engineering at Meta.

4 months, 3 weeks назад @ engineering.fb.com
Scaling data ingestion for machine learning training at Meta
Scaling data ingestion for machine learning training at Meta

Many of Meta’s products, such as search, ads ranking and Marketplace, utilize AI models to continuously improve user experiences. As the performance of hardware we use to support training infrastructure increases, we need to scale our data ingestion infrastructure accordingly to handle workloads more efficiently. GPUs, which are used for training infrastructure, tend to double [...]

Read More...

The post Scaling data ingestion for machine learning training at Meta appeared first on Engineering at Meta.

6 months назад @ engineering.fb.com
Applying federated learning to protect data on mobile devices
Applying federated learning to protect data on mobile devices

What the research is: Federated learning with differential privacy (FL-DP) is one of the latest privacy-enhancing technologies being evaluated at Meta as we constantly work to enhance user privacy and further safeguard users’ data in the products we design, build, and maintain. FL-DP enhances privacy in two important ways: It allows machine learning (ML) models [...]

Read More...

The post Applying federated learning to protect data on mobile devices appeared first on Engineering at Meta.

9 months, 1 week назад @ engineering.fb.com
Uber Engineering
последний пост None
Spotify Engineering Spotify Engineering
последний пост 3 days, 1 hour назад
Choosing Sequential Testing Framework — Comparisons and Discussions
Choosing Sequential Testing Framework — Comparisons and Discussions

TL;DR Sequential tests are the bread and butter for any company conducting online experiments. The literature on sequential testing has developed quickly over the last 10 years, and it’s not always easy to determine which test is most suitable for the setup of your company — many of these tests are “optimal” in some sense, [...]

The post Choosing Sequential Testing Framework — Comparisons and Discussions appeared first on Spotify Engineering.

3 days, 1 hour назад @ engineering.atspotify.com
Encore x Accessibility: A Balancing Act
Encore x Accessibility: A Balancing Act

On the Encore team (Spotify’s design system), there’s nothing we love more than collaborating with our fellow squads — (1) because they have awesome squad names and (2) because they have awesome people. Enter our most recent collab with the Mandalorian squad, which is in charge of accessibility at Spotify — and aptly named, because [...]

The post Encore x Accessibility: A Balancing Act appeared first on Spotify Engineering.

1 week, 1 day назад @ engineering.atspotify.com
Getting More from Your Team Health Checks
Getting More from Your Team Health Checks

Watch Justin and Fiona speak about ‘Team Health Checks — One Size Does Not Fit All’ at the Spotify Engineering Conference in 2022. Spotify has for a long time run squad health checks. Squads step back from their day-to-day activities to get a broader perspective on how they are working, with the aim of improving [...]

The post Getting More from Your Team Health Checks appeared first on Spotify Engineering.

2 weeks, 4 days назад @ engineering.atspotify.com
A Multi-Year Challenge: Repairing Deep Linking & Attribution at Spotify
A Multi-Year Challenge: Repairing Deep Linking & Attribution at Spotify

Deep linking and attribution are important functionalities for a growing business. Deep links seamlessly get you to the content you want in the app. Attribution helps us understand which activity (such as marketing or sharing) drives you to that content. At Spotify in 2017, these critical functionalities were in disrepair. But over the course of [...]

The post A Multi-Year Challenge: Repairing Deep Linking & Attribution at Spotify appeared first on Spotify Engineering.

1 month назад @ engineering.atspotify.com
Incident Report: Spotify Outage on January 14, 2023
Incident Report: Spotify Outage on January 14, 2023

On January 14, between 00:15 UTC and 03:45 UTC, Spotify suffered an outage. The impact was small at first and increased over the course of an hour until most functionality (including playback) was not working. Spotify engineers were first notified of the problem at 00:40 UTC, and our incident response team was immediately assembled. Due [...]

The post Incident Report: Spotify Outage on January 14, 2023 appeared first on Spotify Engineering.

1 month, 1 week назад @ engineering.atspotify.com
Unleashing ML Innovation at Spotify with Ray
Unleashing ML Innovation at Spotify with Ray

Introduction As the field of machine learning (ML) continues to evolve and its impact on society and various aspects of our lives grows, it is becoming increasingly important for practitioners and innovators to consider a broader range of perspectives when building ML models and applications. This desire is driving the need for a more flexible [...]

The post Unleashing ML Innovation at Spotify with Ray appeared first on Spotify Engineering.

1 month, 3 weeks назад @ engineering.atspotify.com
Agile Coaching (AC) at Spotify: Shining a Light on the AC Career Framework
Agile Coaching (AC) at Spotify: Shining a Light on the AC Career Framework

At Spotify, change is a constant, and our agile coaches are here to help teams and leaders thrive as we evolve. With agile principles famously part of our DNA, Spotify doesn’t need “transformation coaches,” as they are often known in the industry, but coaches who transform as organizational needs change. In the early 2010s, our [...]

The post Agile Coaching (AC) at Spotify: Shining a Light on the AC Career Framework appeared first on Spotify Engineering.

2 months назад @ engineering.atspotify.com
What’s a “Listening Personality”?
What’s a “Listening Personality”?

We did a couple of new things in Wrapped this year, and one of these is a thing called Your Listening Personality. You got one. There are 16 of them, in total: It’s not a lottery or a horoscope, though. As the four-letter codes at the bottom of each one hint, each Listening Personality is [...]

The post What’s a “Listening Personality”? appeared first on Spotify Engineering.

2 months, 2 weeks назад @ engineering.atspotify.com
Shipping Spotify’s Culture: 5 Plugins (and 4 Principles) for Supercharging Developer Experience at Scale
Shipping Spotify’s Culture: 5 Plugins (and 4 Principles) for Supercharging Developer Experience at Scale

ICYMI Spotify officially began selling enterprise software today: the Spotify Plugins for Backstage bundle subscription. Some of these commercial plugins began life as internal tools, built by Spotify developers, for Spotify developers. Other plugins in the bundle are brand new to the Backstage platform. But they all embody our ways of working — our secret [...]

The post Shipping Spotify’s Culture: 5 Plugins (and 4 Principles) for Supercharging Developer Experience at Scale appeared first on Spotify Engineering.

3 months, 1 week назад @ engineering.atspotify.com
Strategies and Tools for Performing Migrations on Platform
Strategies and Tools for Performing Migrations on Platform

Needing to deliver faster and more reliably while managing a growing number of contributors and a more complex codebase seems like the fate of every hyper-growth tech company. For platform teams, the challenge is not any different. How can we quickly roll out and increase the adoption of new technologies safely with a growing codebase [...]

The post Strategies and Tools for Performing Migrations on Platform appeared first on Spotify Engineering.

4 months, 1 week назад @ engineering.atspotify.com
Spotify’s Vulnerability Management Platform
Spotify’s Vulnerability Management Platform

We started developing our vulnerability management platform (VMP) at Spotify in Q2, 2020, and now that we’ve implemented it and use the system in our day-to-day work, we wanted to take a moment to share our journey to help reduce security risks in an efficient and scalable manner. Vulnerabilities Preventing vulnerabilities within Spotify is the [...]

The post Spotify’s Vulnerability Management Platform appeared first on Spotify Engineering.

4 months, 2 weeks назад @ engineering.atspotify.com
How We Improved the Development Experience for our Client Developers
How We Improved the Development Experience for our Client Developers

TL;DR The core motivation for Spotify’s Client Platform (CliP) team is empowering and unblocking client developers and giving teams the tools they need to ensure a happy and satisfying developer experience (DX). In line with this, we wanted to improve the coding experience for our development teams through infrastructure changes. We conducted research among 318 [...]

The post How We Improved the Development Experience for our Client Developers appeared first on Spotify Engineering.

4 months, 4 weeks назад @ engineering.atspotify.com
Ripple Engineering Ripple Engineering
последний пост None
Dmitry Anoshin recommends
Snowflake
последний пост 21 час назад
How Snowflake Delivers on the National Cybersecurity Strategy
How Snowflake Delivers on the National Cybersecurity Strategy

Data is an asset and it is imperative to keep it safe. This is why security is a core designing principle of Snowflake, it’s always on, and that removes the need for users to intervene. Snowflake actively partners with government agencies and the industrial and academic sectors that support them, in order to prevent global […]

The post How Snowflake Delivers on the National Cybersecurity Strategy appeared first on Snowflake.

21 час назад @ snowflake.com
New Snowflake Features Released in February 2023
New Snowflake Features Released in February 2023

In February, Snowflake launched new features around streaming data ingestion and data governance and improved SQL experience and performance, with enhancements to Search Optimization Service and more. Read on to learn about everything new announced in February. Data Governance Track Masking & Row Access Policy References in Access History, Now in Public Preview For queries […]

The post New Snowflake Features Released in February 2023 appeared first on Snowflake.

2 days, 23 hours назад @ snowflake.com
Snowpark: Unified Tools and Infrastructure for SQL and Python
Snowpark: Unified Tools and Infrastructure for SQL and Python

In Snowflake’s 6 Data Science Trends in 2023, one of the more prominent trends we identified was the emerging use of unified tools and infrastructure for SQL and Python. According to a recent article by McKinsey, huge investments have been made in data science, AI, and machine learning (ML), driven by the promise of higher […]

The post Snowpark: Unified Tools and Infrastructure for SQL and Python appeared first on Snowflake.

3 days, 2 hours назад @ snowflake.com
Snowflake Connector for ServiceNow Available in Public Preview
Snowflake Connector for ServiceNow Available in Public Preview

ServiceNow, Inc. offers a well-known SaaS application, with companies in multiple industries using it to help manage digital workloads for a variety of departments and operations. What if it was as easy as just a few clicks to get ServiceNow data directly into your Snowflake account so you could combine it with other data sources, […]

The post Snowflake Connector for ServiceNow Available in Public Preview appeared first on Snowflake.

1 week, 1 day назад @ snowflake.com
Knowledge at Your Fingertips: New Snowflake Documentation Site Accelerates Work
Knowledge at Your Fingertips: New Snowflake Documentation Site Accelerates Work

Snowflake is proud to introduce a significant upgrade to Snowflake Documentation, aimed at delivering an even more comprehensive and effortless user experience for all Snowflake customers. If you’re already an avid docs user, don’t worry—your bookmarks will continue to work. We have preserved all the existing URLs, ensuring a seamless transition for our loyal users. […]

The post Knowledge at Your Fingertips: New Snowflake Documentation Site Accelerates Work appeared first on Snowflake.

1 week, 1 day назад @ snowflake.com
How Financial Services Strengthen Cybersecurity and Risk Analytics with the Snowflake Data Cloud
How Financial Services Strengthen Cybersecurity and Risk Analytics with the Snowflake Data Cloud

The financial services industry is facing unprecedented threats from the proliferation and evolving sophistication of cybersecurity attacks. For example, 55% of financial services organizations were hit by ransomware in 2021, up from 34% in 2020. Many organizations risk increased breach and remediation costs, as well as potential loss of business. Legacy architectures create significant challenges […]

The post How Financial Services Strengthen Cybersecurity and Risk Analytics with the Snowflake Data Cloud appeared first on Snowflake.

1 week, 2 days назад @ snowflake.com
How Dropbox Implemented a Modern SIEM with Snowflake and Panther
How Dropbox Implemented a Modern SIEM with Snowflake and Panther

Snowflake connected with Jeff Puchalski, Senior Cloud Security Architect at Dropbox, to learn how the company leverages Snowflake and Panther to scale threat detection and response. Watch the full Dropbox webinar here. Security challenges As a file hosting service, Dropbox offers cloud storage, file synchronization, personal cloud, and client software. With 700 million users as […]

The post How Dropbox Implemented a Modern SIEM with Snowflake and Panther appeared first on Snowflake.

1 week, 3 days назад @ snowflake.com
Mitigating Financial Crime Incidents in the Financial Services Sector
Mitigating Financial Crime Incidents in the Financial Services Sector

Financial services organizations are facing greater financial and regulatory risks for failing to detect fraud or meet “know your customer” (KYC) and anti-money laundering (AML) compliance. They’re facing steep penalties—in 2021 alone the financial sector faced $5.4 billion in fines for non-compliance with KYC, AML, and data privacy regulations. Much of the problem lies in […]

The post Mitigating Financial Crime Incidents in the Financial Services Sector appeared first on Snowflake.

2 weeks, 2 days назад @ snowflake.com
How Financial Services Companies Optimize Quantitative Research with the Snowflake Data Cloud
How Financial Services Companies Optimize Quantitative Research with the Snowflake Data Cloud

In a recent Nasdaq survey, more than half (60%) of dissatisfied quantitative portfolio managers complained about an inability to quickly test new data sets. Survey respondents cited a number of issues with data, including an inability to quickly onboard new data, difficulty accessing data in their organization, inadequate resources, and outdated technology. In pre-Covid financial […]

The post How Financial Services Companies Optimize Quantitative Research with the Snowflake Data Cloud  appeared first on Snowflake.

2 weeks, 2 days назад @ snowflake.com
Data Sharing Is Caring: Driving Sustainability with Data
Data Sharing Is Caring: Driving Sustainability with Data

Planet Earth is currently operating at 175% of its natural resource capacity and on track to be operating at 200% by the 2030s. This is not sustainable. This is the only planet we call home and it is our responsibility to look after it. While some companies already engage in sustainability reporting, how do we […]

The post Data Sharing Is Caring: Driving Sustainability with Data appeared first on Snowflake.

2 weeks, 3 days назад @ snowflake.com
How Retailers Can Improve Supply Chain Efficiency and Collaboration with Channel Partners
How Retailers Can Improve Supply Chain Efficiency and Collaboration with Channel Partners

With constant fluctuations in global supply and demand, retail operations leaders need granular and timely insights to predict demand and optimize their inventory. However, with product sales information spread across silos and channel partner systems, operations leads are stuck using stale data and end up with excess out-of-stocks and inefficiencies across warehouse and store inventory. […]

The post How Retailers Can Improve Supply Chain Efficiency and Collaboration with Channel Partners appeared first on Snowflake.

2 weeks, 4 days назад @ snowflake.com
The Supply Chain as a Competitive Strategy
The Supply Chain as a Competitive Strategy

This is not another article on supply chain resilience, flexibility, and risk. These topics are still important and I am sure there will be articles and research done for decades on how the pandemic, geo-political events, and extreme inflation have impacted how manufacturers and we as consumers view supply chains. I want to take us […]

The post The Supply Chain as a Competitive Strategy appeared first on Snowflake.

3 weeks назад @ snowflake.com
Stream Rows and Kafka Topics Directly into Snowflake with Snowpipe Streaming
Stream Rows and Kafka Topics Directly into Snowflake with Snowpipe Streaming

Snowflake enables organizations to be data-driven by offering an expansive set of features for creating performant, scalable, and reliable data pipelines that feed dashboards, machine learning models, and applications. But before data can be transformed and served or shared, it must be ingested from source systems. The volume of data generated in real time from […]

The post Stream Rows and Kafka Topics Directly into Snowflake with Snowpipe Streaming appeared first on Snowflake.

3 weeks, 1 day назад @ snowflake.com
How Modern Data Technologies Are Remaking the Art of Insurance Underwriting
How Modern Data Technologies Are Remaking the Art of Insurance Underwriting

Title: Data Technologies Are Remaking the Art of Insurance Underwriting

Description: When it comes to forecasting risk and making decisions for insurance companies, no tool is more valuable than data. Here’s how new tech is helping underwriters.

The post How Modern Data Technologies Are Remaking the Art of Insurance Underwriting appeared first on Snowflake.

3 weeks, 2 days назад @ snowflake.com
Support Organizations Must Recognize the Important Link Between Employee and Customer Experience
Support Organizations Must Recognize the Important Link Between Employee and Customer Experience

We at Snowflake are on a never-ending quest to improve our customer experience. An often overlooked piece of that puzzle is the connection between employee experience and happy customers; nowhere is this more evident than in Snowflake’s support organization. High-growth companies aspiring to offer world-class support experiences would do well to prioritize a high-quality, scalable […]

The post Support Organizations Must Recognize the Important Link Between Employee and Customer Experience appeared first on Snowflake.

4 weeks назад @ snowflake.com
Cloudera Cloudera
последний пост 1 day назад
Materialized Views in SQL Stream Builder
Materialized Views in SQL Stream Builder

What are materialized views and how to configure them

The post Materialized Views in SQL Stream Builder appeared first on Cloudera Blog.

1 day назад @ blog.cloudera.com
Implementing and Using UDFs in Cloudera SQL Stream Builder
Implementing and Using UDFs in Cloudera SQL Stream Builder

Developing and using custom User Defined Functions on SSB

The post Implementing and Using UDFs in Cloudera SQL Stream Builder appeared first on Cloudera Blog.

4 weeks, 1 day назад @ blog.cloudera.com
Job Notifications in SQL Stream Builder
Job Notifications in SQL Stream Builder

Special co-author credits: Adam Andras Toth, Software Engineer Intern With enterprises’ needs for data analytics and processing getting more complex by the day, Cloudera aims to keep up with these needs, offering constantly evolving, cutting-edge solutions to all your data related problems. Cloudera Stream Processing aims to take real-time data analytics to the next level. […]

The post Job Notifications in SQL Stream Builder appeared first on Cloudera Blog.

1 month, 1 week назад @ blog.cloudera.com
Spark Technical Debt Deep Dive
Spark Technical Debt Deep Dive

A study of the impact of suboptimal Spark code on performance

The post Spark Technical Debt Deep Dive appeared first on Cloudera Blog.

1 month, 2 weeks назад @ blog.cloudera.com
Optimizing the Energy Sector with Data Analytics
Optimizing the Energy Sector with Data Analytics

The move toward renewable energy has a distinct and significant impact on energy generation and distribution that needs to be carefully managed. Efficient use of data will therefore be critical to improving the competitiveness and productivity of assets, both traditional and renewable generation.

The post Optimizing the Energy Sector with Data Analytics appeared first on Cloudera Blog.

3 months назад @ blog.cloudera.com
Cloudera Named a Leader in the 2022 Gartner® Magic Quadrant™ for Cloud Database Management Systems (DBMS)
Cloudera Named a Leader in the 2022 Gartner® Magic Quadrant™ for Cloud Database Management Systems (DBMS)

We are pleased to announce that Cloudera has been named a Leader in the 2022 Gartner® Magic Quadrant™ for Cloud Database Management Systems. Cloudera has been recognized in this cloud DBMS report since its inception in 2020. This year we’ve been named a Leader. This validates our significant momentum in global enterprises. And together, with […]

The post Cloudera Named a Leader in the 2022 Gartner® Magic Quadrant™ for Cloud Database Management Systems (DBMS) appeared first on Cloudera Blog.

3 months, 1 week назад @ blog.cloudera.com
Implement a Multi-Cloud Open Lakehouse with Apache Iceberg in Cloudera Data Platform
Implement a Multi-Cloud Open Lakehouse with Apache Iceberg in Cloudera Data Platform

Since we announced the general availability of Apache Iceberg in Cloudera Data Platform (CDP), Cloudera customers, such as Teranet, have built open lakehouses to future-proof their data platforms for all their analytical workloads. Cloudera partners are also benefiting from Apache Iceberg in CDP. For example, Modak Nabu is helping their enterprise customers accelerate data ingestion, […]

The post Implement a Multi-Cloud Open Lakehouse with Apache Iceberg in Cloudera Data Platform appeared first on Cloudera Blog.

3 months, 1 week назад @ blog.cloudera.com
Enriching Streams with Hive tables via Flink SQL
Enriching Streams with Hive tables via Flink SQL

Introduction Stream processing is about creating business value by applying logic to your data while it is in motion. Many times that involves combining data sources to enrich a data stream. Flink SQL does this and directs the results of whatever functions you apply to the data into a sink. Business use cases, such as […]

The post Enriching Streams with Hive tables via Flink SQL appeared first on Cloudera Blog.

4 months назад @ blog.cloudera.com
Cloudera’s Open Data Lakehouse Supercharged with dbt Core(tm)
Cloudera’s Open Data Lakehouse Supercharged with dbt Core(tm)

Innovation Accelerator Spotlight: Data teams can collaborate to streamline data transformation and analytics pipelines in the open data lakehouse using any engine, and in any form factor to produce high quality data that your business can trust.

The post Cloudera’s Open Data Lakehouse Supercharged with dbt Core(tm) appeared first on Cloudera Blog.

5 months, 2 weeks назад @ blog.cloudera.com
The Modern Data Lakehouse: An Architectural Innovation
The Modern Data Lakehouse: An Architectural Innovation

The promise of a modern data lakehouse architecture Imagine having self-service access to all business data, anywhere it may be, and being able to explore it all at once. Imagine quickly answering burning business questions nearly instantly, without waiting for data to be found, shared, and ingested. Imagine independently discovering rich new business insights from […]

The post The Modern Data Lakehouse: An Architectural Innovation appeared first on Cloudera Blog.

6 months, 2 weeks назад @ blog.cloudera.com
Building Custom Runtimes with Editors in Cloudera Machine Learning
Building Custom Runtimes with Editors in Cloudera Machine Learning

Cloudera Machine Learning (CML) is a cloud-native and hybrid-friendly machine learning platform. It unifies self-service data science and data engineering in a single, portable service as part of an enterprise data cloud for multi-function analytics on data anywhere. CML empowers organizations to build and deploy machine learning and AI capabilities for business at scale, efficiently […]

The post Building Custom Runtimes with Editors in Cloudera Machine Learning appeared first on Cloudera Blog.

7 months назад @ blog.cloudera.com
How to Use Apache Iceberg in CDP’s Open Lakehouse
How to Use Apache Iceberg in CDP’s Open Lakehouse

In June 2022, Cloudera announced the general availability of Apache Iceberg in the Cloudera Data Platform (CDP). Iceberg is a 100% open-table format, developed through the Apache Software Foundation, which helps users avoid vendor lock-in and implement an open lakehouse. The general availability covers Iceberg running within some of the key data services in CDP, […]

The post How to Use Apache Iceberg in CDP’s Open Lakehouse appeared first on Cloudera Blog.

7 months, 2 weeks назад @ blog.cloudera.com
Applying Fine Grained Security to Apache Spark
Applying Fine Grained Security to Apache Spark

Fine grained access control (FGAC) with Spark Apache Spark with its rich data APIs has been the processing engine of choice in a wide range of applications from data engineering to machine learning, but its security integration has been a pain point. Many enterprise customers need finer granularity of control, in particular at the column […]

The post Applying Fine Grained Security to Apache Spark appeared first on Cloudera Blog.

7 months, 3 weeks назад @ blog.cloudera.com
Supercharge Your Data Lakehouse with Apache Iceberg in Cloudera Data Platform
Supercharge Your Data Lakehouse with Apache Iceberg in Cloudera Data Platform

Cloudera Technology Spotlight

The post Supercharge Your Data Lakehouse with Apache Iceberg in Cloudera Data Platform appeared first on Cloudera Blog.

8 months, 3 weeks назад @ blog.cloudera.com
The Future of the Data Lakehouse – Open
The Future of the Data Lakehouse – Open

Cloudera customers run some of the biggest data lakes on earth. These lakes power mission critical large scale data analytics, business intelligence (BI), and machine learning use cases, including enterprise data warehouses. In recent years, the term “data lakehouse” was coined to describe this architectural pattern of tabular analytics over data in the data lake. […]

The post The Future of the Data Lakehouse – Open appeared first on Cloudera Blog.

9 months, 1 week назад @ blog.cloudera.com
Smart Data
последний пост 21 час назад
Key Strategies to Develop AI Software Cost-Effectively
Key Strategies to Develop AI Software Cost-Effectively

You have probably read a lot about the major changes brought on by AI technology in recent months. Many people have called 2023 “the year of AI.” Every day we hear new stories about miraculous breakthroughs caused by ChatGPT and other AI applications. For example, ChatGPT recently The Independent said that the technology is starting […]

21 час назад @ smartdatacollective.com
AI is Driving Huge Changes in Omnichannel Marketing
AI is Driving Huge Changes in Omnichannel Marketing

Artificial intelligence is the latest trend shaping the omnichannel experience for customers in many retail outlets. One of the biggest trends pertains to personalization. The Forbes Research Council wrote an article in October citing research showing that 71% of customers now expect a personalized experience. The article makes the point that AI is key to […]

21 час назад @ smartdatacollective.com
Maximize Tax Deductions as a Business Owner with AI
Maximize Tax Deductions as a Business Owner with AI

AI technology offers a number of major benefits of small businesses and freelancers. The market for AI is projected to be worth nearly $1.6 trillion by 2030. We have talked about how businesses are using AI for marketing and tools like ChatGPT to create content more easily. However, one of the other benefits of AI […]

22 часа назад @ smartdatacollective.com
Marketers Use AI to Take Advantage of 3D Rendering
Marketers Use AI to Take Advantage of 3D Rendering

AI has been a highly useful technology for marketers over the past few years. However, new advances in AI continue to make drive new changes in the marketing profession. As a result, analysts anticipate that the market size for AI technology in the marketing sector will be worth nearly $108 billion by 2028. One of […]

1 day, 20 hours назад @ smartdatacollective.com
Top Five AI-Driven Digital Marketing Tools in 2023
Top Five AI-Driven Digital Marketing Tools in 2023

We have seen some massive changes with AI technology in the past year, especially in the field of marketing. While we have talked about advances in AI for years on this blog, the rest of the world is finally coming to grips with the extent of the AI revolution. This past week, a growing number […]

4 days, 22 hours назад @ smartdatacollective.com
Is AI-Generated Content a Net Positive for Businesses?
Is AI-Generated Content a Net Positive for Businesses?

Global businesses are projected to spend over $420 billion on AI technology by 2028. One of the biggest reasons they are investing in AI is to improve their marketing strategies. You’re in the process of hiring another copywriter for your business, and you had a colleague tell you to try out AI-generated content. AI-generated content […]

4 days, 22 hours назад @ smartdatacollective.com
Predictive Analytics Helps New Dropshipping Businesses Thrive
Predictive Analytics Helps New Dropshipping Businesses Thrive

Many different industries are growing due to the proliferation of big data. The dropshipping industry is among them. Paul Glen of IBM’s Business Analytics wrote an article titled “The Role of Predictive Analytics in the Dropshipping Industry.” Glen shares some very important insights on the benefits of utilizing predictive analytics to optimize a dropshipping commpany. […]

4 days, 23 hours назад @ smartdatacollective.com
Combat AI-Powered Threats with Cybersecurity Simulations & Other Practices
Combat AI-Powered Threats with Cybersecurity Simulations & Other Practices

AI has arrived in several business spheres. While the rest of the world is discussing its impact and dealing with changes in workflows, cybersecurity experts have long dealt with the use of AI in malicious attacks. Despite this experience, AI’s increasing sophistication has always resulted in security experts playing catch up. As attackers use more […]

2 weeks назад @ smartdatacollective.com
Utilizing Data to Discover Shortcomings Within Your Business Model
Utilizing Data to Discover Shortcomings Within Your Business Model

To some extent, business is a practice in trial and error. You start with a business plan and try to cover all your bases. Then, you make adjustments based on what’s working within your business model— and what isn’t. Sometimes, however, the factors that are slowing down your business’s growth aren’t obvious. It’s important to […]

2 weeks, 6 days назад @ smartdatacollective.com
Embedded BI Tools Bring Huge Benefits to Business Applications
Embedded BI Tools Bring Huge Benefits to Business Applications

Business intelligence has made a huge mark on the world of business. According to Fortune Business Insights, businesses spent around $24.05 billion BI solutions in 2021. However, many workplaces are still trying to figure out how to leverage business intelligence effectively. This technology offers many potential benefits, but many companies don’t fully take advantage of […]

2 weeks, 6 days назад @ smartdatacollective.com
The Importance of Data-Driven Approaches to Improving Healthcare in Rural Areas
The Importance of Data-Driven Approaches to Improving Healthcare in Rural Areas

While healthcare has evolved in many keyways over the last several decades, there are still several groups of individuals who find themselves without access to appropriate healthcare resources. One of these groups is rural residents, who face a number of challenges when it comes to having access to healthcare. Fortunately, data-driven approaches are emerging as […]

3 weeks, 2 days назад @ smartdatacollective.com
Analytics Changes the Calculus of Business Tax Compliance
Analytics Changes the Calculus of Business Tax Compliance

Data analytics technology has had a profound impact on the state of the financial industry. A growing number of financial institutions are using analytics tools to make better investing decisions and insurers are using analytics technology to improve their underwriting processes. However, there is an area that is being shaped by analytics technology that has […]

3 weeks, 2 days назад @ smartdatacollective.com
Updated Outlook of the AI Software Development Career Landscape
Updated Outlook of the AI Software Development Career Landscape

AI technology is one of the fastest-growing industries in the world. One poll found that 35% of companies currently use AI and another 42% intend to use it in the future. As professional and personal life becomes increasingly more digital, employers everywhere are looking for capable programmers to develop new AI algorithms that will help […]

3 weeks, 4 days назад @ smartdatacollective.com
The Role of Big Data Analytics in Gaming
The Role of Big Data Analytics in Gaming

We have discussed the compelling role that data analytics plays in various industries. In December, we shared five key ways that data analytics can help businesses grow. The gaming industry is among those most affected by breakthroughs in data analytics. A growing number of gaming developers are utilizing big data to make their content more […]

1 month, 1 week назад @ smartdatacollective.com
Promising Benefits of Predictive Analytics in Asset Management
Promising Benefits of Predictive Analytics in Asset Management

Artificial intelligence technology has massively disrupted the financial sector. Joe McKendrick posted an article in Forbes on the role that AI will play in the coming democratization of financial services. There are many other reasons AI and big data technology is changing finance. One of the biggest is that more financial institutions are using predictive […]

1 month, 1 week назад @ smartdatacollective.com
Knoldus
последний пост 10 часов назад
How to Implement Styling in Next.js
How to Implement Styling in Next.js

Reading Time: 5 minutes Styling is the most important aspect when you are developing any application. You might have the best functioning application but if your UI is not that great it is difficult to maintain active users. Styling is essential to build any web application. So, In this blog, we will be discussing how we can implement styling in Next.js and will see how we can implement global Continue Reading

The post How to Implement Styling in Next.js appeared first on Knoldus Blogs.

10 часов назад @ blog.knoldus.com
Reactive Programming in Java
Reactive Programming in Java

Reading Time: 4 minutes Reactive programming is a programming paradigm that focuses on asynchronous and event-driven programming. Reactive programming is designed to handle streams of data and events, and it has become popular in recent years due to the rise of modern web applications and the need for real-time data processing. Java, being a popular language for enterprise applications, has several libraries and frameworks that support reactive programming. In Continue Reading

The post Reactive Programming in Java appeared first on Knoldus Blogs.

2 days, 6 hours назад @ blog.knoldus.com
Peeling Back the Layers: Exploring Onion Architecture
Peeling Back the Layers: Exploring Onion Architecture

Reading Time: 4 minutes Introduction Software architecture is an essential aspect of any software development project. It defines the structure of the software system and helps in achieving the desired qualities of the system. There are several software architecture patterns, and one of them is the Onion Architecture. In this blog, we will discuss Onion Architecture in detail. What is Onion Architecture? Onion Architecture is a software architecture pattern Continue Reading

The post Peeling Back the Layers: Exploring Onion Architecture appeared first on Knoldus Blogs.

2 days, 6 hours назад @ blog.knoldus.com
Resilience4J: Introduction to Bulkhead
Resilience4J: Introduction to Bulkhead

Reading Time: 4 minutes Resilience4J is an open-source library that provides different resilience patterns for building resilient applications. Bulkhead is one of the patterns provided by Resilience4J to prevent the cascading failure of an application by limiting the resources used by a failed component. In this blog, we will discuss in detail what it is and how Resilience4J implements it. What is a Bulkhead? It is a physical barrier Continue Reading

The post Resilience4J: Introduction to Bulkhead appeared first on Knoldus Blogs.

2 days, 6 hours назад @ blog.knoldus.com
Mastering the Art of Writing Maintainable and Scalable Code: A Guide to Clean Code Principles
Mastering the Art of Writing Maintainable and Scalable Code: A Guide to Clean Code Principles

Reading Time: 4 minutes Introduction Clean code is a programming term that describes the practice of writing readable, understandable, and maintainable code. The goal of writing clean code is to make it easier for other developers to read and understand your code, as well as to make it easier to modify and maintain it. Clean code principles help developers produce high-quality code that is easy to read, maintain, and Continue Reading

The post Mastering the Art of Writing Maintainable and Scalable Code: A Guide to Clean Code Principles appeared first on Knoldus Blogs.

2 days, 8 hours назад @ blog.knoldus.com
Reactive Programming with Java
Reactive Programming with Java

Reading Time: 4 minutes Introduction Reactive programming is an emerging programming paradigm that has gained immense popularity in recent years. It is a programming model that focuses on building asynchronous, non-blocking, and event-driven applications. Reactive programming is all about building responsive, resilient, and scalable applications that can handle a large number of concurrent users. Java is a popular programming language that has been used to build various types of Continue Reading

The post Reactive Programming with Java appeared first on Knoldus Blogs.

2 days, 9 hours назад @ blog.knoldus.com
Flux and Mono in Reactive Programming
Flux and Mono in Reactive Programming

Reading Time: 3 minutes Reactive Programming Reactive programming is a popular paradigm for developing applications that handle asynchronous data streams. It offers a powerful and concise way to handle complex data flows with ease. Two important concepts in reactive programming are Flux and Mono, which are part of the Reactor library developed by Pivotal. Flux Flux is a type that represents a stream of data that emits zero or Continue Reading

The post Flux and Mono in Reactive Programming appeared first on Knoldus Blogs.

2 days, 9 hours назад @ blog.knoldus.com
Finagle – Load Balancing
Finagle – Load Balancing

Reading Time: 2 minutes Finagle is a powerful RPC (Remote Procedure Call) system developed by Twitter that provides a way to build scalable and resilient services. It is used by some of the largest internet companies in the world to build their backend infrastructure. One of the critical components of any distributed system is load balancing. Load balancing refers to the process of distributing incoming requests across a group Continue Reading

The post Finagle – Load Balancing appeared first on Knoldus Blogs.

2 days, 23 hours назад @ blog.knoldus.com
Finagle: Server and Client
Finagle: Server and Client

Reading Time: 2 minutes Finagle is a powerful network framework that provides developers with the tools they need to build highly scalable and fault-tolerant distributed systems. At the core of Finagle’s architecture are the server and client components, which work together to enable reliable communication between different services. Finagle Server The Finagle server component provides the infrastructure for building scalable, fault-tolerant network services. A Finagle server is built using Continue Reading

The post Finagle: Server and Client appeared first on Knoldus Blogs.

2 days, 23 hours назад @ blog.knoldus.com
Deep dive into Spring Reactive WebClient
Deep dive into Spring Reactive WebClient

Reading Time: 3 minutes Introduction Spring Reactive WebClient is a non-blocking, reactive HTTP client that can be used to consume RESTful web services. It provides an easy-to-use and efficient way to communicate with remote APIs, allowing you to perform asynchronous and reactive programming. In this blog, we will discuss how Spring Reactive WebClient works and how you can use it to consume RESTful web services. If we talk about Continue Reading

The post Deep dive into Spring Reactive WebClient appeared first on Knoldus Blogs.

2 days, 23 hours назад @ blog.knoldus.com
EIP Pattern in Apache Camel (Part – 2)
EIP Pattern in Apache Camel (Part – 2)

Reading Time: 3 minutes This is Part 2 of an ongoing series of blogs explaining the EIP patterns (Enterprise Integration Patterns) in Apache camel. This blog is going to take you a step ahead and help you know more about the various EIP patterns such as WireTape, Multicast, and RecipientList EIP pattern WireTap pattern A wireTap pattern is used to filter messages based on content and read data from Continue Reading

The post EIP Pattern in Apache Camel (Part – 2) appeared first on Knoldus Blogs.

5 days, 9 hours назад @ blog.knoldus.com
Introduction to Apache HttpClient
Introduction to Apache HttpClient

Reading Time: 5 minutes Introduction Apache HttpClient is a popular open-source library for sending HTTP requests and receiving HTTP responses in Java. It provides a rich set of features for building HTTP-based client applications, including support for authentication, connection pooling, request and response interception, and more. One of the key benefits of Apache HttpClient is its flexibility and configurability. You can customize almost every aspect of the HTTP request Continue Reading

The post Introduction to Apache HttpClient appeared first on Knoldus Blogs.

5 days, 9 hours назад @ blog.knoldus.com
How WebClient is different from RestTemplate?
How WebClient is different from RestTemplate?

Reading Time: 3 minutes Overview WebClient and RestTemplate are two popular ways to make HTTP requests in a Java application. While WebClient and RestTemplate both allow you to interact with RESTful web services, there are some key differences between the two. What is WebClient? WebClient is a newer HTTP client introduced in Spring 5. It’s a non-blocking, reactive HTTP client designed for use with Spring WebFlux. WebClient is built Continue Reading

The post How WebClient is different from RestTemplate? appeared first on Knoldus Blogs.

5 days, 9 hours назад @ blog.knoldus.com
How To Render Charts In React: using react-chartjs-2 and Chart.js
How To Render Charts In React: using react-chartjs-2 and Chart.js

Reading Time: 3 minutes React is a well-liked JavaScript package that gives programmers more effective and orderly ways to create user interfaces. There are many third-party libraries to pick from when it comes to data visualization in React. React-chartjs-2, which is based on Chart.js, is one of the most widely used libraries for rendering charts in React. In this blog post, we’ll look at how to render charts in Continue Reading

The post How To Render Charts In React: using react-chartjs-2 and Chart.js appeared first on Knoldus Blogs.

1 week, 1 day назад @ blog.knoldus.com
Best Practices and Tools For Testing React Applications
Best Practices and Tools For Testing React Applications

Reading Time: 3 minutes One of the most widely used front-end libraries today is react, and for a good reason. It has emerged as a top option for web developers worldwide thanks to its modular design, reusable components, and quick rendering capabilities. However, developers must ensure that their React applications are adequate. Tested to ward off any potential defects or problems because great power comes with great responsibility. We Continue Reading

The post Best Practices and Tools For Testing React Applications appeared first on Knoldus Blogs.

1 week, 1 day назад @ blog.knoldus.com
We Cloud Data We Cloud Data
последний пост None
Learn Data Engineering Learn Data Engineering
последний пост None
SCRIBD
последний пост 8 months назад
Data and AI Summit Wrap-up
Data and AI Summit Wrap-up Data and AI Summit Wrap-up

We brought a whole team to San Francisco to present and attend this year’s Data and

AI Summit, and it was a blast! I

would consider the event a success both in the attendance to the Scribd hosted

talks and the number of talks which discussed patterns we have adopted in our

own data and ML platform.

The three talks I wrote about

previously were well received and have

since been posted to YouTube along with hundreds of other talks. Christian Williams shared some of the

work he has done developing

kafka-delta-ingest in his talk: QP Hou, Scribd Emeritus, presented on

his foundational work to ensure correctness within delta-rs during his session: R Tyler Croy co-presented with Gavin

Edgley from …

8 months назад @ tech.scribd.com
Accelerating Looker with Databricks SQL Serverless
Accelerating Looker with Databricks SQL Serverless

We recently migrated Looker to a Databricks SQL Serverless, improving our

infrastructure cost and reducing the footprint of infrastructure we need to

worry about! “Databricks SQL” which provides a single load balanced Endpoint

for executing Spark SQL queries across multiple Spark clusters behind the

scenes. “Serverless” is an evolution of that concept, rather than running a SQL

Endpoint in our AWS infrastructure, the entirety of execution happens on the

Databricks side. With a much simpler and faster interface, queries executed in

Looker now return results much faster to our users than ever before!

When we originally provisioned our “Databricks SQL” endpoints, we worked

together with our co…

8 months, 4 weeks назад @ tech.scribd.com
Data Quest
последний пост 2 months, 2 weeks назад
Business Analyst Salaries in the US (January 2023)
Business Analyst Salaries in the US (January 2023)

The business analyst is an in-demand data science job with a highly competitive salary range. Here are the numbers for 2023. The job market is having a moment right now, and many people are considering a job switch. Enter the business analyst . . . Business analysts are trained data specialists with database and business […]

2 months, 2 weeks назад @ dataquest.io
Why Learn SQL in 2023 (Analyzing 72,000 Job Listings)
Why Learn SQL in 2023 (Analyzing 72,000 Job Listings)

Learning SQL might not be as "sexy" as learning Python or R, but it's a fundamental skill for almost every data scientist and data analyst job. Here's why.

2 months, 2 weeks назад @ dataquest.io
11 High-Paying Data Analytics Careers (January 2023)
11 High-Paying Data Analytics Careers (January 2023)

Thinking about kickstarting a career in data analytics? These 10 high-paying jobs may just be the motivation you need to learn more about the data science industry and gain the specific skills you need to succeed.

2 months, 2 weeks назад @ dataquest.io
How to Become a Data Scientist in 2023 (An Actionable Guide)
How to Become a Data Scientist in 2023 (An Actionable Guide)

If you want to know how to become a data scientist, then you’re in the right place. I’ve been where you are, and now I want to help. A decade ago, I was just a college graduate with a history degree. I then became a machine learning engineer, data science consultant, and now CEO of […]

2 months, 3 weeks назад @ dataquest.io
SQL Certifications in 2023? (We Asked 15 Hiring Managers)
SQL Certifications in 2023? (We Asked 15 Hiring Managers)

Will getting a SQL certification actually help you get a data job? The answer to this question can be confusing, since there’s a lot of conflicting information out there. But don’t worry, we’ve got you covered. In this article, we’ll dispel some of the myths regarding SQL certification, shed light on how hiring managers view […]

3 months назад @ dataquest.io
Data Science Certificates in 2023? (15 Recruiters Tell All)
Data Science Certificates in 2023? (15 Recruiters Tell All)

What certificate should I get for data science? We interviewed data science recruiters about job applications and none of them cared about certificates.

3 months назад @ dataquest.io
15 Hiring Managers Reveal If Python Certifications Are Worth It
15 Hiring Managers Reveal If Python Certifications Are Worth It

What’s the best Python certificate to get? Python certifications can cost up to thousands of dollars. Are they worth your time?

3 months назад @ dataquest.io
How to Become a Data Analyst (Step-By-Step) in 2023
How to Become a Data Analyst (Step-By-Step) in 2023

Since data is such an essential aspect of business intelligence, data analysts are very much in demand — and this trend is only increasing! The job is key for many types of projects, such as analyzing market trends or collecting data for political polls. If you want to learn to become a data analyst, you’re […]

4 months, 1 week назад @ dataquest.io
The Perfect Data Science Resume in 2023 (an 8-Step Guide)
The Perfect Data Science Resume in 2023 (an 8-Step Guide)

How can you get a data science job? It all starts with a great resume: one that frames your data analysis and data science projects in the right way.

5 months, 3 weeks назад @ dataquest.io
20 Interview Questions and Answers for Business Analysts (2023)
20 Interview Questions and Answers for Business Analysts (2023)

In this article, we’re sharing the 20 most common business analyst interview questions and answers that you could encounter during a job interview. Being ready for these questions can not only help you prepare for and feel more comfortable in an interview for a business analyst role, it can also identify the gaps you may […]

6 months назад @ dataquest.io
Data Analytics Certifications: Do You Really Need One in 2023?
Data Analytics Certifications: Do You Really Need One in 2023?

Do I need a data analytics certificate? If you’re set on becoming a data analyst, you’ve no doubt asked yourself this question more than once. And you’re not alone. Even so, getting a straight answer about required certifications for data analysts is tricky. Why? Because there are dozens of companies offering data analytics certificates online. […]

6 months, 2 weeks назад @ dataquest.io
Learn Data Journalism: Avoid My 3 Colossal Mistakes
Learn Data Journalism: Avoid My 3 Colossal Mistakes

Becoming a data journalist and learning to code isn't as difficult as you might think, but you have to approach it in the right way to avoid common mistakes.

6 months, 3 weeks назад @ dataquest.io
Infrastructure
AWS
последний пост 1 day назад
Interact with Apache Iceberg tables using Amazon Athena and cross account fine-grained permissions using AWS Lake Formation
Interact with Apache Iceberg tables using Amazon Athena and cross account fine-grained permissions using AWS Lake Formation

We recently announced support for AWS Lake Formation fine-grained access control policies in Amazon Athena queries for data stored in any supported file format using table formats such as Apache Iceberg, Apache Hudi and Apache Hive. AWS Lake Formation allows you to define and enforce database, table, and column-level access policies to query Iceberg tables […]

1 day назад @ aws.amazon.com
Enable fully homomorphic encryption with Amazon SageMaker endpoints for secure, real-time inferencing
Enable fully homomorphic encryption with Amazon SageMaker endpoints for secure, real-time inferencing

This is joint post co-written by Leidos and AWS. Leidos is a FORTUNE 500 science and technology solutions leader working to address some of the world’s toughest challenges in the defense, intelligence, homeland security, civil, and healthcare markets. Leidos has partnered with AWS to develop an approach to privacy-preserving, confidential machine learning (ML) modeling where […]

1 day назад @ aws.amazon.com
Implement vertical partitioning in Amazon DynamoDB using AWS Glue
Implement vertical partitioning in Amazon DynamoDB using AWS Glue

In this post, we show you how to use AWS Glue to perform vertical partitioning of JSON documents when migrating document data from Amazon Simple Storage Service (Amazon S3) to Amazon DynamoDB. You can use this technique for other data sources, including relational and NoSQL databases. DynamoDB can store and retrieve any amount of data, […]

1 day, 4 hours назад @ aws.amazon.com
Unit Testing AWS Lambda with Python and Mock AWS Services
Unit Testing AWS Lambda with Python and Mock AWS Services

When building serverless event-driven applications using AWS Lambda, it is best practice to validate individual components. Unit testing can quickly identify and isolate issues in AWS Lambda function code. The techniques outlined in this blog demonstrates unit test techniques for Python-based AWS Lambda functions and interactions with AWS Services. The full code for this blog […]

1 day, 22 hours назад @ aws.amazon.com
Automate Amazon Rekognition Custom Labels model training and deployment using AWS Step Functions
Automate Amazon Rekognition Custom Labels model training and deployment using AWS Step Functions

With Amazon Rekognition Custom Labels, you can have Amazon Rekognition train a custom model for object detection or image classification specific to your business needs. For example, Rekognition Custom Labels can find your logo in social media posts, identify your products on store shelves, classify machine parts in an assembly line, distinguish healthy and infected […]

2 days, 2 hours назад @ aws.amazon.com
Build a machine learning model to predict student performance using Amazon SageMaker Canvas
Build a machine learning model to predict student performance using Amazon SageMaker Canvas

There has been a paradigm change in the mindshare of education customers who are now willing to explore new technologies and analytics. Universities and other higher learning institutions have collected massive amounts of data over the years, and now they are exploring options to use that data for deeper insights and better educational outcomes. You […]

2 days, 2 hours назад @ aws.amazon.com
Manage users and group memberships on Amazon QuickSight using SCIM events generated in IAM Identity Center with Azure AD
Manage users and group memberships on Amazon QuickSight using SCIM events generated in IAM Identity Center with Azure AD

Amazon QuickSight is cloud-native, scalable business intelligence (BI) service that supports identity federation. AWS Identity and Access Management (IAM) allows organizations to use the identities managed in their enterprise identity provider (IdP) and federate single sign-on (SSO) to QuickSight. As more organizations are building centralized user identity stores with all their applications, including on-premises apps, […]

2 days, 2 hours назад @ aws.amazon.com
Access Snowflake data using OAuth-based authentication in Amazon SageMaker Data Wrangler
Access Snowflake data using OAuth-based authentication in Amazon SageMaker Data Wrangler

In this post, we show how to configure a new OAuth-based authentication feature for using Snowflake in Amazon SageMaker Data Wrangler. Snowflake is a cloud data platform that provides data solutions for data warehousing to data science. Snowflake is an AWS Partner with multiple AWS accreditations, including AWS competencies in machine learning (ML), retail, and […]

2 days, 2 hours назад @ aws.amazon.com
Integrating with GitHub Actions – Amazon CodeGuru in your DevSecOps Pipeline
Integrating with GitHub Actions – Amazon CodeGuru in your DevSecOps Pipeline

Many organizations have adopted DevOps practices to streamline and automate software delivery and IT operations. A DevOps model can be adopted without sacrificing security by using automated compliance policies, fine-grained controls, and configuration management techniques. However, one of the key challenges customers face is analyzing code and detecting any vulnerabilities in the code pipeline due […]

2 days, 2 hours назад @ aws.amazon.com
How to handle AWS DMS replication when used with Oracle database in fail-over scenarios
How to handle AWS DMS replication when used with Oracle database in fail-over scenarios

AWS Database Migration Service (AWS DMS) is used for migrating databases to AWS, but you can also use it for replicating data with low latency from any supported source to any supported target. When working with Oracle database, AWS DMS stops replicating data changes due to reset logs when the standby database is transitioned to […]

2 days, 4 hours назад @ aws.amazon.com
Automate IAM credential reports for large AWS Organizations
Automate IAM credential reports for large AWS Organizations

Learn how to manage credentials with many accounts, automate IAM credential reports, and consolidate the results.

2 days, 23 hours назад @ aws.amazon.com
Remote monitoring of raw material supply chains for sustainability with Amazon SageMaker geospatial capabilities
Remote monitoring of raw material supply chains for sustainability with Amazon SageMaker geospatial capabilities

Deforestation is a major concern in many tropical geographies where local rainforests are at severe risk of destruction. About 17% of the Amazon rainforest has been destroyed over the past 50 years, and some tropical ecosystems are approaching a tipping point beyond which recovery is unlikely. A key driver for deforestation is raw material extraction […]

3 days, 1 hour назад @ aws.amazon.com
Best practices for viewing and querying Amazon SageMaker service quota usage
Best practices for viewing and querying Amazon SageMaker service quota usage

Amazon SageMaker customers can view and manage their quota limits through Service Quotas. In addition, they can view near real-time utilization metrics and create Amazon CloudWatch metrics to view and programmatically query SageMaker quotas. SageMaker helps you build, train, and deploy machine learning (ML) models with ease. To learn more, refer to Getting started with […]

3 days, 2 hours назад @ aws.amazon.com
Build custom code libraries for your Amazon SageMaker Data Wrangler Flows using AWS Code Commit
Build custom code libraries for your Amazon SageMaker Data Wrangler Flows using AWS Code Commit

As organizations grow in size and scale, the complexities of running workloads increase, and the need to develop and operationalize processes and workflows becomes critical. Therefore, organizations have adopted technology best practices, including microservice architecture, MLOps, DevOps, and more, to improve delivery time, reduce defects, and increase employee productivity. This post introduces a best practice […]

3 days, 2 hours назад @ aws.amazon.com
How AWS Payments migrated from Redash to Amazon Redshift Query Editor v2
How AWS Payments migrated from Redash to Amazon Redshift Query Editor v2

AWS Payments is part of the AWS Commerce Platform (CP) organization that owns the customer experience of paying AWS invoices. It helps AWS customers manage their payment methods and payment preferences, and helps customers make self-service payments to AWS. The Machine Learning, Data and Analytics (MLDA) team at AWS Payments enables data-driven decision-making across payments […]

3 days, 2 hours назад @ aws.amazon.com
AWS
последний пост 1 day назад
How CSC Generation powers product discovery with knowledge graphs using Amazon Neptune
How CSC Generation powers product discovery with knowledge graphs using Amazon Neptune

This post is co-written with Bobber Cheng and Ronit Rudra from CSC Generation. CSC Generation is a company that focuses on acquiring overlooked stores and catalog-based retailers and transforming them into high-performance, digital-first brands. As we grew through multiple acquisitions, it became apparent that our legacy product information system (PIM), backed by relational databases, was […]

3 days, 4 hours назад @ aws.amazon.com
Improve query performance using Optimized Reads on Amazon RDS for MySQL and Amazon RDS for MariaDB
Improve query performance using Optimized Reads on Amazon RDS for MySQL and Amazon RDS for MariaDB

Amazon Relational Database Service (Amazon RDS) makes it easy to set up, operate, and scale MySQL and MariaDB deployments in the cloud. Developers are often required to run complex queries in MySQL and MariaDB environments to create a dashboard or run simple ad hoc reports. Furthermore, application developers use complex stored procedures with user-created temporary […]

3 days, 4 hours назад @ aws.amazon.com
Accelerating revenue growth with real-time analytics: Poshmark’s journey
Accelerating revenue growth with real-time analytics: Poshmark’s journey

This post was co-written by Mahesh Pasupuleti and Gaurav Shah from Poshmark. Poshmark is a leading social marketplace for new and secondhand styles for women, men, kids, pets, home, and more. By combining the human connection of physical shopping with the scale, ease, and selection benefits of Ecommerce, Poshmark makes buying and selling simple, social, […]

3 days, 21 hours назад @ aws.amazon.com
Accelerate Amazon SageMaker inference with C6i Intel-based Amazon EC2 instances
Accelerate Amazon SageMaker inference with C6i Intel-based Amazon EC2 instances

This is a guest post co-written with Antony Vance from Intel. Customers are always looking for ways to improve the performance and response times of their machine learning (ML) inference workloads without increasing the cost per transaction and without sacrificing the accuracy of the results. Running ML workloads on Amazon SageMaker running Amazon Elastic Compute […]

3 days, 22 hours назад @ aws.amazon.com
Introducing native support for Apache Hudi, Delta Lake, and Apache Iceberg on AWS Glue for Apache Spark, Part 2: AWS Glue Studio Visual Editor
Introducing native support for Apache Hudi, Delta Lake, and Apache Iceberg on AWS Glue for Apache Spark, Part 2: AWS Glue Studio Visual Editor

In the first post of this series, we described how AWS Glue for Apache Spark works with Apache Hudi, Linux Foundation Delta Lake, and Apache Iceberg datasets tables using the native support of those data lake formats. This native support simplifies reading and writing your data for these data lake frameworks so you can more […]

3 days, 23 hours назад @ aws.amazon.com
Use Region pinning to set a home Region for items in an Amazon DynamoDB global table
Use Region pinning to set a home Region for items in an Amazon DynamoDB global table

Amazon DynamoDB global tables provide a fully managed, scalable solution for deploying a multi-Region, multi-active database that’s replicated across multiple AWS Regions. Global tables allow applications to read and write data to a table, with the data automatically replicated across all Regions that are associated with that table. Global tables are ideal for applications that […]

4 days, 2 hours назад @ aws.amazon.com
Optimize costs by moving your self-managed open source software (OSS) Redis workloads to Amazon ElastiCache
Optimize costs by moving your self-managed open source software (OSS) Redis workloads to Amazon ElastiCache

In this blog post, we explain why you should consider moving your self-managed open source software (OSS) Redis workloads to managed Amazon ElastiCache for Redis. OSS Redis is a powerful, in-memory data store designed to meet the demands of modern high-performance applications. With OSS Redis, you can tackle a wide range of use-cases, including caching, […]

4 days, 2 hours назад @ aws.amazon.com
Extend geospatial queries in Amazon Athena with UDFs and AWS Lambda
Extend geospatial queries in Amazon Athena with UDFs and AWS Lambda

Amazon Athena is a serverless and interactive query service that allows you to easily analyze data in Amazon Simple Storage Service (Amazon S3) and 25-plus data sources, including on-premises data sources or other cloud systems using SQL or Python. Athena built-in capabilities include querying for geospatial data; for example, you can count the number of […]

6 days, 23 hours назад @ aws.amazon.com
Amazon QuickSight helps TalentReef empower its customers to make more informed hiring decisions
Amazon QuickSight helps TalentReef empower its customers to make more informed hiring decisions

This post is co-written with Alexander Plumb, Product Manager at Mitratech. TalentReef, now part of Mitratech, is a talent management platform purpose-built for location-based, high-volume hiring. TalentReef was acquired by Mitratech in August 2022 with the goal to combine TalentReef’s best-in-class systems with Mitratech’s expertise, technology, and global platform to ensure their customers’ hiring needs […]

6 days, 23 hours назад @ aws.amazon.com
Intelligently search your organization’s Microsoft Teams data source with the Amazon Kendra connector for Microsoft Teams
Intelligently search your organization’s Microsoft Teams data source with the Amazon Kendra connector for Microsoft Teams

Organizations use messaging platforms like Microsoft Teams to bring the right people together to securely communicate with each other and collaborate to get work done. Microsoft Teams captures invaluable organizational knowledge in the form of the information that flows through it as users collaborate. However, making this knowledge easily and securely available to users can […]

6 days, 23 hours назад @ aws.amazon.com
How SafetyCulture scales unpredictable dbt Cloud workloads in a cost-effective manner with Amazon Redshift
How SafetyCulture scales unpredictable dbt Cloud workloads in a cost-effective manner with Amazon Redshift

This post is co-written by Anish Moorjani, Data Engineer at SafetyCulture. SafetyCulture is a global technology company that puts the power of continuous improvement into everyone’s hands. Its operations platform unlocks the power of observation at scale, giving leaders visibility and workers a voice in driving quality, efficiency, and safety improvements. Amazon Redshift is a […]

1 week назад @ aws.amazon.com
Migrate an internet-scale online transactional system to Amazon DynamoDB using AWS DMS
Migrate an internet-scale online transactional system to Amazon DynamoDB using AWS DMS

Database migration is a complex process that usually involves capacity planning, data migration and cutover strategies, hardware and software procurement, and a lengthy debugging and testing schedule. The common challenge in migrating from a relational database to a non-relational database is selecting the appropriate modeling technique and migration technologies. This is the second part of […]

1 week назад @ aws.amazon.com
RWE Supply & Trading modernizes their IT landscape on AWS using Amazon Database Migration Accelerator
RWE Supply & Trading modernizes their IT landscape on AWS using Amazon Database Migration Accelerator

RWE, a leading European energy utility, embarked on the mission “Go Green” in 2021, and aims to be carbon neutral by 2040. RWE is planning to shift their portfolio from conventionally generated energy to renewables like wind, solar energy, and hydrogen. As part of this initiative, RWE Supply & Trading (RWEST), the energy trading company […]

1 week, 1 day назад @ aws.amazon.com
Bring legacy machine learning code into Amazon SageMaker using AWS Step Functions
Bring legacy machine learning code into Amazon SageMaker using AWS Step Functions

Tens of thousands of AWS customers use AWS machine learning (ML) services to accelerate their ML development with fully managed infrastructure and tools. For customers who have been developing ML models on premises, such as their local desktop, they want to migrate their legacy ML models to the AWS Cloud to fully take advantage of […]

1 week, 2 days назад @ aws.amazon.com
How Infomedia built a serverless data pipeline with change data capture using AWS Glue and Apache Hudi
How Infomedia built a serverless data pipeline with change data capture using AWS Glue and Apache Hudi

This is a guest post co-written with Gowtham Dandu from Infomedia. Infomedia Ltd (ASX:IFM) is a leading global provider of DaaS and SaaS solutions that empowers the data-driven automotive ecosystem. Infomedia’s solutions help OEMs, NSCs, dealerships and 3rd party partners manage the vehicle and customer lifecycle. They are used by over 250,000 industry professionals, across […]

1 week, 2 days назад @ aws.amazon.com
Astronomer Astronomer
последний пост None
DBT — Data Build Tool DBT — Data Build Tool
последний пост None
FiveTran FiveTran
последний пост None
DataBricks
последний пост None
Mix
/r/DataEngineering
последний пост 48 минут назад
Is it a good idea to take up a Data Engineering internship if I’m not sure what I’m interested in yet.
Is it a good idea to take up a Data Engineering internship if I’m not sure what I’m interested in yet.

Hi! I’m a sophomore (so keep in mind that I’m saying this in context to junior year recruiting) and recently received an offer from AMD for a data engineering Co-Op. I received a couple of offers from other companies (namely workday and ibm) for swe, but I’m interested in taking AMD as I enjoyed working with data pipelines in my classes and because AMD is a strong brand. However, my main concern is that once I step into DE, I won’t be able to leave. This is my first real industry internship, so I honestly have no idea what swe, DE, or DS work is like. Do you think having a data engineering job on my resume would limit my potential to get swe jobs in the future? submitted by /u/Mr_Cuddlesz […

48 минут назад @ reddit.com
How Kaufland E-Commerce automates data governance across over 15K tables
How Kaufland E-Commerce automates data governance across over 15K tables

Kaufland e-commerce, one of the fastest-growing online marketplaces in Germany, has implemented Secoda to streamline its data ecosystem. With over 15,000 tables and triple digit growth in active data users, Kaufland E-Commerce needed a system to make data discoverable and efficiently used. Richard Hondrich, Head of Data and Analytics at Kaufland E-Commerce, created and maintained a consolidated view of all data assets with Secoda. The Secoda workspace is organized so each functional area and team is represented by a Collection, allowing for a single data repository for documents, questions, and knowledge. Every table across Kaufland E-Commerce's entire data stack maps to a specific Collecti…

52 минуты назад @ reddit.com
Creating Relational Data in Data Bricks?
Creating Relational Data in Data Bricks?

Mods remove if not allowed, I come in peace. I have been tasked with curating SQL training for new learners. Sounds easy enough, problem is bossman wont give me a DB to work with, but he will give me a data bricks cluster. So essentially, I need to figure out how to create a fictitious database that can later be queried for students in the data bricks IDE. While I am a Jr. DE, this surely does not sound like the best (or certainly most cost effective) mode to deliver content. However, it is what I am expected to do. Could anyone provide me with some insight (or point me to some reading material) that would help me accomplish this? My google searches aren't cutting it. Also, if this question…

1 час назад @ reddit.com
Does your team adhere to software engineering best practices?
Does your team adhere to software engineering best practices?

My boss has a DBA background and we don't have a single unit test or integration test, pipelines are slow because the code isn't optimised, no sprint planning sessions, no formal code review process, no runbooks and yet he pushes back every time I try to work on tickets that would fix these issues. Instead he wants to add features, features, features and write SQL, SQL, SQL. I understand that data engineering is somewhat different from traditional software engineering and a lot of people are self-taught or have a SQL-heavy background, but is this common? submitted by /u/Agitated_Ad_1108 [link] [comments]

1 час назад @ reddit.com
As a computer engineering student, I want to switch to DE.
As a computer engineering student, I want to switch to DE.

Hello ! I'm a 4th year computer engineering student, and I have some courses about data structures and data science. I want to start a career next year in data engineering. I have the basics of SQL, a good practice of Python, but I don't know exactly what to learn to have a general knowledge of DE. I got overwhelmed by all the technologies that we can find in those roadmaps. Any tips and advice that I could follow? And your experience as well? I really want to get a good grasp of this during this summer. Thank you! submitted by /u/Effective-Gap-5674 [link] [comments]

2 часа назад @ reddit.com
drag and drop sql
drag and drop sql

hey i'm looking for an alternative to access...where i can share a sqlite, duckdb, parquet file and have it be opened up for manipulation without code. there are people in my org who do not know sql - so i want to make it easier on them. any recommendations? submitted by /u/iseestupid [link] [comments]

2 часа назад @ reddit.com
Question about using Databricks/Spark/Snowflake/S3
Question about using Databricks/Spark/Snowflake/S3

Hi. I have to process data in Databricks + PySpark, joining tables from Snowflake and also CSVs that are in S3. I'm newish to Databricks and Spark (but not new to Python/SQL/AWS). I'm migrating SQL code from somewhere else so my initial idea was to retain the query structure, but should I process these as dataframes? Does it matter? I read in a Snowflake table like this: q = 'select * from ' + snowflake_table snow_df = spark.read.format("snowflake").options(**sfOptions).option("query", q).load() And then got the CSV: s3_df = (spark.read .format("csv") .option("mode", "PERMISSIVE") .option("header", "true") .load(s3_path)) I assume I could "merge" since they are dataframes but wondering if I…

3 часа назад @ reddit.com
Help with synchronizing Airflow DAGs via git
Help with synchronizing Airflow DAGs via git

Hi all, I am starting my data engineer career on a small company. We run our DAGs on Airflow, and we have it run on Google Composer (we use gcp). Our workflow usually involves running new DAGs, then uploading it manually to the Google Storage bucket were the dags folder is. We have a bitbucket repo where we keep locally the DAG files updated. I was wondering if it is possible to automatically sync the dags folder with the master branch on our repo so that our workflow is facilitated and we don't have to manually upload the new files everytime a thing is changed. I assume this is a trivial question, but I wasn't able to find this issue online and I have almost no experience. Sorry if this is…

3 часа назад @ reddit.com
Deploying Airbyte on Kubernetes Using Plural
Deploying Airbyte on Kubernetes Using Plural Deploying Airbyte on Kubernetes Using Plural

submitted by /u/techdatanerd [link] [comments]

4 часа назад @ reddit.com
Networking tips and resources?
Networking tips and resources?

Been a data engineer for over a year now and came from a data analyst -> BI Developer -> Data engineering path. The weakest part of knowledge in this job is the networking aspect. I don't mean connecting to snowflake via python connector, more like setting up a VPN tunnel between our virtual network and an external oracle server...or if I deploy an application via Azure web apps, how do I control who can access? I see all these options like private endpoints, hybrid connections, gateways, network interfaces, virtual networks etc... In your opinion, how much should a DE know about networking? Super important or passing knowledge sufficient? Secondly, any suggestions to brush up on this subje…

5 часов назад @ reddit.com
Memgraph Lab 2.5 has just been released
Memgraph Lab 2.5 has just been released

I started using Memgraph Lab more that year ago and since then I'm following their progress. Few days ago I installed Docker image that has new version of Lab. With a bunch of custom queries that I have a new filter option will be a life saver. Are there any other Memgraph Lab users here? DISCALIMER: I'm an open source contributor to many projects, Memgraph projects are one of them. submitted by /u/Zealousideal_Plan591 [link] [comments]

5 часов назад @ reddit.com
Five Lines of Code
Five Lines of Code Five Lines of Code

submitted by /u/Juggernaut20023 [link] [comments]

5 часов назад @ reddit.com
Help me find the right data ingestion tool
Help me find the right data ingestion tool

I need to get the correct Modern Data Stack being: Data ingestion (EL) tool --> Snowflake (maybe GBQ) --> dbt Cloud --> Hex Data ingestion is the stumbling block at the moment. I need to ingest ActiveCampaign and a handful of other bespoke APIs. Tool must also be HIPAA compliant. My thoughts were: FiveTran - but it doesn't do bespoke APIs and not HIPAA compliant really (https://fivetran.com/docs/security#hipaa) Stitch - feels a bit restrictive, but definitely not HIPAA compliant Hevo - does ActiveCampaign, bespoke APIs and is HIPAA compliant ​ But is there anything else there that's more cost-effective per month/year? submitted by /u/cmcau [link] [comments]

5 часов назад @ reddit.com
Can someone please guide me to best Pyspark resources I should start with?
Can someone please guide me to best Pyspark resources I should start with?

Hello Everyone, I am working as Analyst in a organization but most of time I am developing ETL or data quality monitoring framework for clients. I have also done few POC for clients to process data in real time using Kafka. The funny part is I don't know spark I want to learn pyspark as I am planning to switch to a data engineering Job role please guide me with some best resources. ​ Thanks in Advance. submitted by /u/afterlife_soul [link] [comments]

6 часов назад @ reddit.com
How will Data Engineering look like in 2 years?
How will Data Engineering look like in 2 years?

Right now Data Engineering as a field is "fertile ground". There's huge demand for data engineers and it seems to be going up. How do you think the field will evolve in the upcoming years? How will it be affected by AI? submitted by /u/j03ch1p [link] [comments]

7 часов назад @ reddit.com
Towards Data Science
последний пост 1 час назад
10 Most Common Yet Confusing Machine Learning Model Names
10 Most Common Yet Confusing Machine Learning Model Names 10 Most Common Yet Confusing Machine Learning Model Names

Clarifying the Confusion for a Deeper UnderstandingContinue reading on Towards Data Science »

1 час назад @ towardsdatascience.com
The portfolio that got me a Data Scientist job
The portfolio that got me a Data Scientist job The portfolio that got me a Data Scientist job

Spoiler alert: It was surprisingly easy (and free) to makePhoto by John Schnobrich on UnsplashGetting a Data Scientist job is hard.This isn’t 2015 anymore: it’s not enough to know a few pandas functions and put the words “Big Data” on your résumé. Competition for the top jobs is fierce. On a recent trawl through the LinkedIn jobs board, I struggled to find a London-based Data Scientist role with less than 100 applicants.The good news is that this competition is not due to a lack of jobs. Even in 2023, Data Science remains a fast-growing field, and the U.S. Bureau of Labour Statistics has estimated that the number of Data Scientist jobs will grow by 36% between 2021 and 2031 [1].The challeng…

2 часа назад @ towardsdatascience.com
POCS-based Clustering Algorithm Explained
POCS-based Clustering Algorithm Explained POCS-based Clustering Algorithm Explained

Each data has different importancePhoto by Kier in Sight on UnsplashCluster analysis (or clustering) is a data analysis technique that explores and groups a set of vectors (or data points) in such a way that vectors in the same cluster are more similar to one another than to those in other clusters. Clustering algorithms are widely used in numerous applications, e.g., data analysis, pattern recognition, and image processing.This article reviews a new clustering algorithm based on the method of Projection onto Convex Sets (POCS), called POCS-based clustering algorithm. The original paper was introduced in IWIS2022 and the source code has also been released on Github.Convex SetsA convex set i…

3 часа назад @ towardsdatascience.com
8 Best Data Version Control Tools in 2023
8 Best Data Version Control Tools in 2023 8 Best Data Version Control Tools in 2023

A complete overview revealing a diverse range of strengths and weaknesses for each data versioning toolContinue reading on Towards Data Science »

3 часа назад @ towardsdatascience.com
6 Types of Clustering Methods — An Overview
6 Types of Clustering Methods — An Overview 6 Types of Clustering Methods — An Overview

Types of clustering methods and algorithms and when to use themContinue reading on Towards Data Science »

3 часа назад @ towardsdatascience.com
Reduce your Cloud Composer bills
Reduce your Cloud Composer bills Reduce your Cloud Composer bills

Continue reading on Towards Data Science »

3 часа назад @ towardsdatascience.com
4 All Time Useful Use-cases Of Pandas Group By
4 All Time Useful Use-cases Of Pandas Group By 4 All Time Useful Use-cases Of Pandas Group By

A One-stop-solution For All Your Questions About Data Aggregation Using Pandas GroupbyContinue reading on Towards Data Science »

4 часа назад @ towardsdatascience.com
Lesk’s Algorithm: A Method for Word Sense Disambiguation in Text Analytics
Lesk’s Algorithm: A Method for Word Sense Disambiguation in Text Analytics Lesk’s Algorithm: A Method for Word Sense Disambiguation in Text Analytics

Photo by Amador Loureiro on UnsplashIn the English language, more than 38% of words are polysemous, a term referring to a single word which may have multiple definitions, or “senses” (Edmonds, 2006). The word “set” for instance — which can be used as a noun, verb, and adjective — has dozens of unique definitions, making it one of the most polysemous words recorded in the English dictionary. Thus, if we were to ask someone to “please set the set of cutlery on the table”, how would we instinctively know the difference between the two uses of “set”? The answer is all in the context. The human brain’s neural networks perform semantic processing, storage, and retrieval in a way which makes us na…

4 часа назад @ towardsdatascience.com
Introduction to asyncio
Introduction to asyncio Introduction to asyncio

Managing I/O bound concurrency with PythonContinue reading on Towards Data Science »

4 часа назад @ towardsdatascience.com
XAI for Forecasting: Basis Expansion
XAI for Forecasting: Basis Expansion XAI for Forecasting: Basis Expansion

Photo by Richard Horvath on UnsplashNBEATS and other Interpretable Deep Forecasting ModelsForecasting is a critical aspect of many industries, from finance to supply chain management. Over the years, researchers have explored various techniques for forecasting, ranging from traditional time-series methods to machine learning-based models.In recent years, forecasters have turned to deep learning and have gotten promising results with models such as Long Short-Term Memory (LSTM) networks and Temporal Convolution Networks (CNNs) showing great potential. Before 2019, the primary approach to the forecasting problem was combining traditional statistical methods (like ARIMA) with deep learning [1]…

4 часа назад @ towardsdatascience.com
Deep GPVAR: Upgrading DeepAR For Multi-Dimensional Forecasting
Deep GPVAR: Upgrading DeepAR For Multi-Dimensional Forecasting Deep GPVAR: Upgrading DeepAR For Multi-Dimensional Forecasting

Amazon’s new Time-Series Forecasting modelContinue reading on Towards Data Science »

4 часа назад @ towardsdatascience.com
Optimize Data Warehouse Storage with Views and Tables
Optimize Data Warehouse Storage with Views and Tables Optimize Data Warehouse Storage with Views and Tables

The difference between tables and views and how to use themContinue reading on Towards Data Science »

14 часов назад @ towardsdatascience.com
Deploying Multiple Models with SageMaker Pipelines
Deploying Multiple Models with SageMaker Pipelines Deploying Multiple Models with SageMaker Pipelines

Applying MLOps best practices to advanced serving OptionsContinue reading on Towards Data Science »

22 часа назад @ towardsdatascience.com
How To Parse HTML With Regex
How To Parse HTML With Regex How To Parse HTML With Regex

Using the re module in Python to parse HTMLContinue reading on Towards Data Science »

1 day назад @ towardsdatascience.com
Enhanced Object Detection: How To Effectively Implement YOLOv8
Enhanced Object Detection: How To Effectively Implement YOLOv8 Enhanced Object Detection: How To Effectively Implement YOLOv8

A practical guide to object detection in images, videos, and real-time webcam feed using both CLI and PythonContinue reading on Towards Data Science »

1 day назад @ towardsdatascience.com
Monte Carlo Data Monte Carlo Data
последний пост 1 week, 1 day назад
How Best Egg Implemented a Reliable Data Mesh with Data Observability
How Best Egg Implemented a Reliable Data Mesh with Data Observability How Best Egg Implemented a Reliable Data Mesh with Data Observability

See how the fast growing fintech marketplace has matured their data stack and driven increased levels of data quality, trust, and governance.

1 week, 1 day назад @ montecarlodata.com
How BlaBlaCar Built a Practical Data Mesh to Support Self Service Analytics at Scale
How BlaBlaCar Built a Practical Data Mesh to Support Self Service Analytics at Scale How BlaBlaCar Built a Practical Data Mesh to Support Self Service Analytics at Scale

See how BlaBlaCar reduced incidents and time to insights by enabling self service analytics and implementing data mesh.

1 week, 3 days назад @ montecarlodata.com
Data Ingestion: 7 Challenges and 4 Best Practices
Data Ingestion: 7 Challenges and 4 Best Practices Data Ingestion: 7 Challenges and 4 Best Practices

Data ingestion involves collecting data from source systems and moving it to a data warehouse or lake. Read on for the top challenges and best practices.

1 week, 3 days назад @ montecarlodata.com
Rise of the MLOps Engineer And 4 Critical ML Model Monitoring Techniques
Rise of the MLOps Engineer And 4 Critical ML Model Monitoring Techniques Rise of the MLOps Engineer And 4 Critical ML Model Monitoring Techniques

MLOps engineers are automating ML model monitoring to quickly detect problems like pipeline issues, model drift, feature drift and more. Here’s how.

2 weeks, 1 day назад @ montecarlodata.com
How Data Enablement Drives Sustainable Value at Upside
How Data Enablement Drives Sustainable Value at Upside How Data Enablement Drives Sustainable Value at Upside

Upside leverages a model that emphasizes upfront investments in data enablement to create self-sustaining “data gardens.” Here’s how.

2 weeks, 2 days назад @ montecarlodata.com
11 Ways To Stop Data Anomalies Dead In Their Tracks
11 Ways To Stop Data Anomalies Dead In Their Tracks 11 Ways To Stop Data Anomalies Dead In Their Tracks

11 proactive data quality practices for preventing data anomalies and stopping them before they occur.

3 weeks, 1 day назад @ montecarlodata.com
The Chaos Data Engineering Manifesto: Spare The Rod, Spoil Prod
The Chaos Data Engineering Manifesto: Spare The Rod, Spoil Prod The Chaos Data Engineering Manifesto: Spare The Rod, Spoil Prod

Chaos data engineering is another lesson we can learn from software engineers: break stuff to make it more reliable.

4 weeks, 1 day назад @ montecarlodata.com
Data Fabric: The Future of Data Architecture
Data Fabric: The Future of Data Architecture Data Fabric: The Future of Data Architecture

Is a data fabric architecture right for you? Learn why some of today's best teams are leveraging this approach.

1 month назад @ montecarlodata.com
How Mercari Operationalizes Data Reliability Engineering at Scale
How Mercari Operationalizes Data Reliability Engineering at Scale How Mercari Operationalizes Data Reliability Engineering at Scale

6 best practices from Mercari’s data reliability engineering team for ensuring high quality data..

1 month назад @ montecarlodata.com
Introducing Table Health Dashboard, a Better Way to Track Data Quality Coverage at Scale
Introducing Table Health Dashboard, a Better Way to Track Data Quality Coverage at Scale Introducing Table Health Dashboard, a Better Way to Track Data Quality Coverage at Scale

Monte Carlo’s Table Health Dashboard gives data teams visibility into the reliability and monitoring coverage of their most critical data sets.

1 month, 1 week назад @ montecarlodata.com
How Vox Media Built a Post-Merger Data Stack with BigQuery, dbt, and Monte Carlo
How Vox Media Built a Post-Merger Data Stack with BigQuery, dbt, and Monte Carlo How Vox Media Built a Post-Merger Data Stack with BigQuery, dbt, and Monte Carlo

Learn how the data engineering team at Vox Media built a reliable, scalable data platform with BigQuery, dbt, and Monte Carlo.

1 month, 1 week назад @ montecarlodata.com
Data Vault Architecture, Data Quality Challenges, And How To Solve Them
Data Vault Architecture,  Data Quality Challenges, And How To Solve Them Data Vault Architecture, Data Quality Challenges, And How To Solve Them

How Pie Insurance improves data quality across their data vault architecture.

1 month, 1 week назад @ montecarlodata.com
How Contentsquare Reduced Time to Data Incident Detection by 17 Percent with Monte Carlo
How Contentsquare Reduced Time to Data Incident Detection by 17 Percent with Monte Carlo How Contentsquare Reduced Time to Data Incident Detection by 17 Percent with Monte Carlo

Like many hyper growth startups, Contentsquare is all about data. The company leverages AI to provide its users with actionable, data-driven insights about their customers, which empowers teams to improve the experience for users of their websites and digital apps. Founded in Paris a decade ago, Contentsquare today is a fast-growing global company that just […]

1 month, 2 weeks назад @ montecarlodata.com
Data Quality Management: 6 Stages For Scaling Data Reliability
Data Quality Management: 6 Stages For Scaling Data Reliability Data Quality Management: 6 Stages For Scaling Data Reliability

Check out these proven data quality management strategies used by today’s leading data teams to build highly reliable and scalable systems.

1 month, 2 weeks назад @ montecarlodata.com
How Checkout.com Achieves Data Reliability at Scale with Monte Carlo
How Checkout.com Achieves Data Reliability at Scale with Monte Carlo How Checkout.com Achieves Data Reliability at Scale with Monte Carlo

Learn how Checkout.com gained visibility into data across domains, scaled data quality checks, and achieve reliability at scale.

1 month, 3 weeks назад @ montecarlodata.com
DE Telegram
DataEng DataEng
последний пост 2 weeks, 3 days назад
📊 Как построить и прокачать систему аналитики интернет-магазина от базового уровня до Enterprise? Расскажем на вебинаре ⏰ Когда: 16 марта, 17:00 по Москве📍 РегистрацияНа каждом из этапов развития бизнеса компании требуется определенный технологический стек
📊 Как построить и прокачать систему аналитики интернет-магазина от базового уровня до Enterprise? Расскажем на вебинаре ⏰ Когда: 16 марта, 17:00 по Москве📍 РегистрацияНа каждом из этапов развития бизнеса компании требуется определенный технологический стек 📊 Как построить и прокачать систему аналитики интернет-магазина от базового уровня до Enterprise? Расскажем на вебинаре ⏰ Когда: 16 марта, 17:00 по Москве📍 РегистрацияНа каждом из этапов развития бизнеса компании требуется определенный технологический стек

📊 Как построить и прокачать систему аналитики интернет-магазина от базового уровня до Enterprise? Расскажем на вебинаре ⏰ Когда: 16 марта, 17:00 по Москве📍 РегистрацияНа каждом из этапов развития бизнеса компании требуется определенный технологический стек для работы с данными. На вебинаре рассмотрим построение систем аналитики разных уровней сложности для интернет-магазинов в облаке. Вы узнаете, как собрать решение с базовым набором инструментов, развить его до продвинутого уровня и затем построить решение «промышленного класса». Подробно разберем стек технологий и обсудим архитектурные схемы решений для анализа продаж, маркетинговой аналитики, управления ассортиментом, ценообразованием, а…

2 weeks, 3 days назад @ t.me
Тимлид в команду продуктовой аналитики Yandex CloudYandex Cloud — это облачная платформа, которую используют тысячи компаний и предпринимателей: от технических специалистов до международных корпораций. Мы ищем тимлида.Что нужно делать:- руководить командой
Тимлид в команду продуктовой аналитики Yandex CloudYandex Cloud — это облачная платформа, которую используют тысячи компаний и предпринимателей: от технических специалистов до международных корпораций. Мы ищем тимлида.Что нужно делать:- руководить командой

Тимлид в команду продуктовой аналитики Yandex CloudYandex Cloud — это облачная платформа, которую используют тысячи компаний и предпринимателей: от технических специалистов до международных корпораций. Мы ищем тимлида.Что нужно делать:- руководить командой продуктовых аналитиков;- анализировать поведение клиентов: как оно меняется в разных каналах коммуникации;- исследовать тренды потребления продуктов, применения возможностей и операционных метрик;- создавать управленческие отчёты и дашборды с данными о клиентах и продуктах;- находить точки роста и улучшать бизнес-показатели, выдвигать гипотезы и проверять их, участвовать в развитии сервисов;- взаимодействовать со смежными командами аналит…

3 weeks назад @ t.me
Стать сотрудником Яндекса быстрее и проще, чем кажется. Участвуйте в днях быстрого найма: решите тестовое, пройдите несколько секций собеседования и получите офер за несколько дней.Теперь дни быстрого найма будут проходить регулярно. Чтобы вам было удобно
Стать сотрудником Яндекса быстрее и проще, чем кажется. Участвуйте в днях быстрого найма: решите тестовое, пройдите несколько секций собеседования и получите офер за несколько дней.Теперь дни быстрого найма будут проходить регулярно. Чтобы вам было удобно Стать сотрудником Яндекса быстрее и проще, чем кажется. Участвуйте в днях быстрого найма: решите тестовое, пройдите несколько секций собеседования и получите офер за несколько дней.Теперь дни быстрого найма будут проходить регулярно. Чтобы вам было удобно

Стать сотрудником Яндекса быстрее и проще, чем кажется. Участвуйте в днях быстрого найма: решите тестовое, пройдите несколько секций собеседования и получите офер за несколько дней.Теперь дни быстрого найма будут проходить регулярно. Чтобы вам было удобно следить за расписанием, собрали его на отдельной странице.Ближайшие мероприятия:• 4-5 марта — Fast Track для разработчиков пишущих на Python и Java, офер за 2 дня в команду HR Tech Яндекса.• 4-5 марта — Fast Track для разработчиков пишущих на С++ и Python, офер за 2 дня в команду робототехники Яндекс Маркета.• 4-5 марта — Fast Track для дата инженеров и разработчиков платформы, аналитиков со знанием Python и SQL, офер за 2 дня в команду DW…

3 weeks, 4 days назад @ t.me
Видео про архитектуру PostgreSQL: https://www.youtube.com/watch?v=Q56kljmIN14
Видео про архитектуру PostgreSQL: https://www.youtube.com/watch?v=Q56kljmIN14

Видео про архитектуру PostgreSQL: https://www.youtube.com/watch?v=Q56kljmIN14

1 month назад @ t.me
Знакомы слова SQL, ETL, DWH?Тогда у вас есть возможность получить оффер за выходные в команду Тинькофф!За прошлый год экосистема Тинькофф выросла в два раза — продуктами компании пользуются уже 28 млн клиентов. В связи с этим расширяется дата-команда: нужн
Знакомы слова SQL, ETL, DWH?Тогда у вас есть возможность получить оффер за выходные в команду Тинькофф!За прошлый год экосистема Тинькофф выросла в два раза — продуктами компании пользуются уже 28 млн клиентов. В связи с этим расширяется дата-команда: нужн Знакомы слова SQL, ETL, DWH?Тогда у вас есть возможность получить оффер за выходные в команду Тинькофф!За прошлый год экосистема Тинькофф выросла в два раза — продуктами компании пользуются уже 28 млн клиентов. В связи с этим расширяется дата-команда: нужн

Знакомы слова SQL, ETL, DWH?Тогда у вас есть возможность получить оффер за выходные в команду Тинькофф!За прошлый год экосистема Тинькофф выросла в два раза — продуктами компании пользуются уже 28 млн клиентов. В связи с этим расширяется дата-команда: нужны дата-инженеры, системные аналитики DWH и разработчики ETL с опытом работы больше двух лет.Пройти собеседование можно онлайн за выходные — на Data Weekend Offer. Если все хорошо, вы получите оффер уже в понедельник.Ближайшее мероприятие 11-12 марта. Успейте подать заявку до 7 марта.

1 month, 1 week назад @ t.me
💣 Собираетесь переходить в дата-инжиниринг? 🚀 Присоединяйтесь 7 февраля в 20:00 мск на открытый урок онлайн-курса «Data Engineer» в OTUS. 🟠 Тема вебинара — Clickhouse vs. Greenplum. Какую MPP базу данных выбрать?❇️ Вы узнаете:🔸 Что такое MPP-БД на самом де
💣 Собираетесь переходить в дата-инжиниринг? 🚀 Присоединяйтесь 7 февраля в 20:00 мск на открытый урок онлайн-курса «Data Engineer» в OTUS. 🟠 Тема вебинара — Clickhouse vs. Greenplum. Какую MPP базу данных выбрать?❇️ Вы узнаете:🔸 Что такое MPP-БД на самом де 💣 Собираетесь переходить в дата-инжиниринг? 🚀 Присоединяйтесь 7 февраля в 20:00 мск на открытый урок онлайн-курса «Data Engineer» в OTUS. 🟠 Тема вебинара — Clickhouse vs. Greenplum. Какую MPP базу данных выбрать?❇️ Вы узнаете:🔸 Что такое MPP-БД на самом де

💣 Собираетесь переходить в дата-инжиниринг? 🚀 Присоединяйтесь 7 февраля в 20:00 мск на открытый урок онлайн-курса «Data Engineer» в OTUS. 🟠 Тема вебинара — Clickhouse vs. Greenplum. Какую MPP базу данных выбрать?❇️ Вы узнаете:🔸 Что такое MPP-БД на самом деле🔸 Познакомитесь с различными представителями таких систем🔸 Разберетесь, когда и в каких случаях стоит выбирать каждую из них🔸 На практике изучите наглядные примеры работы БД Clickhouse и Greenplum💻 Спикером выступит Алексей Железной, преподаватель курса и Data Engineer в компании Wildberries.🔥 Пройдите вступительный тест, чтобы участвовать: https://otus.pw/GxBr/Реклама. Информация о рекламодателе на сайте www.otus.ru.

1 month, 3 weeks назад @ t.me
🔥 Хотите перейти в область дата-инжиринга и работать с большими данными? 👉 Сделайте первые шаги в этом направлении на открытом уроке онлайн-курса «Data Engineer» в OTUS! 27 января в 20:00 мск пройдет вебинар «Elasticsearch как NoSQL хранилище документов».
🔥 Хотите перейти в область дата-инжиринга и работать с большими данными? 👉 Сделайте первые шаги в этом направлении на открытом уроке онлайн-курса «Data Engineer» в OTUS! 27 января в 20:00 мск пройдет вебинар «Elasticsearch как NoSQL хранилище документов». 🔥 Хотите перейти в область дата-инжиринга и работать с большими данными? 👉 Сделайте первые шаги в этом направлении на открытом уроке онлайн-курса «Data Engineer» в OTUS! 27 января в 20:00 мск пройдет вебинар «Elasticsearch как NoSQL хранилище документов».

🔥 Хотите перейти в область дата-инжиринга и работать с большими данными? 👉 Сделайте первые шаги в этом направлении на открытом уроке онлайн-курса «Data Engineer» в OTUS! 27 января в 20:00 мск пройдет вебинар «Elasticsearch как NoSQL хранилище документов». Глубокое понимание этого инструмента — ключевой момент для его правильного применения.💻 В результате урока вы:🔸 Изучите классификацию NoSQL СУБД🔸 Узнаете про отличительные черты Elasticsearch и его применимости к разным задачам🔸 Узнаете, почему Elasticsearch — одних из наиболее популярных инструментов для создания поисковых датасетов в современном мире🔸 Поймете, чем так хорош Elasticsearch и задумаетесь об его внедрении в вашей команде🟢 Чт…

1 month, 4 weeks назад @ t.me
Чтобы поиграть с БД ClickHouse отныне её не нужно устанавливать себе, появился официальный ClickHouse FiddleДока про сам проект: https://clickhouse.com/blog/clickhouse-fiddle-sql-playground
Чтобы поиграть с БД ClickHouse отныне её не нужно устанавливать себе, появился официальный ClickHouse FiddleДока про сам проект: https://clickhouse.com/blog/clickhouse-fiddle-sql-playground

Чтобы поиграть с БД ClickHouse отныне её не нужно устанавливать себе, появился официальный ClickHouse FiddleДока про сам проект: https://clickhouse.com/blog/clickhouse-fiddle-sql-playground

1 month, 4 weeks назад @ t.me
📊 Сможешь ли ты стать дата-инженером? 📌 Пройди тест и узнай — https://otus.pw/Rwxh/💻 Ответьте на 20 вопросов и проверьте, готовы к обучению на онлайн-курсе «Data Engineer» в OTUS. Дата-инжиниринг — новый уровень для разработчиков и админов СУБД.✅ На курсе
📊 Сможешь ли ты стать дата-инженером? 📌 Пройди тест и узнай — https://otus.pw/Rwxh/💻 Ответьте на 20 вопросов и проверьте, готовы к обучению на онлайн-курсе «Data Engineer» в OTUS. Дата-инжиниринг — новый уровень для разработчиков и админов СУБД.✅ На курсе 📊 Сможешь ли ты стать дата-инженером? 📌 Пройди тест и узнай — https://otus.pw/Rwxh/💻 Ответьте на 20 вопросов и проверьте, готовы к обучению на онлайн-курсе «Data Engineer» в OTUS. Дата-инжиниринг — новый уровень для разработчиков и админов СУБД.✅ На курсе

📊 Сможешь ли ты стать дата-инженером? 📌 Пройди тест и узнай — https://otus.pw/Rwxh/💻 Ответьте на 20 вопросов и проверьте, готовы к обучению на онлайн-курсе «Data Engineer» в OTUS. Дата-инжиниринг — новый уровень для разработчиков и админов СУБД.✅ На курсе вас ждет:✔️ Живые вебинары с опытными практиками✔️ Решение прикладных задач и создание своего продукта✔️ Real Case Studies: примеры внедрений, использования инструментов, оптимизации и разбор ошибок✔️ Во время обучения вы освоите работу с Architecture, Data Lake, DWH, MLOps и сможете самостоятельно решать задачи в сфере Big Data.🔥 Пройдете тест — получите демо-ролик о занятиях на курсе, Welcome-скидку и доступ к открытым урокам:👉 Elasticse…

2 months назад @ t.me
Вышло новое издание знаменитой книги про распределенные системы: Distributed Systems 4th EditionЭлектронную версию книги можно бесплатно скачать на сайте по ссылке выше.3-е бумажное издание этой книги лежит у меня на полке, но, к сожалению, я постоянно отк
Вышло новое издание знаменитой книги про распределенные системы: Distributed Systems 4th EditionЭлектронную версию книги можно бесплатно скачать на сайте по ссылке выше.3-е бумажное издание этой книги лежит у меня на полке, но, к сожалению, я постоянно отк

Вышло новое издание знаменитой книги про распределенные системы: Distributed Systems 4th EditionЭлектронную версию книги можно бесплатно скачать на сайте по ссылке выше.3-е бумажное издание этой книги лежит у меня на полке, но, к сожалению, я постоянно откладываю её прочтение (читал отрывками). Надеюсь в 2023 году доберусь до неё 🤞

2 months, 1 week назад @ t.me
Если ИТ – это ваш конек, то Тинькофф ждет вас 23 января на катке в московском Парке Горького! Ледовый ИТ-квест, нетворкинг, дискуссии со спикерами в теплом шатре и многое другое. Вечер точно будет насыщенным и приятным. За коньки не беспокойтесь — их выдад
Если ИТ – это ваш конек, то Тинькофф ждет вас 23 января на катке в московском Парке Горького! Ледовый ИТ-квест, нетворкинг, дискуссии со спикерами в теплом шатре и многое другое. Вечер точно будет насыщенным и приятным. За коньки не беспокойтесь — их выдад Если ИТ – это ваш конек, то Тинькофф ждет вас 23 января на катке в московском Парке Горького! Ледовый ИТ-квест, нетворкинг, дискуссии со спикерами в теплом шатре и многое другое. Вечер точно будет насыщенным и приятным. За коньки не беспокойтесь — их выдад

Если ИТ – это ваш конек, то Тинькофф ждет вас 23 января на катке в московском Парке Горького! Ледовый ИТ-квест, нетворкинг, дискуссии со спикерами в теплом шатре и многое другое. Вечер точно будет насыщенным и приятным. За коньки не беспокойтесь — их выдадут бесплатно. Не медлите, регистрируйтесь сами и зовите коллег — будет весело!

2 months, 1 week назад @ t.me
Отличная новость для тех, кто использует Managed Airflow в Amazon Web Services: https://aws.amazon.com/ru/about-aws/whats-new/2023/01/amazon-mwaa-supports-apache-airflow-version-2-4-python-3-10/
Отличная новость для тех, кто использует Managed Airflow в Amazon Web Services: https://aws.amazon.com/ru/about-aws/whats-new/2023/01/amazon-mwaa-supports-apache-airflow-version-2-4-python-3-10/

Отличная новость для тех, кто использует Managed Airflow в Amazon Web Services: https://aws.amazon.com/ru/about-aws/whats-new/2023/01/amazon-mwaa-supports-apache-airflow-version-2-4-python-3-10/

2 months, 2 weeks назад @ t.me
На Хабре вышла статья о разных способах развёртывания Apache Superset (Docker, ВМ, Kubernetes). Автор рассказал обо всех плюсах и минусах и поделился подробной инструкцией на примере облака VK Cloud. Это очень актуально, учитывая вставшую перед компаниями
На Хабре вышла статья о разных способах развёртывания Apache Superset (Docker, ВМ, Kubernetes). Автор рассказал обо всех плюсах и минусах и поделился подробной инструкцией на примере облака VK Cloud. Это очень актуально, учитывая вставшую перед компаниями На Хабре вышла статья о разных способах развёртывания Apache Superset (Docker, ВМ, Kubernetes). Автор рассказал обо всех плюсах и минусах и поделился подробной инструкцией на примере облака VK Cloud. Это очень актуально, учитывая вставшую перед компаниями

На Хабре вышла статья о разных способах развёртывания Apache Superset (Docker, ВМ, Kubernetes). Автор рассказал обо всех плюсах и минусах и поделился подробной инструкцией на примере облака VK Cloud. Это очень актуально, учитывая вставшую перед компаниями задачу по полному перестраиванию системы бизнес-аналитики. В современных реалиях развитие BI-решений российских вендоров осуществляются максимально быстро и качественно. У них есть лицензионная поддержка, регулярные обновления и возможность влиять на roadmap.Читать

2 months, 2 weeks назад @ t.me
Как прокачаться DevOps-инженеруПопулярность облачных технологий растёт, а значит повышается спрос на DevOps-инженеров. Но даже опытному специалисту бывает непросто разобраться в специфике провайдера.Yandex Cloud решила помочь индустрии и подготовила серию
Как прокачаться DevOps-инженеруПопулярность облачных технологий растёт, а значит повышается спрос на DevOps-инженеров. Но даже опытному специалисту бывает непросто разобраться в специфике провайдера.Yandex Cloud решила помочь индустрии и подготовила серию Как прокачаться DevOps-инженеруПопулярность облачных технологий растёт, а значит повышается спрос на DevOps-инженеров. Но даже опытному специалисту бывает непросто разобраться в специфике провайдера.Yandex Cloud решила помочь индустрии и подготовила серию

Как прокачаться DevOps-инженеруПопулярность облачных технологий растёт, а значит повышается спрос на DevOps-инженеров. Но даже опытному специалисту бывает непросто разобраться в специфике провайдера.Yandex Cloud решила помочь индустрии и подготовила серию курсов для DevOps-инженеров. Они помогут изучить все этапы подготовки облачной инфраструктуры и построения CI/CD-процесса для контейнерного приложения — от создания среды разработки до продакшна.Как всё устроено: курсы построены по принципу case-study — вы погрузитесь в реальную задачу бизнеса и шаг за шагом придёте к её решению.Кому подойдёт: специалистам middle- и senior-уровня.Сколько стоит: все курсы можно проходить бесплатно. Кроме то…

2 months, 2 weeks назад @ t.me
У ребят из Airbyte вышла интересная подборка самых популярных рассылок по теме данных: http://bit.ly/3FncX1LЯ же подписан на Seattle Data Guy, Benn Stancil и Data Engineering Weekly. От себя добавлю, что вашего внимания также заслуживает SF Data Weekly: ht
У ребят из Airbyte вышла интересная подборка самых популярных рассылок по теме данных: http://bit.ly/3FncX1LЯ же подписан на Seattle Data Guy, Benn Stancil и Data Engineering Weekly. От себя добавлю, что вашего внимания также заслуживает SF Data Weekly: ht

У ребят из Airbyte вышла интересная подборка самых популярных рассылок по теме данных: http://bit.ly/3FncX1LЯ же подписан на Seattle Data Guy, Benn Stancil и Data Engineering Weekly. От себя добавлю, что вашего внимания также заслуживает SF Data Weekly: http://weekly.sfdata.io/

3 months, 2 weeks назад @ t.me
Инжиниринг Данных Инжиниринг Данных
последний пост 11 часов назад
Альфа-Банк открывает набор на второй поток магистратуры по Data science в МФТИ🔥Если у вас есть диплом бакалавра или специалиста, вы умеете программировать, знаете основы для подготовки данных для машинного обучения и хотите научиться:📌 Управлять циклом соз
Альфа-Банк открывает набор на второй поток магистратуры по Data science в МФТИ🔥Если у вас есть диплом бакалавра или специалиста, вы умеете программировать, знаете основы для подготовки данных для машинного обучения и хотите научиться:📌 Управлять циклом соз

Альфа-Банк открывает набор на второй поток магистратуры по Data science в МФТИ🔥Если у вас есть диплом бакалавра или специалиста, вы умеете программировать, знаете основы для подготовки данных для машинного обучения и хотите научиться:📌 Управлять циклом создания модели: от сбора данных до оценки эффективности📌 Работать с большими объёмами данных, используя современный стек технологий📌 Анализировать и моделировать данные с помощью алгоритмов Python📌 Решать прикладные задачи Machine Learning и Deep Learning📌 Защищать идеи, эффективно работать в командеОбучение проходит очно, всем студентам во время обучения выплачивается стипендия и по окончании магистратуры выпускники получат диплом государст…

11 часов назад @ t.me
Всем привет! 23 марта в 20:00 по мск вебинар! Тема: "Командная строка для чайников" Ссылка на вебинар: https://youtube.com/live/3jXqq5uSeVs?feature=share
Всем привет! 23 марта в 20:00 по мск вебинар! Тема: "Командная строка для чайников" Ссылка на вебинар: https://youtube.com/live/3jXqq5uSeVs?feature=share

Всем привет! 23 марта в 20:00 по мск вебинар! Тема: "Командная строка для чайников" Ссылка на вебинар: https://youtube.com/live/3jXqq5uSeVs?feature=share

1 day, 1 hour назад @ t.me
Monolith to Microservices (От монолита к микросервисам)Эта книга "Monolith to Microservices" написана Сэмом Ньюманом, который поспособствовал росту популярности микросервисов, написав книгу "Building Microservices". Эта книга определенно хороша, но она яв
Monolith to Microservices (От монолита к микросервисам)Эта книга "Monolith to Microservices" написана Сэмом Ньюманом, который  поспособствовал росту популярности микросервисов, написав книгу "Building Microservices". Эта книга определенно хороша, но она яв Monolith to Microservices (От монолита к микросервисам)Эта книга "Monolith to Microservices" написана Сэмом Ньюманом, который поспособствовал росту популярности микросервисов, написав книгу "Building Microservices". Эта книга определенно хороша, но она яв

Monolith to Microservices (От монолита к микросервисам)Эта книга "Monolith to Microservices" написана Сэмом Ньюманом, который поспособствовал росту популярности микросервисов, написав книгу "Building Microservices". Эта книга определенно хороша, но она является не продолжением книги про создание микросервисов, а скорее приквелом для выпущенной изначально книги. Об этом говорит автор во вступлении, посыпая голову пеплом относительно того, что он открыл ящик Пандоры с микросервисами, что привело к массовому adoption их всеми подряд без глубокого понимания границ применимости этого подхода:)В новой книге автор рассматривает такие темы как:- что такое микросервис и какого размера он может быть …

1 day, 4 hours назад @ t.me
Всем привет!23 марта в 20:00 по мск вебинар!Тема: "Командная строка для чайников"Ссылка на вебинар: https://youtube.com/live/3jXqq5uSeVs?feature=share
Всем привет!23 марта в 20:00 по мск вебинар!Тема: "Командная строка для чайников"Ссылка на вебинар: https://youtube.com/live/3jXqq5uSeVs?feature=share

Всем привет!23 марта в 20:00 по мск вебинар!Тема: "Командная строка для чайников"Ссылка на вебинар: https://youtube.com/live/3jXqq5uSeVs?feature=share

1 day, 21 hours назад @ t.me
Google users in America have searched for Python more often than for Kim Kardashian.Так что да, Python популярен😅Но Python не самый быстрый язык, поэтому в MIT сделали новый компилятор codon - Python-based compiler achieves orders-of-magnitude speedups
Google users in America have searched for Python more often than for Kim Kardashian.Так что да, Python популярен😅Но Python не самый быстрый язык, поэтому в MIT сделали новый компилятор codon - Python-based compiler achieves orders-of-magnitude speedups

Google users in America have searched for Python more often than for Kim Kardashian.Так что да, Python популярен😅Но Python не самый быстрый язык, поэтому в MIT сделали новый компилятор codon - Python-based compiler achieves orders-of-magnitude speedups

2 days, 2 hours назад @ t.me
Качественная статья про производительность Spark UDF
Качественная статья про производительность Spark UDF

Качественная статья про производительность Spark UDF

2 days, 16 hours назад @ t.me
Поэтому мой совет новичкам от "бывалого" зарплатника:1. выберите профессию, пусть она будет простой и понятной. Я всегда привожу в пример сантехника и электрика. Но я не имею в виду, что вам надо становиться таким (хотя они больше ИТшников получают в Север
Поэтому мой совет новичкам от "бывалого" зарплатника:1. выберите профессию, пусть она будет простой и понятной. Я всегда привожу в пример сантехника и электрика. Но я не имею в виду, что вам надо становиться таким (хотя они больше ИТшников получают в Север

Поэтому мой совет новичкам от "бывалого" зарплатника:1. выберите профессию, пусть она будет простой и понятной. Я всегда привожу в пример сантехника и электрика. Но я не имею в виду, что вам надо становиться таким (хотя они больше ИТшников получают в Северной Америке и увольнений нет)2. найдите хорошую и большую компанию, где вы наберетесь навыков вашей профессии, так же вы научитесь общаться с людьм разных должностей, с разным опытом и разными точками зрения.3. как вы "встанете на ноги", можете уже стоить "космические грузовики" и решать, что вам делать дальше, работать за зарплату или же искать варианты как вырваться из порочного круга и "крысиных бегов" (если не читали Богатый, Бедный па…

3 days, 4 hours назад @ t.me
Так как я работаю по воскресеньям в офисе (единственный день неделю, так как в этот день я один в целом здании и могу приводить детей на работу, где они могу развлекаться по-своему) и сама поездка на метро в центр это уже целое приключение.Так же мне удобн
Так как я работаю по воскресеньям в офисе (единственный день неделю, так как в этот день я один в целом здании и могу приводить детей на работу, где они могу развлекаться по-своему) и сама поездка на метро в центр это уже целое приключение.Так же мне удобн

Так как я работаю по воскресеньям в офисе (единственный день неделю, так как в этот день я один в целом здании и могу приводить детей на работу, где они могу развлекаться по-своему) и сама поездка на метро в центр это уже целое приключение.Так же мне удобно встречаться с новыми людьми. Последняя встреча был с Маркусом, я познакомился с его отцом в Канкуне, он меня подвозил до аэропорта, оказалось Маркус учится в Ванкувере на Business Administration. Я снова убедился, как это сложно найти себе будущую профессию и выбрать дело, которым захочется заниматься. Он мне рассказала как она работал доставщиком еды, как хочет начать делать контент на chatgpt и расти аудиторию. В общем идей у молодого …

3 days, 5 hours назад @ t.me
Обзор книги “The Manager’s Path” — Part IV (Senior Leader)Этой статьей я заканчиваю обзор книги “Путь менеджера” и в ней пойдет речь про роль топ-менеджеров. Кстати, в прошлых выпусках мы обсуждали как инженеры растут до менеджеров, а также как они исполня
Обзор книги “The Manager’s Path” — Part IV (Senior Leader)Этой статьей я заканчиваю обзор книги “Путь менеджера” и в ней пойдет речь про роль топ-менеджеров. Кстати, в прошлых выпусках мы обсуждали как инженеры растут до менеджеров, а также как они исполня Обзор книги “The Manager’s Path” — Part IV (Senior Leader)Этой статьей я заканчиваю обзор книги “Путь менеджера” и в ней пойдет речь про роль топ-менеджеров. Кстати, в прошлых выпусках мы обсуждали как инженеры растут до менеджеров, а также как они исполня

Обзор книги “The Manager’s Path” — Part IV (Senior Leader)Этой статьей я заканчиваю обзор книги “Путь менеджера” и в ней пойдет речь про роль топ-менеджеров. Кстати, в прошлых выпусках мы обсуждали как инженеры растут до менеджеров, а также как они исполняют роли engineering managers и engineering directors. В финальной статье рассматриваются главы- The Big Leagues - как выглядит роль technical senior managers, какие названия бывают у должностей и в чем состоит работа VP of Engineering и CTO- Bootstrapping Culture - как влияет культура и структура на организацию, когда стоит начинать работать над ними и что именно стоит делать- Conclusion - здесь автор делиться своими мыслями о том, как ста…

3 days, 6 hours назад @ t.me
Когда в в 2018 году я присоединился к Science команде в Кембридже (который в Бостоне), наш офис был между Harvard и MIT, мне казалось, что это «будущее», это казалось огромной команде Алексы, где было больше 50т человек, и все это мероприятие работало в уб
Когда в в 2018 году я присоединился к Science команде в Кембридже (который в Бостоне), наш офис был между Harvard и MIT, мне казалось, что это «будущее», это казалось огромной команде Алексы, где было больше 50т человек, и все это мероприятие работало в уб Когда в в 2018 году я присоединился к Science команде в Кембридже (который в Бостоне), наш офис был между Harvard и MIT, мне казалось, что это «будущее», это казалось огромной команде Алексы, где было больше 50т человек, и все это мероприятие работало в уб

Когда в в 2018 году я присоединился к Science команде в Кембридже (который в Бостоне), наш офис был между Harvard и MIT, мне казалось, что это «будущее», это казалось огромной команде Алексы, где было больше 50т человек, и все это мероприятие работало в убыток, создавай новый рынок. И действительно рынок создали, возможно это рынок умных кухонных таймеров и будильников. Это самые популярные фичи девайса. Поэтом картинка мужичка (он кстати был каким-то директором в Амазоне) очень прекрасно описывает возможности столько дорогого продукта, которые стали мягко говоря бесполезны. Зато теперь, если OpenAI прикрутить куда-нибудь, сразу будет солидное решение. Microsoft выпустили Azure OpenAI, серв…

5 days, 21 hours назад @ t.me
Известный в data engineering кругах товарищ - Zach Wilson, делает свой bootcamp по Data Engineering:Week 1: Data ModelingWeek 2: Data efficiency and privacyWeek 3: Batch Pipelines with Apache SparkWeek 4: Streaming Pipelines with Apache FlinkWeek 5: Data Q
Известный в data engineering кругах товарищ - Zach Wilson, делает свой bootcamp по Data Engineering:Week 1: Data ModelingWeek 2: Data efficiency and privacyWeek 3: Batch Pipelines with Apache SparkWeek 4: Streaming Pipelines with Apache FlinkWeek 5: Data Q

Известный в data engineering кругах товарищ - Zach Wilson, делает свой bootcamp по Data Engineering:Week 1: Data ModelingWeek 2: Data efficiency and privacyWeek 3: Batch Pipelines with Apache SparkWeek 4: Streaming Pipelines with Apache FlinkWeek 5: Data QualityWeek 6: Data storytellingИ даже цены есть:For 30 students, there's the $987 tier. For 5 students, there's the $1487 tier. Скажу вас свое экспертное мнение, можете конечно не согласиться, но придется протест выражать emoji😂Чувак бесспорно шарит и цена вроде демократичная для мерок Северной Америки, но реально программка меня совсем не воодушевляет. Я уверен, он будет вас учить "нажимать кнопки", но вряд ли будет понимание зачем это де…

6 days, 23 hours назад @ t.me
Сегодня смотрел, что выходило в последнее время про корпоративную культуру в разных компаниях. С интересом послушал подкаст о том, зачем инженеру вникать в эту лирику огромных корпораций. Обычно принято считать, что тема культуры компании максимально далек
Сегодня смотрел, что выходило в последнее время про корпоративную культуру в разных компаниях. С интересом послушал подкаст о том, зачем инженеру вникать в эту лирику огромных корпораций. Обычно принято считать, что тема культуры компании максимально далек

Сегодня смотрел, что выходило в последнее время про корпоративную культуру в разных компаниях. С интересом послушал подкаст о том, зачем инженеру вникать в эту лирику огромных корпораций. Обычно принято считать, что тема культуры компании максимально далека от кодеров и системных аналитиков. Однако, она помогает лучше понимать профессиональную среду, коллег и даже самих себя.Рекомендую ознакомиться всем, кому эта тема также интересна. То, что зацепило меня, так это кейсы, из которых ясно, что оценка performance review не решает долгосрочные задачи и почему важно думать про рост сотрудников на любой позиции — от рядового инженера до тимлида.Подкаст крайне полезный. По данной теме таких докла…

1 week назад @ t.me
Вы можете относится к chatGPT как угодно, но это прорывная технология. Возможно, я не первый кто расшарит эту статью (скорей последний), но прям обязательно прочитайте и покажите вашим родителями, и бабушкам и все будут в теме:)Как работает ChatGPT: объясн
Вы можете относится к chatGPT как угодно, но это прорывная технология. Возможно, я не первый кто расшарит эту статью (скорей последний), но прям обязательно прочитайте и покажите вашим родителями, и бабушкам и все будут в теме:)Как работает ChatGPT: объясн Вы можете относится к chatGPT как угодно, но это прорывная технология. Возможно, я не первый кто расшарит эту статью (скорей последний), но прям обязательно прочитайте и покажите вашим родителями, и бабушкам и все будут в теме:)Как работает ChatGPT: объясн

Вы можете относится к chatGPT как угодно, но это прорывная технология. Возможно, я не первый кто расшарит эту статью (скорей последний), но прям обязательно прочитайте и покажите вашим родителями, и бабушкам и все будут в теме:)Как работает ChatGPT: объясняем на простом русском эволюцию языковых моделей начиная от T9Все просто и понятно, авторам респект. 👏

1 week назад @ t.me
2 анекдота, которые идеально подходят, чтобы А) описать подход к поиску работы, особенно это касается застенчивых, неуверенных в себе кандидатах.Б) описать попытки руководства повысить эффективность команды и нежелание этого самого руководства признать, ч
2 анекдота, которые идеально подходят, чтобы А) описать подход к поиску работы, особенно это касается застенчивых, неуверенных в себе кандидатах.Б) описать попытки руководства повысить эффективность команды и нежелание этого самого руководства признать, ч

2 анекдота, которые идеально подходят, чтобы А) описать подход к поиску работы, особенно это касается застенчивых, неуверенных в себе кандидатах.Б) описать попытки руководства повысить эффективность команды и нежелание этого самого руководства признать, что они не очень шарят, что делают. Я бы еще добавил цитату Масяни «Директор? Да пошел ты в жопу директор… не до тебя»А вот и анекдоты, какой А, а какой Б, вы догадаетесь сами😂Офис, в отделе продаж все суетятся, переставляют мебель с места на место, посреди всего этого хаоса стоит бабушка уборщица и бормочет про то что "она только что все вытерла, а они опять натоптали". Менеджеры начинают расставлять мебель, вымерять ее положение каждого ст…

1 week назад @ t.me
Как актуально! Я бы еще добавил несколько кнопок, “купить золото/серебро”, купить недвижку и далее по списку. Как не крути, конечный пользователь всегда будет должен. А некоторым, еще надо - “сначала найти работы после недавнего layoff”
Как актуально! Я бы еще добавил несколько кнопок, “купить золото/серебро”, купить недвижку и далее по списку. Как не крути, конечный пользователь всегда будет должен. А некоторым, еще надо - “сначала найти работы после недавнего layoff” Как актуально! Я бы еще добавил несколько кнопок, “купить золото/серебро”, купить недвижку и далее по списку. Как не крути, конечный пользователь всегда будет должен. А некоторым, еще надо - “сначала найти работы после недавнего layoff”

Как актуально! Я бы еще добавил несколько кнопок, “купить золото/серебро”, купить недвижку и далее по списку. Как не крути, конечный пользователь всегда будет должен. А некоторым, еще надо - “сначала найти работы после недавнего layoff”

1 week, 1 day назад @ t.me
Left Join Left Join
последний пост 1 day, 7 hours назад
Cyprus Data YouTube ChannelПереезжая на Кипр, я и подумать не мог, что спустя год я смогу создать комьюнити Cyprus Data для тех, чьи работа или хобби (или и то, и другое) так или иначе связана с данными. Но все получилось! Что произошло за год?Мы провели 3
Cyprus Data YouTube ChannelПереезжая на Кипр, я и подумать не мог, что спустя год я смогу создать комьюнити Cyprus Data для тех, чьи работа или хобби (или и то, и другое) так или иначе связана с данными. Но все получилось! Что произошло за год?Мы провели 3 Cyprus Data YouTube ChannelПереезжая на Кипр, я и подумать не мог, что спустя год я смогу создать комьюнити Cyprus Data для тех, чьи работа или хобби (или и то, и другое) так или иначе связана с данными. Но все получилось! Что произошло за год?Мы провели 3

Cyprus Data YouTube ChannelПереезжая на Кипр, я и подумать не мог, что спустя год я смогу создать комьюнити Cyprus Data для тех, чьи работа или хобби (или и то, и другое) так или иначе связана с данными. Но все получилось! Что произошло за год?Мы провели 3 замечательных митапа, каждый раз улучшая все показатели: количество спикеров, вместимость площадки, качество организации и прочее (и не намерены останавливаться!). А еще, начиная с последнего митапа мы организовали видеозапись всех выступлений, чтобы те, кто не живет на Кипре тоже могли узнать все то, что мы активно обсуждаем и чем делимся в нашем комьюнити.На канале сейчас есть ролики о том, как:1️⃣ Я строил-строил и наконец построил ком…

1 day, 7 hours назад @ t.me
[Трактор] Как и куда улететь — канал с IT-вакансиями для тех, кто ищет работу за границейСейчас мониторинг зарубежных вакансий — почти такая же ежедневная рутина, как чтение новостей или чистка зубов. Авторы телеграм-канала «Трактор» помогают упростить это
[Трактор] Как и куда улететь — канал с IT-вакансиями для тех, кто ищет работу за границейСейчас мониторинг зарубежных вакансий — почти такая же ежедневная рутина, как чтение новостей или чистка зубов. Авторы телеграм-канала «Трактор» помогают упростить это [Трактор] Как и куда улететь — канал с IT-вакансиями для тех, кто ищет работу за границейСейчас мониторинг зарубежных вакансий — почти такая же ежедневная рутина, как чтение новостей или чистка зубов. Авторы телеграм-канала «Трактор» помогают упростить это

[Трактор] Как и куда улететь — канал с IT-вакансиями для тех, кто ищет работу за границейСейчас мониторинг зарубежных вакансий — почти такая же ежедневная рутина, как чтение новостей или чистка зубов. Авторы телеграм-канала «Трактор» помогают упростить это занятие: каждый день они публикуют действительно хорошие подборки вакансий, которые помогут вам с релокейтом в другую страну, получением ВНЖ и открытием банковских счетов.▫️ Вакансии разные, но их объединяют зарплата в валюте USD/EUR и возможность переезда❗️ Самые актуальные варианты на текущий момент — Аргентина, Грузия, Армения, ОАЭ.👉 Подписывайтесь, чтобы получить доступ к актуальным вакансиям: @tractor_job#реклама

1 day, 9 hours назад @ t.me
Розыгрыш 10 триал-подписок на FULL JOINКоличество победителей: 10Дата розыгрыша: 29 марта, 14:15 (+03:00)Условия участия:• Подписаться на @leftjoinЧтобы участвовать в розыгрыше, нажми кнопку ниже.
Розыгрыш 10 триал-подписок на FULL JOINКоличество победителей: 10Дата розыгрыша: 29 марта, 14:15 (+03:00)Условия участия:• Подписаться на @leftjoinЧтобы участвовать в розыгрыше, нажми кнопку ниже.

Розыгрыш 10 триал-подписок на FULL JOINКоличество победителей: 10Дата розыгрыша: 29 марта, 14:15 (+03:00)Условия участия:• Подписаться на @leftjoinЧтобы участвовать в розыгрыше, нажми кнопку ниже.

2 days, 5 hours назад @ t.me
Десять бесплатных триал-подписок на FULL JOIN!Ура-ура, наш канал продолжает набирать обороты и аудитория неизменно растет. Спасибо, что подписываетесь, реагируете и делитесь своим мнением. Для меня ваш интерес — главная и очень ценная мотивация улучшать ко
Десять бесплатных триал-подписок на FULL JOIN!Ура-ура, наш канал продолжает набирать обороты и аудитория неизменно растет. Спасибо, что подписываетесь, реагируете и делитесь своим мнением. Для меня ваш интерес — главная и очень ценная мотивация улучшать ко Десять бесплатных триал-подписок на FULL JOIN!Ура-ура, наш канал продолжает набирать обороты и аудитория неизменно растет. Спасибо, что подписываетесь, реагируете и делитесь своим мнением. Для меня ваш интерес — главная и очень ценная мотивация улучшать ко

Десять бесплатных триал-подписок на FULL JOIN!Ура-ура, наш канал продолжает набирать обороты и аудитория неизменно растет. Спасибо, что подписываетесь, реагируете и делитесь своим мнением. Для меня ваш интерес — главная и очень ценная мотивация улучшать контент и делиться самым-самым ❤️Если вы — новый подписчик, то познакомиться со мной и каналом можно вот в этом приветственном посте прошлого года (аудитория за год выросла втрое, я и моя команда в приятном удивлении!).Почему FULL JOIN — классный канал для аналитиков?Если LEFT JOIN носит по большей части информационный и новостной характер, то FULL JOIN — сборник наших ценных знаний по анализу данных и не только. Там накопилось уже достаточн…

2 days, 5 hours назад @ t.me
RationalAnswer: финансы и инвестиции могут быть понятнымиСегодня хочу рассказать вам про телеграм-канал моего друга и, так сказать, соседа Павла Комаровского (ведь познакомились мы именно на Кипре после переезда). Его телеграм-канал полон авторского контен
RationalAnswer: финансы и инвестиции могут быть понятнымиСегодня хочу рассказать вам про телеграм-канал моего друга и, так сказать, соседа Павла Комаровского (ведь познакомились мы именно на Кипре после переезда). Его телеграм-канал полон авторского контен RationalAnswer: финансы и инвестиции могут быть понятнымиСегодня хочу рассказать вам про телеграм-канал моего друга и, так сказать, соседа Павла Комаровского (ведь познакомились мы именно на Кипре после переезда). Его телеграм-канал полон авторского контен

RationalAnswer: финансы и инвестиции могут быть понятнымиСегодня хочу рассказать вам про телеграм-канал моего друга и, так сказать, соседа Павла Комаровского (ведь познакомились мы именно на Кипре после переезда). Его телеграм-канал полон авторского контента: это и советы по управлению финансами, и лайфхаки по инвестициям в архи-турбулентное время, и посты с рекомендациями для цифровых кочевников, и многое-многое другое. Для кого этот канал?Для всех, кто хочет шарить за все сложные нюансы в области денег: от налоговых штук и рабочих способов вывода денег из РФ, до всяких нюансов общения с западными банками и ликбезов по крипте.На что обратить внимание?👍 Как банкротились российские брокеры: …

3 days, 10 hours назад @ t.me
RIP, поисковик Google! Хотя, подождите... 🧟‍♂️Возможно, вы уже не раз встречались с новостью о том, что поисковик Google вот-вот отбросит цифровые копытца, но до вызова траурной машины все как-то не доходило. А вот с появлением ChatGPT и других различных с
RIP, поисковик Google! Хотя, подождите... 🧟‍♂️Возможно, вы уже не раз встречались с новостью о том, что поисковик Google вот-вот отбросит цифровые копытца, но до вызова траурной машины все как-то не доходило. А вот с появлением ChatGPT и других различных с RIP, поисковик Google! Хотя, подождите... 🧟‍♂️Возможно, вы уже не раз встречались с новостью о том, что поисковик Google вот-вот отбросит цифровые копытца, но до вызова траурной машины все как-то не доходило. А вот с появлением ChatGPT и других различных с

RIP, поисковик Google! Хотя, подождите... 🧟‍♂️Возможно, вы уже не раз встречались с новостью о том, что поисковик Google вот-вот отбросит цифровые копытца, но до вызова траурной машины все как-то не доходило. А вот с появлением ChatGPT и других различных сервисов на основе ИИ, на горизонте, прямо по курсу Google, действительно замаячил айсберг.Однако сегодня мы хотели бы оставить тему GPT-4 за бортом и обратиться к популярному англоязычному ресурсу, который многие интернет пользователи и специалисты пророчат в наследника Google — речь идет о Reddit, своеобразном международном «праотце» Пикабу.Возможно, кто-то из вас заметил ту же проблему, что и автор этого поста Дмитрий Бреретон: в последн…

1 week назад @ t.me
Персональный тренер по SQL: быстро, качественно, ChatGPT 🏋️Если среди вас есть те, кто осваивает азы SQL с помощью разных онлайн тренажеров и курсов (и, возможно, даже нашего Data марафона для начинающих аналитиков), то, вероятно, вам будет любопытно узнат
Персональный тренер по SQL: быстро, качественно, ChatGPT 🏋️Если среди вас есть те, кто осваивает азы SQL с помощью разных онлайн тренажеров и курсов (и, возможно, даже нашего Data марафона для начинающих аналитиков), то, вероятно, вам будет любопытно узнат Персональный тренер по SQL: быстро, качественно, ChatGPT 🏋️Если среди вас есть те, кто осваивает азы SQL с помощью разных онлайн тренажеров и курсов (и, возможно, даже нашего Data марафона для начинающих аналитиков), то, вероятно, вам будет любопытно узнат

Персональный тренер по SQL: быстро, качественно, ChatGPT 🏋️Если среди вас есть те, кто осваивает азы SQL с помощью разных онлайн тренажеров и курсов (и, возможно, даже нашего Data марафона для начинающих аналитиков), то, вероятно, вам будет любопытно узнать, что в дополнение к рутинным SQL заданиям можно добавить кое-что новенькое от ChatGPT.В этой статье на Medium собраны 5 способов, как сделать из ChatGPT персонального наставника для освоения базы SQL. Так, вы можете:1️⃣ попросить ChatGPT доступно и кратко объяснить, что означает та или иная команда, и дать примеры использования;2️⃣ попросить нейросеть определить, какую команду SQL использовать для вашей задачи, и дать пример решения;3️⃣ …

1 week, 1 day назад @ t.me
Зарелизили — https://openai.com/product/gpt-4 Уже доступно в ChatGPT Plus (это который платный за 20 баксов в месяц), думаю завтра все околотехнические новости будут об этом, так что готовьте свои телефончики к нотификациям!
Зарелизили — https://openai.com/product/gpt-4 Уже доступно в ChatGPT Plus (это который платный за 20 баксов в месяц), думаю завтра все околотехнические новости будут об этом, так что готовьте свои телефончики к нотификациям!

Зарелизили — https://openai.com/product/gpt-4 Уже доступно в ChatGPT Plus (это который платный за 20 баксов в месяц), думаю завтра все околотехнические новости будут об этом, так что готовьте свои телефончики к нотификациям!

1 week, 3 days назад @ t.me
А кем ты станешь, когда ChatGPT вырастет? 👨‍🌾Мэри Труонг, аналитик данных в Scopely, компании, занимающейся разработкой игр и интерактивных развлечений, опубликовала на Medium заметку о том, как она подвергла проверке гипотезу, которая уже который месяц те
А кем ты станешь, когда ChatGPT вырастет? 👨‍🌾Мэри Труонг, аналитик данных в Scopely, компании, занимающейся разработкой игр и интерактивных развлечений, опубликовала на Medium заметку о том, как она подвергла проверке гипотезу, которая уже который месяц те А кем ты станешь, когда ChatGPT вырастет? 👨‍🌾Мэри Труонг, аналитик данных в Scopely, компании, занимающейся разработкой игр и интерактивных развлечений, опубликовала на Medium заметку о том, как она подвергла проверке гипотезу, которая уже который месяц те

А кем ты станешь, когда ChatGPT вырастет? 👨‍🌾Мэри Труонг, аналитик данных в Scopely, компании, занимающейся разработкой игр и интерактивных развлечений, опубликовала на Medium заметку о том, как она подвергла проверке гипотезу, которая уже который месяц терзает умы аналитиков данных. Да-да, речь о том, может ли ChatGPT писать SQL запросы лучше, чем мы.👍 Воспользовавшись тремя тестами разных уровней сложности с образовательной платформы LeetCode, Мэри написала необходимые три запроса для решения тестов сама и попросила ChatGPT тоже решить их, а затем сравнила правильность запросов и скорость их выполнения.👍 В результате выяснилось, что ни Мэри, ни ChatGPT не смогли безукоризненно решить все …

1 week, 3 days назад @ t.me
🔎 Так, а что это у нас здесь? Ага, попался! 👩‍🏫ChatGPT вроде не экзамен, а всего лишь онлайн интерфейс с интеллектом нейросети, но шпаргалок к нему в интернете уже бесчисленное множество. И вот вам еще одна!KDnuggets — это онлайн платформа с многочисленным
🔎 Так, а что это у нас здесь? Ага, попался! 👩‍🏫ChatGPT вроде не экзамен, а всего лишь онлайн интерфейс с интеллектом нейросети, но шпаргалок к нему в интернете уже бесчисленное множество. И вот вам еще одна!KDnuggets — это онлайн платформа с многочисленным 🔎 Так, а что это у нас здесь? Ага, попался! 👩‍🏫ChatGPT вроде не экзамен, а всего лишь онлайн интерфейс с интеллектом нейросети, но шпаргалок к нему в интернете уже бесчисленное множество. И вот вам еще одна!KDnuggets — это онлайн платформа с многочисленным

🔎 Так, а что это у нас здесь? Ага, попался! 👩‍🏫ChatGPT вроде не экзамен, а всего лишь онлайн интерфейс с интеллектом нейросети, но шпаргалок к нему в интернете уже бесчисленное множество. И вот вам еще одна!KDnuggets — это онлайн платформа с многочисленными рубриками, посвященными бизнес аналитике, big data и науке о данных. И в этом небольшом файле вы найдете 27 подсказок, инструкций для ChatGPT, которые можно использовать, чтобы попросить ChatGPT написать код на SQL, Python или R для разных целей, сгенерировать тестовые данные по условиям или предложить решение определенной аналитической задачи.В файле есть также подсказки для работы с ML-задачами и поиском и суммированием информации из и…

1 week, 4 days назад @ t.me
🙋‍♂️ До старта курса «Основы Data Governance» осталось 2 недели. Записаться ↗️🎯 Фокус будет на двух задачах: (1) Сформировать глубокое понимание темы data governance, переходя от теории к реальной жизни и обратно: в чем ценность, как 'продавать' проект, те
🙋‍♂️ До старта курса «Основы Data Governance» осталось 2 недели. Записаться ↗️🎯 Фокус будет на двух задачах: (1) Сформировать глубокое понимание темы data governance, переходя от теории к реальной жизни и обратно: в чем ценность, как 'продавать' проект, те 🙋‍♂️ До старта курса «Основы Data Governance» осталось 2 недели. Записаться ↗️🎯 Фокус будет на двух задачах: (1) Сформировать глубокое понимание темы data governance, переходя от теории к реальной жизни и обратно: в чем ценность, как 'продавать' проект, те

🙋‍♂️ До старта курса «Основы Data Governance» осталось 2 недели. Записаться ↗️🎯 Фокус будет на двух задачах: (1) Сформировать глубокое понимание темы data governance, переходя от теории к реальной жизни и обратно: в чем ценность, как 'продавать' проект, термины и процессы, роли и орг модели, проектное портфолио, тулы и как их выбирать и т.д. (2) 'Примерить' все это на ваши бизнес реалии — будем разбирать кейсы, а также ваши вопросы и примеры🧘‍♀️ Поиск баланса бюрократии и здравого смысла - довольно точно отражает суть курса. Идея - заземлять книги на реальность и генерировать мотивацию для себя и командыЧто внутри:🔹 5 дней вечернего интенсива в онлайн формате для CDO, CIO, Data stewards, BI…

2 weeks, 1 day назад @ t.me
Еще одна история о ChatGPT: доверяй, но проверяй 🧐Компания OpenCage занимается геокодированием — это процесс, когда, например, адрес дома идентифицируется с его географическими координатами или, наоборот, широта и долгота определяются как географическая то
Еще одна история о ChatGPT: доверяй, но проверяй 🧐Компания OpenCage занимается геокодированием — это процесс, когда, например, адрес дома идентифицируется с его географическими координатами или, наоборот, широта и долгота определяются как географическая то Еще одна история о ChatGPT: доверяй, но проверяй 🧐Компания OpenCage занимается геокодированием — это процесс, когда, например, адрес дома идентифицируется с его географическими координатами или, наоборот, широта и долгота определяются как географическая то

Еще одна история о ChatGPT: доверяй, но проверяй 🧐Компания OpenCage занимается геокодированием — это процесс, когда, например, адрес дома идентифицируется с его географическими координатами или, наоборот, широта и долгота определяются как географическая точка, описанная привычным нам адресом.Что случилось?Сотрудники этой компании столкнулись со странным явлением в начале этого года: поток пользователей их сервиса скачкообразно вырос, но, в отличие от тех, кто пользовался их сервисом ранее, после всего нескольких запросов API, эти новые пользователи переставали интересоваться их платформой. Когда у этих «новичков» спросили, как они узнали о сервисе, многие ответили: «От ChatGPT».Серьезно?!В …

2 weeks, 3 days назад @ t.me
Давайте углублять знания о данных вместе?
Давайте углублять знания о данных вместе?

Давайте углублять знания о данных вместе?

3 weeks назад @ t.me
Внимание, внимание! Пока вы спали, мир захватили искусственные интеллекты! Шутка, конечно, но ChatGPT продолжает продвигаться в этом направлении. Вчера OpenAI выпустили API для ChatGPT и Whisper, что должно значительно облегчить работу для всех, кто исполь
Внимание, внимание! Пока вы спали, мир захватили искусственные интеллекты! Шутка, конечно, но ChatGPT продолжает продвигаться в этом направлении. Вчера OpenAI выпустили API для ChatGPT и Whisper, что должно значительно облегчить работу для всех, кто исполь Внимание, внимание! Пока вы спали, мир захватили искусственные интеллекты! Шутка, конечно, но ChatGPT продолжает продвигаться в этом направлении. Вчера OpenAI выпустили API для ChatGPT и Whisper, что должно значительно облегчить работу для всех, кто исполь

Внимание, внимание! Пока вы спали, мир захватили искусственные интеллекты! Шутка, конечно, но ChatGPT продолжает продвигаться в этом направлении. Вчера OpenAI выпустили API для ChatGPT и Whisper, что должно значительно облегчить работу для всех, кто использует эти технологии в своих проектах.

3 weeks, 1 day назад @ t.me
🗣 Взломать счет в банке с помощью AI: привет, новая реальность 😒Изначально, голосовая биометрия задумывалась как надежная альтернатива для быстрой идентификации клиента, но что-то пошло не так. В частности, благодаря генеративным моделям, появились сервисы
🗣 Взломать счет в банке с помощью AI: привет, новая реальность 😒Изначально, голосовая биометрия задумывалась как надежная альтернатива для быстрой идентификации клиента, но что-то пошло не так. В частности, благодаря генеративным моделям, появились сервисы 🗣 Взломать счет в банке с помощью AI: привет, новая реальность 😒Изначально, голосовая биометрия задумывалась как надежная альтернатива для быстрой идентификации клиента, но что-то пошло не так. В частности, благодаря генеративным моделям, появились сервисы

🗣 Взломать счет в банке с помощью AI: привет, новая реальность 😒Изначально, голосовая биометрия задумывалась как надежная альтернатива для быстрой идентификации клиента, но что-то пошло не так. В частности, благодаря генеративным моделям, появились сервисы, которые, беря за основу аудио записи или звуковые дорожки, скачанные хоть с Youtube, могут помочь злоумышленникам получить доступ к вашему банковскому счету.Что сделал доктор Джозеф Кокс?Журналист Джозеф Кокс опубликовал на Vice отчет, как, воспользовавшись платформой для генерации голоса от компании ElevenLabs, о которой мы уже писали ранее, ему удалось пройти аутентификацию в банке и получить доступ к своему счету с помощью реплик, син…

3 weeks, 1 day назад @ t.me
SQLite на практике SQLite на практике
последний пост 1 week, 1 day назад
Тут вопрос на английском, но по-русски тоже понимает
Тут вопрос на английском, но по-русски тоже понимает Тут вопрос на английском, но по-русски тоже понимает

Тут вопрос на английском, но по-русски тоже понимает

1 week, 1 day назад @ t.me
SQL-консультант в песочницеКому-то нравится заставлять искусственный интеллект делать всякую дичь, ну а я предпочитаю более практичное и полезное применение.Поэтому с сегодняшнего дня в SQLite-песочнице заработала функция «Ask AI».ИИ может объяснять, испра
SQL-консультант в песочницеКому-то нравится заставлять искусственный интеллект делать всякую дичь, ну а я предпочитаю более практичное и полезное применение.Поэтому с сегодняшнего дня в SQLite-песочнице заработала функция «Ask AI».ИИ может объяснять, испра

SQL-консультант в песочницеКому-то нравится заставлять искусственный интеллект делать всякую дичь, ну а я предпочитаю более практичное и полезное применение.Поэтому с сегодняшнего дня в SQLite-песочнице заработала функция «Ask AI».ИИ может объяснять, исправлять и комментировать ваш SQL — не покидая песочницы:➊ Напишите вопрос в виде комментария перед SQL-запросом.➋ Нажмите кнопку «Ask AI».➌ Получите не очень быстрый, но часто полезный ответ от ИИ.Попробуйте! Все, что нужно — API-ключ для OpenAI.https://sqlime.orgP.S. Если API-ключа у вас нет, задать вопрос всегда можно в нашем чате @sqliter_chat. ИИ там тоже иногда отвечает, ну и не только он ツ

1 week, 1 day назад @ t.me
regexp_captureЧастая задача в регулярках — извлечь конкретную группу вместо всего совпадения.Например:— строка = 'abc'— паттерн = 'a(.)c'— группа 1 = 'b'regexp_substr в Oracle и MySQL так не умеет, а Postgres требует указывать 4 дополнительных параметра.По
regexp_captureЧастая задача в регулярках — извлечь конкретную группу вместо всего совпадения.Например:— строка = 'abc'— паттерн = 'a(.)c'— группа 1 = 'b'regexp_substr в Oracle и MySQL так не умеет, а Postgres требует указывать 4 дополнительных параметра.По

regexp_captureЧастая задача в регулярках — извлечь конкретную группу вместо всего совпадения.Например:— строка = 'abc'— паттерн = 'a(.)c'— группа 1 = 'b'regexp_substr в Oracle и MySQL так не умеет, а Postgres требует указывать 4 дополнительных параметра.Поэтому для SQLite я запилил отдельную функцию regexp_capture, которая делает ровно это — извлекает конкретную группу из совпадения:select regexp_capture('abc', 'a(.)c', 1);-- b

2 weeks назад @ t.me
Интерактивные SQL-примерыЕсть новость для всех поклонников SQL 🙂1.5 года назад я сделал онлайн-песочницу для отладки и шеринга SQL-запросов. С тех пор постоянно использую ее, для обучения и преподавания.Но кое-чего не хватало.Я хотел, чтобы была возможност
Интерактивные SQL-примерыЕсть новость для всех поклонников SQL 🙂1.5 года назад я сделал онлайн-песочницу для отладки и шеринга SQL-запросов. С тех пор постоянно использую ее, для обучения и преподавания.Но кое-чего не хватало.Я хотел, чтобы была возможност

Интерактивные SQL-примерыЕсть новость для всех поклонников SQL 🙂1.5 года назад я сделал онлайн-песочницу для отладки и шеринга SQL-запросов. С тех пор постоянно использую ее, для обучения и преподавания.Но кое-чего не хватало.Я хотел, чтобы была возможность превратить любую статью или заметку в блоге в интерактивную SQL-песочницу.Чтобы читатели могли отредактировать запрос и посмотреть, как изменится результат. Или даже попробовать собственные запросы.Я хотел интерактивные SQL-примеры в браузере.И в итоге их сделал!Теперь каждый может превратить статичные SQL-запросы в статье, заметке или веб-странице — в интерактивные примеры.Что особенно приятно, это требует минимальных изменений в HTML-к…

2 weeks, 6 days назад @ t.me
Новые уроки по оконным функциямДля выпускников курса по окошкам — вышли три новых урока:— Мат. статистика. Изучаем относительный ранг, медиану и процентили.— Острова и кластеры. Объединяем похожие значения в группы.— Очистка данных. Удаляем дубликаты и зап
Новые уроки по оконным функциямДля выпускников курса по окошкам — вышли три новых урока:— Мат. статистика. Изучаем относительный ранг, медиану и процентили.— Острова и кластеры. Объединяем похожие значения в группы.— Очистка данных. Удаляем дубликаты и зап

Новые уроки по оконным функциямДля выпускников курса по окошкам — вышли три новых урока:— Мат. статистика. Изучаем относительный ранг, медиану и процентили.— Острова и кластеры. Объединяем похожие значения в группы.— Очистка данных. Удаляем дубликаты и заполняем пропуски.Приглашаю попробовать!

3 weeks, 2 days назад @ t.me
Импорт-экспорт в SQLiteНаписал небольшое руководство по импорту и экспорту данных в SQLite:— Загрузить JSON-документ из файла.— Построчно прочитать текстовый файл.— Построчно записать результаты выполнения запроса в файл.— Импортировать файлы из каталога.h
Импорт-экспорт в SQLiteНаписал небольшое руководство по импорту и экспорту данных в SQLite:— Загрузить JSON-документ из файла.— Построчно прочитать текстовый файл.— Построчно записать результаты выполнения запроса в файл.— Импортировать файлы из каталога.h

Импорт-экспорт в SQLiteНаписал небольшое руководство по импорту и экспорту данных в SQLite:— Загрузить JSON-документ из файла.— Построчно прочитать текстовый файл.— Построчно записать результаты выполнения запроса в файл.— Импортировать файлы из каталога.https://antonz.ru/sqlean-fileio/

3 weeks, 3 days назад @ t.me
Работа с файлами в SQLiteУ SQLite есть расширение для работы с файлами с такими функциями:— readfile(path)— writefile(path, data)Они читают или пишут файл одним куском, что плохо подходит для больших файлов.Чтобы работать с файлами было удобнее, я сделал р
Работа с файлами в SQLiteУ SQLite есть расширение для работы с файлами с такими функциями:— readfile(path)— writefile(path, data)Они читают или пишут файл одним куском, что плохо подходит для больших файлов.Чтобы работать с файлами было удобнее, я сделал р

Работа с файлами в SQLiteУ SQLite есть расширение для работы с файлами с такими функциями:— readfile(path)— writefile(path, data)Они читают или пишут файл одним куском, что плохо подходит для больших файлов.Чтобы работать с файлами было удобнее, я сделал расширение fileio с парой дополнительных функций:fileio_scan(path)Построчно читает файл:select rowid, value, namefrom fileio_scan('hello.txt');fileio_append(path, str)Дописывает строку в файл:create table hello(value text);-- insert some dataselect sum( fileio_append( 'hello.txt', value||char(10) )) from hello;Теперь можно работать с файлами построчно, экономя память!

1 month, 1 week назад @ t.me
Ну очень грубая (примерно как π = 3) иллюстрация того, как работает поиск по индексу
Ну очень грубая (примерно как π = 3) иллюстрация того, как работает поиск по индексу Ну очень грубая (примерно как π = 3) иллюстрация того, как работает поиск по индексу

Ну очень грубая (примерно как π = 3) иллюстрация того, как работает поиск по индексу

1 month, 1 week назад @ t.me
ИндексыЛучшее, что можно сделать после того, как вы освоили основы SQL (select, where, join, group by итп) — разобраться, как работают индексы.Именно это позволит вам писать эффективные запросы.Люди часто думают, что индексы — это какая-то ускорительная ма
ИндексыЛучшее, что можно сделать после того, как вы освоили основы SQL (select, where, join, group by итп) — разобраться, как работают индексы.Именно это позволит вам писать эффективные запросы.Люди часто думают, что индексы — это какая-то ускорительная ма

ИндексыЛучшее, что можно сделать после того, как вы освоили основы SQL (select, where, join, group by итп) — разобраться, как работают индексы.Именно это позволит вам писать эффективные запросы.Люди часто думают, что индексы — это какая-то ускорительная магия. На самом деле, нет.Индекс — это отсортированный набор значений, каждое из которых указывает обратно на запись таблицы, из которой его взяли.Индекс организован в виде дерева. Это позволяет движку БД моментально находить нужное значение и вытаскивать связанную запись из таблицы (см. упрощенную картинку).Лучший материал, чтобы освоить индексы и быстродействие SQL в целом — Use The Index, Luke Маркуса Винанда. Его книга выводит понимание …

1 month, 1 week назад @ t.me
Сводные таблицы в SQLiteСводные таблицы — популярный инструмент отчетности.Допустим, у нас есть таблица продаж продуктов по годам:— продукт,— год,— выручка.И мы хотим преобразовать ее в сводную:— по строкам продукты,— по столбцам годы,— на пересечении стро
Сводные таблицы в SQLiteСводные таблицы — популярный инструмент отчетности.Допустим, у нас есть таблица продаж продуктов по годам:— продукт,— год,— выручка.И мы хотим преобразовать ее в сводную:— по строкам продукты,— по столбцам годы,— на пересечении стро

Сводные таблицы в SQLiteСводные таблицы — популярный инструмент отчетности.Допустим, у нас есть таблица продаж продуктов по годам:— продукт,— год,— выручка.И мы хотим преобразовать ее в сводную:— по строкам продукты,— по столбцам годы,— на пересечении строки и столбца — выручка.У SQLite нет встроенного оператора PIVOT. Но все же существует несколько способов решить задачу:1. Фильтр по итогам.2. Динамический SQL.3. Специальное расширение.Подробности в отдельной статье, а то такие толстые запросы в телеграм плохо ложатся.https://antonz.ru/sqlite-pivot-table/

1 month, 1 week назад @ t.me
Регулярные выражения в SQLiteРегулярные выражения — пожалуй, самый мощный инструмент обработки текста без программирования.По умолчанию «регулярки» отсутствуют в SQLite, но вы легко можете их добавить с новым расширением regexp.В комплекте:— проверка строк
Регулярные выражения в SQLiteРегулярные выражения — пожалуй, самый мощный инструмент обработки текста без программирования.По умолчанию «регулярки» отсутствуют в SQLite, но вы легко можете их добавить с новым расширением regexp.В комплекте:— проверка строк

Регулярные выражения в SQLiteРегулярные выражения — пожалуй, самый мощный инструмент обработки текста без программирования.По умолчанию «регулярки» отсутствуют в SQLite, но вы легко можете их добавить с новым расширением regexp.В комплекте:— проверка строки на соответствие шаблону;— извлечение фрагмента строки по шаблону;— замена по шаблону.Поддерживается довольно навороченный синтаксис, включая всякие разные группы, ленивые квантификаторы и look-around.Unicode тоже поддерживается, что для русского особенно приятно.Главное, не злоупотребляйте :)

1 month, 2 weeks назад @ t.me
SQLite в 2022 годуВот заметные фичи, которые появились в SQLite в прошедшем году:— Операторы -> и ->> в JSON (3.38)— RIGHT и FULL JOIN (3.39)— Функция unixepoch() (3.38)— Оператор IS DISTINCT FROM для совместимости со стандартом (3.39)— Расширение
SQLite в 2022 годуВот заметные фичи, которые появились в SQLite в прошедшем году:— Операторы -> и ->> в JSON (3.38)— RIGHT и FULL JOIN (3.39)— Функция unixepoch() (3.38)— Оператор IS DISTINCT FROM для совместимости со стандартом (3.39)— Расширение

SQLite в 2022 годуВот заметные фичи, которые появились в SQLite в прошедшем году:— Операторы -> и ->> в JSON (3.38)— RIGHT и FULL JOIN (3.39)— Функция unixepoch() (3.38)— Оператор IS DISTINCT FROM для совместимости со стандартом (3.39)— Расширение recovery для восстановления битых баз— SQLite теперь компилируют в WASM (3.40)Попробовать новые фичи всегда можно в песочнице sqlime

2 months, 3 weeks назад @ t.me
Выполнить произвольный SQL из строкиЗадавать функции прямо в SQL — это здорово. Но что делать, если хочется динамически составить SQL-запрос и выполнить его?Поможет функция eval():> select eval('select 10 + 32');42Можно выполнять любые DDL и DML запросы
Выполнить произвольный SQL из строкиЗадавать функции прямо в SQL — это здорово. Но что делать, если хочется динамически составить SQL-запрос и выполнить его?Поможет функция eval():> select eval('select 10 + 32');42Можно выполнять любые DDL и DML запросы

Выполнить произвольный SQL из строкиЗадавать функции прямо в SQL — это здорово. Но что делать, если хочется динамически составить SQL-запрос и выполнить его?Поможет функция eval():> select eval('select 10 + 32');42Можно выполнять любые DDL и DML запросы:select eval('create table tmp(value int)');select eval('insert into tmp(value) values (1), (2), (3)');select eval('select value from tmp');select eval('drop table tmp');Функция входит в расширение define.

6 months назад @ t.me
Пользовательские функции в SQLiteВообще-то их нет. Да, можно написать функцию на С или Python, и зарегистрировать в SQLite. Но не прямо в SQL.Но все меняется, если подключить расширение define! С ним можно писать функции на чистом SQL.С define несложно опр
Пользовательские функции в SQLiteВообще-то их нет. Да, можно написать функцию на С или Python, и зарегистрировать в SQLite. Но не прямо в SQL.Но все меняется, если подключить расширение define! С ним можно писать функции на чистом SQL.С define несложно опр

Пользовательские функции в SQLiteВообще-то их нет. Да, можно написать функцию на С или Python, и зарегистрировать в SQLite. Но не прямо в SQL.Но все меняется, если подключить расширение define! С ним можно писать функции на чистом SQL.С define несложно определить собственную функцию:select define('sumn', ':n * (:n + 1) / 2');А затем использовать, как будто встроенную:> select sumn(5);15Пользовательские функции могут принимать несколько параметров и вызывать другие функции.Сгенерировать случайное N, такое что a ≤ N ≤ b:> select define('randint', ':a + abs(random()) % (:b - :a + 1)');> select randint(10, 99);42Можно даже задать функцию, которая возвращает несколько значений!Подробности в доку…

6 months, 2 weeks назад @ t.me
Расширения SQLite для процессоров AppleНаконец дошли руки настроить сборку расширений для ARM-процессоров Apple (M1, M2).Плюс вместо кучи мелких файлов сделал по архиву для каждой операционной системы.Заодно напомню, какие сейчас есть расширения:— crypto:
Расширения SQLite для процессоров AppleНаконец дошли руки настроить сборку расширений для ARM-процессоров Apple (M1, M2).Плюс вместо кучи мелких файлов сделал по архиву для каждой операционной системы.Заодно напомню, какие сейчас есть расширения:— crypto:

Расширения SQLite для процессоров AppleНаконец дошли руки настроить сборку расширений для ARM-процессоров Apple (M1, M2).Плюс вместо кучи мелких файлов сделал по архиву для каждой операционной системы.Заодно напомню, какие сейчас есть расширения:— crypto: криптографические хеш-функции вроде SHA-1 и SHA-256.— fileio: работа с файловой системой — чтение и запись файлов, создание каталогов.— fuzzy: нечеткое сравнение строк, фонетические алгоритмы, транслитерация.— ipaddr: манипуляция IP-адресами и подсетями.— json1: работа с JSON.— math: математические функции.— re: регулярные выражения.— stats: статистика — медиана, процентили, стандартное отклонение.— text: работа со строками.— unicode: подд…

6 months, 3 weeks назад @ t.me
Datalytics Datalytics
последний пост 8 часов назад
Математика дата саентиста - здесь мы публикуем математические задачи и гайды для машинного обучения с упором на практику. Проверяем ваши знания, а затем на основе ошибок предлагаем статьи и уроки. В закрепе канала вы найдете ChatGpt бот последней, который
Математика дата саентиста - здесь мы публикуем математические задачи и гайды для машинного обучения с  упором на практику. Проверяем ваши знания, а затем на основе ошибок предлагаем статьи и уроки. В закрепе канала вы найдете ChatGpt бот последней, который Математика дата саентиста - здесь мы публикуем математические задачи и гайды для машинного обучения с упором на практику. Проверяем ваши знания, а затем на основе ошибок предлагаем статьи и уроки. В закрепе канала вы найдете ChatGpt бот последней, который

Математика дата саентиста - здесь мы публикуем математические задачи и гайды для машинного обучения с упором на практику. Проверяем ваши знания, а затем на основе ошибок предлагаем статьи и уроки. В закрепе канала вы найдете ChatGpt бот последней, который пишет код на высоком уровне и решает задачи.Если хочешь познать дзен и понимать как работают алгоритмы, а не просто импортировать их, подписывайся. Здесь реально учат[email protected]_math

8 часов назад @ t.me
👩‍💻 Хочешь освоить PostgreSQL?👁‍🗨 28 марта в 20:00 в OTUS пройдет открытый урок «Архитектура хранилищ данных. Как сделать выбор?» с Алексеем Железным, архитектором баз данных PostgreSQLНа занятии мы разберем:➡️ Какие вопросы нужно задать себе перед началом
👩‍💻 Хочешь освоить PostgreSQL?👁‍🗨 28 марта в 20:00 в OTUS пройдет открытый урок «Архитектура хранилищ данных. Как сделать выбор?» с Алексеем Железным, архитектором баз данных PostgreSQLНа занятии мы разберем:➡️ Какие вопросы нужно задать себе перед началом 👩‍💻 Хочешь освоить PostgreSQL?👁‍🗨 28 марта в 20:00 в OTUS пройдет открытый урок «Архитектура хранилищ данных. Как сделать выбор?» с Алексеем Железным, архитектором баз данных PostgreSQLНа занятии мы разберем:➡️ Какие вопросы нужно задать себе перед началом

👩‍💻 Хочешь освоить PostgreSQL?👁‍🗨 28 марта в 20:00 в OTUS пройдет открытый урок «Архитектура хранилищ данных. Как сделать выбор?» с Алексеем Железным, архитектором баз данных PostgreSQLНа занятии мы разберем:➡️ Какие вопросы нужно задать себе перед началом проектирования хранилищ данных➡️ Какие есть основные принципы построения DWH➡️ Какие ключевые особенности присущи различным архитектурам и как сделать выбор в пользу одного из решений⚡️ А также на практике построите архитектуру тестового хранилища прямо на занятии!👨‍💻 Открытый урок пройдет в рамках онлайн-курса «PostgreSQL Cloud Solutions», рассчитанного на DevOps-инженеров, SRE, архитекторов данных, администраторов баз данных и разработч…

1 day, 11 hours назад @ t.me
Data Engineer в Яндекс ПрактикумПрактикум ищет дата-инженера, которому предстоит заниматься стабильностью поставки и качеством данных для аналитиков в широком смысле. Задачи включают в себя эксплуатацию, проектирование DWH и ETL-процессов.Мы готовы давать
Data Engineer в Яндекс ПрактикумПрактикум ищет дата-инженера, которому предстоит заниматься стабильностью поставки и качеством данных для аналитиков в широком смысле. Задачи включают в себя эксплуатацию, проектирование DWH и ETL-процессов.Мы готовы давать

Data Engineer в Яндекс ПрактикумПрактикум ищет дата-инженера, которому предстоит заниматься стабильностью поставки и качеством данных для аналитиков в широком смысле. Задачи включают в себя эксплуатацию, проектирование DWH и ETL-процессов.Мы готовы давать свободу в принятии решений и доверять, а в свою очередь ждём, что вы уже опытный дата-инженер, решали подобные задачи, работали с разными аналитическими и не только БД, и вам интересно расширять зону своей ответственности.Читайте про вакансию подробнее и откликайтесь на нашем сайте: https://goo.su/OsoXDk

3 days назад @ t.me
⚡️Старший аналитик в HR TechСтек: SQL, Python, Pandas, ExcelКоманда people-аналитики Яндекса ищет коллегу и друга, который будет помогать развивать аналитику в HR-департаменте, проверять гипотезы бизнеса с помощью данных и участвовать в разработке дашбордо
⚡️Старший аналитик в HR TechСтек: SQL, Python, Pandas, ExcelКоманда people-аналитики Яндекса ищет коллегу и друга, который будет помогать развивать аналитику в HR-департаменте, проверять гипотезы бизнеса с помощью данных и участвовать в разработке дашбордо

⚡️Старший аналитик в HR TechСтек: SQL, Python, Pandas, ExcelКоманда people-аналитики Яндекса ищет коллегу и друга, который будет помогать развивать аналитику в HR-департаменте, проверять гипотезы бизнеса с помощью данных и участвовать в разработке дашбордов.Вы будете сотрудничать с коллегами из других департаментов и нашими топ-менеджерами, много работать с большими данными, делать на их основе выводы и прогнозы, в итоге — влиять на настоящее и будущее всей компании. Вам предстоит анализировать экосистему аналитических продуктов по ключевым метрикам — найму, движению, обучению, вовлечённости и другим сторонам жизни сотрудников🌙Что нужно делать:— отвечать за подготовку аналитических расчётов…

4 days, 10 hours назад @ t.me
💬 Вступайте в сообщество MLOps-инженеров в Telegram. Там публикуем дайджесты, обсуждаем новые инструменты и технологии.В сообществе вы найдете: ▫️ Новости индустрии production ML;▫️ Полезные статьи, инструменты и технологии;▫️ Опыт коллег и лучшие практики
💬 Вступайте в сообщество MLOps-инженеров в Telegram. Там публикуем дайджесты, обсуждаем новые инструменты и технологии.В сообществе вы найдете: ▫️ Новости индустрии production ML;▫️ Полезные статьи, инструменты и технологии;▫️ Опыт коллег и лучшие практики 💬 Вступайте в сообщество MLOps-инженеров в Telegram. Там публикуем дайджесты, обсуждаем новые инструменты и технологии.В сообществе вы найдете: ▫️ Новости индустрии production ML;▫️ Полезные статьи, инструменты и технологии;▫️ Опыт коллег и лучшие практики

💬 Вступайте в сообщество MLOps-инженеров в Telegram. Там публикуем дайджесты, обсуждаем новые инструменты и технологии.В сообществе вы найдете: ▫️ Новости индустрии production ML;▫️ Полезные статьи, инструменты и технологии;▫️ Опыт коллег и лучшие практики.Присоединяйтесь, чтобы получать новые знания от практиков MLOps и дата-аналитики: https://t.me/+rOZxsh8_QQdhODEyРеклама ООО «Селектел», Pb3XmBtzsrvdJQYxEVcrptUxGFrqrVv45CMc4NC

1 week назад @ t.me
22 марта в 19:00 ШАД Helper проводит вебинар по теме «Как пройти Data Science собеседование».Мы расскажем, как войти в мир IT со стороны Data Science, каким образом подготовиться к собеседованию в хорошую компанию.О чем вебинар? - Поговорим про собеседован
22 марта в 19:00 ШАД Helper проводит вебинар по теме «Как пройти Data Science собеседование».Мы расскажем, как войти в мир IT со стороны Data Science, каким образом подготовиться к собеседованию в хорошую компанию.О чем вебинар? - Поговорим про собеседован 22 марта в 19:00 ШАД Helper проводит вебинар по теме «Как пройти Data Science собеседование».Мы расскажем, как войти в мир IT со стороны Data Science, каким образом подготовиться к собеседованию в хорошую компанию.О чем вебинар? - Поговорим про собеседован

22 марта в 19:00 ШАД Helper проводит вебинар по теме «Как пройти Data Science собеседование».Мы расскажем, как войти в мир IT со стороны Data Science, каким образом подготовиться к собеседованию в хорошую компанию.О чем вебинар? - Поговорим про собеседования в топовые IT компании ⁃ Разберем типичные вопросы и задачи с собеседований на Junior позицию в Data Science ⁃ Расскажем про ШАД Helper, как происходит обучение ⁃ Познакомим вас с нашими преподавателямиГости эфира: Александр Лыков — академический руководитель в ШАД Helper.Андрей Канунников — преподаватель по алгебре и дискретной математике в ШАД Helper. Егор Илларионов — преподаватель по теории вероятностей в ШАД Helper. Ирина Пионтковск…

1 week, 1 day назад @ t.me
Когда мы говорим об анализе данных, нельзя забывать про пространственные данные. Для их отображения и анализа раньше требовалось знание сложного геоинформационного ПО, но теперь есть платформа FlexGIS, позволяющая сделать собственную интерактивную карту за
Когда мы говорим об анализе данных, нельзя забывать про пространственные данные. Для их отображения и анализа раньше требовалось знание сложного геоинформационного ПО, но теперь есть платформа FlexGIS, позволяющая сделать собственную интерактивную карту за

Когда мы говорим об анализе данных, нельзя забывать про пространственные данные. Для их отображения и анализа раньше требовалось знание сложного геоинформационного ПО, но теперь есть платформа FlexGIS, позволяющая сделать собственную интерактивную карту за несколько минут, то есть быстрее, чем слайд презентации. Зачем нужна веб-картография?🔸разместить различные данные на карте для поиска зависимостей или подтверждения гипотез с помощью инструментов геоанализа🔸поделиться результатами исследования🔸подготовить презентационный материал, проиллюстрировать выводы🔸разместить информацию на сайтеФункционал платформы FlexGIS позволяет:🔸создать свою карту без знаний картографии или геоинформационных с…

1 week, 2 days назад @ t.me
🔥 Как применяют NLP в современном мире? 📌 Обсудим 21 марта в 18:00 мск на открытом уроке онлайн-курса «Natural Language Processing (NLP)» в OTUS (возможна рассрочка). Тема вебинара: «Современные применения Natural Language Processing».📝 На занятии вы узнае
🔥 Как применяют NLP в современном мире? 📌 Обсудим 21 марта в 18:00 мск на открытом уроке онлайн-курса «Natural Language Processing (NLP)» в OTUS (возможна рассрочка). Тема вебинара: «Современные применения Natural Language Processing».📝 На занятии вы узнае 🔥 Как применяют NLP в современном мире? 📌 Обсудим 21 марта в 18:00 мск на открытом уроке онлайн-курса «Natural Language Processing (NLP)» в OTUS (возможна рассрочка). Тема вебинара: «Современные применения Natural Language Processing».📝 На занятии вы узнае

🔥 Как применяют NLP в современном мире? 📌 Обсудим 21 марта в 18:00 мск на открытом уроке онлайн-курса «Natural Language Processing (NLP)» в OTUS (возможна рассрочка). Тема вебинара: «Современные применения Natural Language Processing».📝 На занятии вы узнаете:— Что делает область NLP одной из самых востребованных областей Data Science сегодня— Какие задачи сегодня решают с помощью методов NLP и что стоит за успехами в этой области— Какие существуют подходы к решению задач по NLP?👉 Урок будет полезен IT-специалистам, которые хотят расширить свои знания в Data Science, дата-сайентистам, желающим углубить свои знания по автоматической обработке текстов.💻 Спикером выступит Мария Тихонова, руково…

1 week, 3 days назад @ t.me
Яндекс Практикум ищет наставников на курс «Продуктовый аналитик» Наставники учат студентов продуктовому подходу. Проект можно совмещать с основной работой: он будет занимать от 8 до 12 часов в неделю удалённо.   Какие задачи нужно будет решать?— проводить
Яндекс Практикум ищет наставников на курс «Продуктовый аналитик» Наставники учат студентов продуктовому подходу. Проект можно совмещать с основной работой: он будет занимать от 8 до 12 часов в неделю удалённо.   Какие задачи нужно будет решать?— проводить Яндекс Практикум ищет наставников на курс «Продуктовый аналитик» Наставники учат студентов продуктовому подходу. Проект можно совмещать с основной работой: он будет занимать от 8 до 12 часов в неделю удалённо.   Какие задачи нужно будет решать?— проводить

Яндекс Практикум ищет наставников на курс «Продуктовый аналитик» Наставники учат студентов продуктовому подходу. Проект можно совмещать с основной работой: он будет занимать от 8 до 12 часов в неделю удалённо. Какие задачи нужно будет решать?— проводить встречи в мини-группах по 4-5 человек,— разбирать проекты студентов и частые ошибки,— рассказывать про интересные и удачные решения. Кого мы ждём?Действующих продуктовых аналитиков с опытом от двух лет, которые проводили продуктовые исследования и разбираются в метриках. Важно владеть математической статистикой, SQL и Tableau или Apache Superset. Что мы предлагаем?◾️ Удалённое сотрудничество из любой точки мира. ◾️ Дополнительный доход.◾️ Се…

2 weeks назад @ t.me
Как начать использовать R в работе с данными? Начните знакомство с экосистемой R 🗓 15 марта 20:00 на открытом уроке онлайн-курса «R для анализа данных» в OTUS.На вебинаре мы изучим 3 популярных средства разработки и анализа данных:RStudio — это интегрирова
Как начать использовать R в работе с данными? Начните знакомство с экосистемой R 🗓 15 марта 20:00 на открытом уроке онлайн-курса «R для анализа данных» в OTUS.На вебинаре мы изучим 3 популярных средства разработки и анализа данных:RStudio — это интегрирова Как начать использовать R в работе с данными? Начните знакомство с экосистемой R 🗓 15 марта 20:00 на открытом уроке онлайн-курса «R для анализа данных» в OTUS.На вебинаре мы изучим 3 популярных средства разработки и анализа данных:RStudio — это интегрирова

Как начать использовать R в работе с данными? Начните знакомство с экосистемой R 🗓 15 марта 20:00 на открытом уроке онлайн-курса «R для анализа данных» в OTUS.На вебинаре мы изучим 3 популярных средства разработки и анализа данных:RStudio — это интегрированная среда разработки (IDE) для R, которая предоставляет множество удобных инструментов для написания, отладки и тестирования кода на R. Мы рассмотрим основные возможности RStudio для анализа данных: работа с таблицами, построение графиков.Jupyter — это интерактивная среда разработки, которая поддерживает несколько языков программирования, в том числе R. Мы покажем, как использовать Jupyter для создания документов, которые объединяют код, …

2 weeks, 4 days назад @ t.me
⚡️Старший BI-аналитик в HR TechСтек: SQL, Tableau, Power BI, DataLens Python, Spark, JavaScriptПринимать решения на основе данных Яндексу помогает экосистема интерактивных дашбордов, которая показывает динамику самых важных HR-метрик. Мы ищем Старшего BI-а
⚡️Старший BI-аналитик в HR TechСтек: SQL, Tableau, Power BI, DataLens Python, Spark, JavaScriptПринимать решения на основе данных Яндексу помогает экосистема интерактивных дашбордов, которая показывает динамику самых важных HR-метрик. Мы ищем Старшего BI-а

⚡️Старший BI-аналитик в HR TechСтек: SQL, Tableau, Power BI, DataLens Python, Spark, JavaScriptПринимать решения на основе данных Яндексу помогает экосистема интерактивных дашбордов, которая показывает динамику самых важных HR-метрик. Мы ищем Старшего BI-аналитика, который будет собирать, анализировать и визуализировать данные с помощью BI-инструментов. Вам предстоит создавать экосистему аналитических продуктов по ключевым метрикам — найму, движению, обучению, вовлечённости и другим сторонам жизни сотрудников🌙Что нужно делать:— разрабатывать макеты дашбордов;— визуализировать метрики и данные с использованием BI-инструментов;— управлять пулом дашбордов как продуктом: собирать требования, ве…

3 weeks назад @ t.me
ChatGPT в массы!OpenAI только что написали, что теперь ChatGPT доступна по API, то есть каждый разработчик может добавить её в своё приложение буквально за один вечер. Из интересного - пишут, что с декабря достигли 90% снижения трат через разные оптимизаци
ChatGPT в массы!OpenAI только что написали, что теперь ChatGPT доступна по API, то есть каждый разработчик может добавить её в своё приложение буквально за один вечер. Из интересного - пишут, что с декабря достигли 90% снижения трат через разные оптимизаци

ChatGPT в массы!OpenAI только что написали, что теперь ChatGPT доступна по API, то есть каждый разработчик может добавить её в своё приложение буквально за один вечер. Из интересного - пишут, что с декабря достигли 90% снижения трат через разные оптимизации. Цена в 10 раз ниже самой мощной GPT-3.5, которая была доступна для этого. Вероятнее всего, модель уменьшили в размерах (то есть это может быть условно не 175B, а 6.7B модель, которая тоже очень неплоха).Еще объявили о нескольких интеграциях, например, в Quizlet -сервис, способствующий обучению и изучению новых тем. Теперь будет доступен персональный AI-преподаватель, который подскажет и объяснит. Instacart позволить покупателям задавать…

3 weeks, 1 day назад @ t.me
Datalytics pinned a photo
Datalytics pinned a photo

Datalytics pinned a photo

3 weeks, 2 days назад @ t.me
Большие языковые модели (LLMs), к которым относится ChatGPT (и GPT3, которая под капотом у ChatGPT) открывают огромный простор для дешевого создания сервисов, способных выполнять операции по несложному семантическому анализу. Например, я за пару часов с ис
Большие языковые модели (LLMs), к которым относится ChatGPT (и GPT3, которая под капотом у ChatGPT) открывают огромный простор для дешевого создания сервисов, способных выполнять операции по несложному семантическому анализу. Например, я за пару часов с ис Большие языковые модели (LLMs), к которым относится ChatGPT (и GPT3, которая под капотом у ChatGPT) открывают огромный простор для дешевого создания сервисов, способных выполнять операции по несложному семантическому анализу. Например, я за пару часов с ис

Большие языковые модели (LLMs), к которым относится ChatGPT (и GPT3, которая под капотом у ChatGPT) открывают огромный простор для дешевого создания сервисов, способных выполнять операции по несложному семантическому анализу. Например, я за пару часов с использованием API Яндекс.Переводчика, API OpenAI и библиотеки LangChain сделал небольшого бота, который в ответ на фразу даёт численные оценки её специфичности и детализации с объяснением почему была дана такая оценка, а также рекомендациями как эти показатели улучшить. На картинках примеры, а в конце поста ссылка на блокнотОтдельно стоит заметить, что в работе с запросами к GPT3 важную роль играет сколько мы поставляем ей примеров и явное …

3 weeks, 2 days назад @ t.me
Зачем индустрии IT необходимы архитекторы и как стать экспертом в этом направлении? Узнаешь на ближайшей лекции Digital Лектория Газпромбанка. Владимир Григорьев, Архитектор стрима «Розничный Миддл» в Газпромбанке, расскажет о:— истории и причинах появлени
Зачем индустрии IT необходимы архитекторы и как стать экспертом в этом направлении? Узнаешь на ближайшей лекции Digital Лектория Газпромбанка. Владимир Григорьев, Архитектор стрима «Розничный Миддл» в Газпромбанке, расскажет о:— истории и причинах появлени Зачем индустрии IT необходимы архитекторы и как стать экспертом в этом направлении? Узнаешь на ближайшей лекции Digital Лектория Газпромбанка. Владимир Григорьев, Архитектор стрима «Розничный Миддл» в Газпромбанке, расскажет о:— истории и причинах появлени

Зачем индустрии IT необходимы архитекторы и как стать экспертом в этом направлении? Узнаешь на ближайшей лекции Digital Лектория Газпромбанка. Владимир Григорьев, Архитектор стрима «Розничный Миддл» в Газпромбанке, расскажет о:— истории и причинах появления специальности ИТ-архитектора — разных видах ИТ-архитекторов и требованиях к специалистам— специализации и работе ИТ-архитекторов— роли ИТ-архитектора в Газпромбанке.Регистрируйся и присоединяйся к лекции «Карьера IT-архитектора: что нужно знать новичкам о профессии» — https://www.gpbspace.ru/digital-lectory-hall-form/

3 weeks, 3 days назад @ t.me
Труба данных Труба данных
последний пост 3 часа назад
https://github.blog/2023-03-23-we-updated-our-rsa-ssh-host-key/Немножко “новостей” от GitHub 🤪@ohmydataengineer
https://github.blog/2023-03-23-we-updated-our-rsa-ssh-host-key/Немножко “новостей” от GitHub 🤪@ohmydataengineer

https://github.blog/2023-03-23-we-updated-our-rsa-ssh-host-key/Немножко “новостей” от GitHub 🤪@ohmydataengineer

3 часа назад @ t.me
Пятничный юмор 😝@ohmydataengineer
Пятничный юмор 😝@ohmydataengineer Пятничный юмор 😝@ohmydataengineer

Пятничный юмор 😝@ohmydataengineer

9 часов назад @ t.me
И еще немного про текущее состояние индустрииКроме блоггеров, такие срезы делают и компании. Так вот, победители в категории “Самый популярный ETL” - dbt, тоже делали срез по модным analytics engineer.Отчет большой, много всяких графиков, и чтобы не спамит
И еще немного про текущее состояние индустрииКроме блоггеров, такие срезы делают и компании. Так вот, победители в категории “Самый популярный ETL” - dbt, тоже делали срез по модным analytics engineer.Отчет большой, много всяких графиков, и чтобы не спамит И еще немного про текущее состояние индустрииКроме блоггеров, такие срезы делают и компании. Так вот, победители в категории “Самый популярный ETL” - dbt, тоже делали срез по модным analytics engineer.Отчет большой, много всяких графиков, и чтобы не спамит

И еще немного про текущее состояние индустрииКроме блоггеров, такие срезы делают и компании. Так вот, победители в категории “Самый популярный ETL” - dbt, тоже делали срез по модным analytics engineer.Отчет большой, много всяких графиков, и чтобы не спамить -> https://www.getdbt.com/state-of-analytics-engineering-2023/?utm_campaign=fy-2024_the-state-of-analytics-engineering_awИз того, за что у меня зацепился взгляд:- Топ проблем хоть и очень очевидный, все равно стоит повторить: если не думать о качестве данных, то будет говно и нужны договоренности между теми, кто данные генерит и кто их потребляет.- Денюжки деньжатки. Разница в базовой компенсации между Европой и США очень сильная. - Все …

1 day, 9 hours назад @ t.me
Кто отвечает за качество данных?Тут твиттер (а что же еще? Мастодон? 🤪) принес интересное обсуждение. Дядя из Zendesk и Slack утверждает, что Data Producer не должен отвечать за качество данных. Какие-то базовые проверочки, а дальше пусть потребляторы отве
Кто отвечает за качество данных?Тут твиттер (а что же еще? Мастодон? 🤪) принес интересное обсуждение. Дядя из Zendesk и Slack утверждает, что Data Producer не должен отвечать за качество данных. Какие-то базовые проверочки, а дальше пусть потребляторы отве Кто отвечает за качество данных?Тут твиттер (а что же еще? Мастодон? 🤪) принес интересное обсуждение. Дядя из Zendesk и Slack утверждает, что Data Producer не должен отвечать за качество данных. Какие-то базовые проверочки, а дальше пусть потребляторы отве

Кто отвечает за качество данных?Тут твиттер (а что же еще? Мастодон? 🤪) принес интересное обсуждение. Дядя из Zendesk и Slack утверждает, что Data Producer не должен отвечать за качество данных. Какие-то базовые проверочки, а дальше пусть потребляторы отвечают за DQ.https://twitter.com/ananthdurai/status/1627627842929401857Лично моя позиция немного другая: те, кто данные генерируют в равной степени несут ответственность за их качество, как и те, кто эти данные забирает.Поэтому приглашаю в комменты поделиться своим опытом: а кто у вас отвечает за качество данных? DE или вдруг есть есть отдельный департамент DQ? Есть Data [email protected]

2 days, 6 hours назад @ t.me
The State of Data Engineering (но не в РФ). Часть 2.Продолжаем обзор опроса, в этот раз уже речь идет про продвинутые штуки: качество данных, каталоги данных и вот это все. Предыдущая часть доступна была тут.Что по интересным наблюдениям? - Дата каталогов
The State of Data Engineering (но не в РФ). Часть 2.Продолжаем обзор опроса, в этот раз уже речь идет про продвинутые штуки: качество данных, каталоги данных и вот это все. Предыдущая часть доступна была тут.Что по интересным наблюдениям? - Дата каталогов The State of Data Engineering (но не в РФ). Часть 2.Продолжаем обзор опроса, в этот раз уже речь идет про продвинутые штуки: качество данных, каталоги данных и вот это все. Предыдущая часть доступна была тут.Что по интересным наблюдениям? - Дата каталогов

The State of Data Engineering (но не в РФ). Часть 2.Продолжаем обзор опроса, в этот раз уже речь идет про продвинутые штуки: качество данных, каталоги данных и вот это все. Предыдущая часть доступна была тут.Что по интересным наблюдениям? - Дата каталогов нет больше чем у половины. Там есть еще график, показывающий зависимость появления этой штуки от размера компании. И это с учетом каталогов в Экселе 🤪- Если каталог есть, то это скорее всего какая-нибудь самописная штука. Радует в списке видеть Datafold, с которыми удалось поработать, очень приятные воспоминания остались от них.- ETL системы немножк не понял, как задаввался вопрос, поэтому оставлю без комментариев на радость фанатов dbtПоч…

3 days, 9 hours назад @ t.me
Встреча в БелградеНа следующей неделе я буду в Белграде, с 24 по 28 марта, поэтому хочу предложить собраться и поболтать за околоайтишные темы. Если есть желающие сделать мини-сходку, ставьте 🔥 и отписывайтесь в комменты к посту.Кудрявый на фотки для привл
Встреча в БелградеНа следующей неделе я буду в Белграде, с 24 по 28 марта, поэтому хочу предложить собраться и поболтать за околоайтишные темы. Если есть желающие сделать мини-сходку, ставьте 🔥 и отписывайтесь в комменты к посту.Кудрявый на фотки для привл Встреча в БелградеНа следующей неделе я буду в Белграде, с 24 по 28 марта, поэтому хочу предложить собраться и поболтать за околоайтишные темы. Если есть желающие сделать мини-сходку, ставьте 🔥 и отписывайтесь в комменты к посту.Кудрявый на фотки для привл

Встреча в БелградеНа следующей неделе я буду в Белграде, с 24 по 28 марта, поэтому хочу предложить собраться и поболтать за околоайтишные темы. Если есть желающие сделать мини-сходку, ставьте 🔥 и отписывайтесь в комменты к посту.Кудрявый на фотки для привлечения внимания 🤪@ohmydataengineer

4 days, 8 hours назад @ t.me
Пятничный юмор 🤪@ohmydataengineer
Пятничный юмор 🤪@ohmydataengineer Пятничный юмор 🤪@ohmydataengineer

Пятничный юмор 🤪@ohmydataengineer

1 week назад @ t.me
The State of Data Engineering (но не в РФ). Часть 1.Когда я выступал какое-то время назад на TechTrain, я делал опрос по поводу технологий/стека и языков, используемых у нас в сфере. Но опрос был сугубо на РФ аудиторию. Наткнулся тут у одного из популярных
The State of Data Engineering (но не в РФ). Часть 1.Когда я выступал какое-то время назад на TechTrain, я делал опрос по поводу технологий/стека и языков, используемых у нас в сфере. Но опрос был сугубо на РФ аудиторию. Наткнулся тут у одного из популярных The State of Data Engineering (но не в РФ). Часть 1.Когда я выступал какое-то время назад на TechTrain, я делал опрос по поводу технологий/стека и языков, используемых у нас в сфере. Но опрос был сугубо на РФ аудиторию. Наткнулся тут у одного из популярных

The State of Data Engineering (но не в РФ). Часть 1.Когда я выступал какое-то время назад на TechTrain, я делал опрос по поводу технологий/стека и языков, используемых у нас в сфере. Но опрос был сугубо на РФ аудиторию. Наткнулся тут у одного из популярных блоггеров на похожый опрос и решил посмотреть результаты. Результаты в большей степени релевантны для американского рынка, ~400 человек ответило, подавляющее большинство именно определяют себя как Data Engineer.Смотрим картинки, мои комментарии, как всегда, особо и не нужны, и так все очевидно:- Ходуб умер. Для аналитических платформ лидирует BQ, затем Snowflake, Redshift и Databricks. И это там, где была выбрана только одна платформа. У …

1 week, 1 day назад @ t.me
Пятничный юмор 🤪@ohmydataengineer
Пятничный юмор 🤪@ohmydataengineer Пятничный юмор 🤪@ohmydataengineer

Пятничный юмор 🤪@ohmydataengineer

2 weeks назад @ t.me
Наверняка, идея не новая, но столкнулся я с ней впервые!Кажется, что парсят LinkedIn, находят Team Lead позиции, по стандартной схеме [email protected]_name.com создают емейл и на него ковром бомбардируют.Ну или проще (и без паранои и всяких техническ
Наверняка, идея не новая, но столкнулся я с ней впервые!Кажется, что парсят LinkedIn, находят Team Lead позиции, по стандартной схеме name.last_name@company_name.com создают емейл и на него ковром бомбардируют.Ну или проще (и без паранои и всяких техническ Наверняка, идея не новая, но столкнулся я с ней впервые!Кажется, что парсят LinkedIn, находят Team Lead позиции, по стандартной схеме [email protected]_name.com создают емейл и на него ковром бомбардируют.Ну или проще (и без паранои и всяких техническ

Наверняка, идея не новая, но столкнулся я с ней впервые!Кажется, что парсят LinkedIn, находят Team Lead позиции, по стандартной схеме [email protected]_name.com создают емейл и на него ковром бомбардируют.Ну или проще (и без паранои и всяких технических уловок), кто-то из конференций и митапов, где я регался на рабочую почту, поделился контактами.Но в футере с дисклеймерами ничего внятного на эту тему не было написано[email protected]

2 weeks, 1 day назад @ t.me
How it started / How it is goingПомните такой мем? Немножко улыбнулся от этой новости =)P.S. Это ни в коем случае не намек и не призыв “А задонатьте мне сейчас!”. Донаты совершенно доброльные и только если вы действительно хотите поддержать то, что я делаю
How it started / How it is goingПомните такой мем? Немножко улыбнулся от этой новости =)P.S. Это ни в коем случае не намек и не призыв “А задонатьте мне сейчас!”. Донаты совершенно доброльные и только если вы действительно хотите поддержать то, что я делаю How it started / How it is goingПомните такой мем? Немножко улыбнулся от этой новости =)P.S. Это ни в коем случае не намек и не призыв “А задонатьте мне сейчас!”. Донаты совершенно доброльные и только если вы действительно хотите поддержать то, что я делаю

How it started / How it is goingПомните такой мем? Немножко улыбнулся от этой новости =)P.S. Это ни в коем случае не намек и не призыв “А задонатьте мне сейчас!”. Донаты совершенно доброльные и только если вы действительно хотите поддержать то, что я делаю, даже 100 рублями. Это сообщение не должно оказывать давление на вашу совесть.Впрочем, подозреваю, что 💩 накидают под постом, как бы я не писал о том, что это-просто-юмор[email protected]

2 weeks, 2 days назад @ t.me
О покойниках или хорошо, или ничего.Последний год было очень печально наблюдать смерть ODS. Для тех, кто не знает, что это такое, когда-то это была одна из самых крупных (если не самая крупная) сеть сообществ по DS и все, что связано с обработкой и хранени
О покойниках или хорошо, или ничего.Последний год было очень печально наблюдать смерть ODS. Для тех, кто не знает, что это такое, когда-то это была одна из самых крупных (если не самая крупная) сеть сообществ по DS и все, что связано с обработкой и хранени О покойниках или хорошо, или ничего.Последний год было очень печально наблюдать смерть ODS. Для тех, кто не знает, что это такое, когда-то это была одна из самых крупных (если не самая крупная) сеть сообществ по DS и все, что связано с обработкой и хранени

О покойниках или хорошо, или ничего.Последний год было очень печально наблюдать смерть ODS. Для тех, кто не знает, что это такое, когда-то это была одна из самых крупных (если не самая крупная) сеть сообществ по DS и все, что связано с обработкой и хранением данных. Если не обращать внимание на некоторых ну жутко токсичных людей, сообщество было очень полезным. Начиная от какого-то понимания рынка зарплат (к вакансиям было требование, чтобы они публиковались с вилкой), до каких-то узко-специализирванных каналов по технологиям, где всегда можно было подчерпнуть интересный материал. Если не заходить в каналы-флудилки, это приносило пользу.Но за последние 2 года там образовался культ нескольки…

2 weeks, 4 days назад @ t.me
Немного очередного пятничного юмора@ohmydataengineer
Немного очередного пятничного юмора@ohmydataengineer

Немного очередного пятничного юмора@ohmydataengineer

3 weeks назад @ t.me
Можно я обнаглею и повыпендриваюсь немножк, можно да? Ну пожалуйста, можно я чуть-чуть пощекочу и потеребонькаю свою гордость?Как нужно проводить технический собесы, чтобы кандидаты, вне зависимости от результата, благодарили за него. И еще пара десятов(!!
Можно я обнаглею и повыпендриваюсь немножк, можно да? Ну пожалуйста, можно я чуть-чуть пощекочу и потеребонькаю свою гордость?Как нужно проводить технический собесы, чтобы кандидаты, вне зависимости от результата, благодарили за него. И еще пара десятов(!! Можно я обнаглею и повыпендриваюсь немножк, можно да? Ну пожалуйста, можно я чуть-чуть пощекочу и потеребонькаю свою гордость?Как нужно проводить технический собесы, чтобы кандидаты, вне зависимости от результата, благодарили за него. И еще пара десятов(!!

Можно я обнаглею и повыпендриваюсь немножк, можно да? Ну пожалуйста, можно я чуть-чуть пощекочу и потеребонькаю свою гордость?Как нужно проводить технический собесы, чтобы кандидаты, вне зависимости от результата, благодарили за него. И еще пара десятов(!!) благодарностей сказано на самих собесах.Очень приятно это слышать, значит я делаю все правильно.Спасибо, выпендреж закончен.🤪@ohmydataengineer

3 weeks, 3 days назад @ t.me
https://www.linkedin.com/business/talent/blog/talent-strategy/linkedin-most-in-demand-hard-and-soft-skillsСмотрите, что тут LinkedIn выкатил несколько дней назад - “Most in-demand hard and soft skills”. Как всегда, в чатиках успели это уже обсосать, но не
https://www.linkedin.com/business/talent/blog/talent-strategy/linkedin-most-in-demand-hard-and-soft-skillsСмотрите, что тут LinkedIn выкатил несколько дней назад - “Most in-demand hard and soft skills”.  Как всегда, в чатиках успели это уже обсосать, но не https://www.linkedin.com/business/talent/blog/talent-strategy/linkedin-most-in-demand-hard-and-soft-skillsСмотрите, что тут LinkedIn выкатил несколько дней назад - “Most in-demand hard and soft skills”. Как всегда, в чатиках успели это уже обсосать, но не

https://www.linkedin.com/business/talent/blog/talent-strategy/linkedin-most-in-demand-hard-and-soft-skillsСмотрите, что тут LinkedIn выкатил несколько дней назад - “Most in-demand hard and soft skills”. Как всегда, в чатиках успели это уже обсосать, но не спамить же вас контентом тыщу раз на дню?) Пара забавных наблюдений:Global talent shortages have reached a 16-year high, as 75% of employers can’t find the talent they need with the right blend of technical and soft skillsСокращения сокращениями, но вот нехватка кадров достигла 16-летнего максимума. Бигтехи сокращают, а людей все равно не хватает.Второй забавный факт - вторым по популярности hard-скиллом является SQL. Мы все в пыль космиче…

3 weeks, 4 days назад @ t.me
enthusiastech enthusiastech
последний пост 1 week, 3 days назад
What I value most in BI tool❄️ I use Looker and totally satisfied with it.Here's my list of features labeled with (H)igh, (M)edium and (L)ow priority and grouped by:— Developer experience— User experience— Administration— Monitoring, System activity— Integ
What I value most in BI tool❄️ I use Looker and totally satisfied with it.Here's my list of features labeled with (H)igh, (M)edium and (L)ow priority and grouped by:— Developer experience— User experience— Administration— Monitoring, System activity— Integ

What I value most in BI tool❄️ I use Looker and totally satisfied with it.Here's my list of features labeled with (H)igh, (M)edium and (L)ow priority and grouped by:— Developer experience— User experience— Administration— Monitoring, System activity— Integrations & AppsI used this list to compare different solutions against what I currently use to see if I can benefit from switching to another tool.You can use it as reference to populate BI tool comparison matrix (included).➡️ https://telegra.ph/What-I-value-most-in-BI-tool-03-14 →#bi #tool #solution

1 week, 3 days назад @ t.me
Channel name was changed to «[Technology Enthusiast]»
Channel name was changed to «[Technology Enthusiast]»

Channel name was changed to «[Technology Enthusiast]»

3 weeks назад @ t.me
Why I use dev containers?How to package dbt and dependencies to a reproducible container– works almost instanty for you and team members– latest stable dbt + adapter versions– easy inividual secrets set up– configuring multiple dbt targets– fancy terminal:
Why I use dev containers?How to package dbt and dependencies to a reproducible container– works almost instanty for you and team members– latest stable dbt + adapter versions– easy inividual secrets set up– configuring multiple dbt targets– fancy terminal:

Why I use dev containers?How to package dbt and dependencies to a reproducible container– works almost instanty for you and team members– latest stable dbt + adapter versions– easy inividual secrets set up– configuring multiple dbt targets– fancy terminal: zsh + git plugin + shell history+ 30 second gif live demo Read more →#dbt #dev #container

3 weeks назад @ t.me
⚡️ I have run a Proof of Concept with Redshift ServerlessAnd here's the summary:— Reserving Redshift nodes is the best option given specific usage patterns.— Reserved nodes are 30% cheaper than on-demand ones.— Serverless doesn't show stable and production
⚡️ I have run a Proof of Concept with Redshift ServerlessAnd here's the summary:— Reserving Redshift nodes is the best option given specific usage patterns.— Reserved nodes are 30% cheaper than on-demand ones.— Serverless doesn't show stable and production

⚡️ I have run a Proof of Concept with Redshift ServerlessAnd here's the summary:— Reserving Redshift nodes is the best option given specific usage patterns.— Reserved nodes are 30% cheaper than on-demand ones.— Serverless doesn't show stable and production-ready results: faced with multiple query failures during data refresh.— Moreover, Serverless will definitely cost more with the same usage patterns.Read more →#dbt #redshift #database #serverless

1 month, 1 week назад @ t.me
Finishing a new Analytics Engineering Lab on Github🚀 DWH powered by Clickhouse and dbt – Build DWH powered by Clickhouse and dbt– Deploy Infrastructure as Code with Terraform and Yandex.Cloud– Instant development with Github Codespaces– Assignment checks w
Finishing a new Analytics Engineering Lab on Github🚀 DWH powered by Clickhouse and dbt – Build DWH powered by Clickhouse and dbt– Deploy Infrastructure as Code with Terraform and Yandex.Cloud– Instant development with Github Codespaces– Assignment checks w

Finishing a new Analytics Engineering Lab on Github🚀 DWH powered by Clickhouse and dbt – Build DWH powered by Clickhouse and dbt– Deploy Infrastructure as Code with Terraform and Yandex.Cloud– Instant development with Github Codespaces– Assignment checks with Github Actions#lab #modeling #dbt #iac

1 month, 1 week назад @ t.me
Channel name was changed to «🟧 [Technology Enthusiast]»
Channel name was changed to «🟧 [Technology Enthusiast]»

Channel name was changed to «🟧 [Technology Enthusiast]»

1 month, 2 weeks назад @ t.me
🚀 Released myBI dbt Core and myBI Market showcase⚙️ myBI dbt Core module allows quick start transformations on top of data synced by myBI Connect along with multiple useful macros.— Supported Adapters: Clickhouse, PostgreSQL— Reference any data source as s
🚀 Released myBI dbt Core and myBI Market showcase⚙️ myBI dbt Core module allows quick start transformations on top of data synced by myBI Connect along with multiple useful macros.— Supported Adapters: Clickhouse, PostgreSQL— Reference any data source as s

🚀 Released myBI dbt Core and myBI Market showcase⚙️ myBI dbt Core module allows quick start transformations on top of data synced by myBI Connect along with multiple useful macros.— Supported Adapters: Clickhouse, PostgreSQL— Reference any data source as simple as select * from source('general', 'dates')— Build staging layer in one command with filters on account_id applied, pre-join with date dimension, comprehensive data testing (unique, not_null, relationships)— Leverage macros: source_filter_rows to limit rows for dev/test environments, any macro from dbt_utils package ⚡️ myBI Market showcase guides you through building Modern Data Stack analytics:— Configure environment— Install and co…

1 month, 3 weeks назад @ t.me
💎 Операционализация аналитики c инструментами класса reverse ETL – опыт использования Census 💎В публикации:— Место reverse ETL в схеме потоков данных— Потребность в решении задач операционной аналитики— Различные способы организации reverse ETL— Кейс: Cens
💎 Операционализация аналитики c инструментами класса reverse ETL – опыт использования Census 💎В публикации:— Место reverse ETL в схеме потоков данных— Потребность в решении задач операционной аналитики— Различные способы организации reverse ETL— Кейс: Cens

💎 Операционализация аналитики c инструментами класса reverse ETL – опыт использования Census 💎В публикации:— Место reverse ETL в схеме потоков данных— Потребность в решении задач операционной аналитики— Различные способы организации reverse ETL— Кейс: Census для синхронизации данных в Pipedrive CRMСегодня Операционная аналитика и практики reverse ETL - не столько дань моде, сколько насущная потребность многих компаний. Создать идеальное Хранилище мало, ведь данные создают ценность только тогда, когда вы способны их использовать.Читать на Хабр → #Pipelines #reverse-ETL

3 months, 4 weeks назад @ t.me
21 ноября (понедельник) в 20:00 проведу вебинар: 🚀 Аналитика продуктивности команд разработки на основе данных Github 🚀 Вы узнаете: 🔹 Каким образом собирать события организации из Github (Webhook, Airbyte) 🔹 С помощью чего осуществить парсинг, трансформа
21 ноября (понедельник) в 20:00 проведу вебинар: 🚀 Аналитика продуктивности команд разработки на основе данных Github 🚀 Вы узнаете: 🔹 Каким образом собирать события организации из Github (Webhook, Airbyte) 🔹 С помощью чего осуществить парсинг, трансформа

21 ноября (понедельник) в 20:00 проведу вебинар: 🚀 Аналитика продуктивности команд разработки на основе данных Github 🚀 Вы узнаете: 🔹 Каким образом собирать события организации из Github (Webhook, Airbyte) 🔹 С помощью чего осуществить парсинг, трансформации…

4 months назад @ t.me
21 ноября (понедельник) в 20:00 проведу вебинар:🚀 Аналитика продуктивности команд разработки на основе данных Github 🚀Вы узнаете:🔹 Каким образом собирать события организации из Github (Webhook, Airbyte)🔹 С помощью чего осуществить парсинг, трансформации, с
21 ноября (понедельник) в 20:00 проведу вебинар:🚀 Аналитика продуктивности команд разработки на основе данных Github 🚀Вы узнаете:🔹 Каким образом собирать события организации из Github (Webhook, Airbyte)🔹 С помощью чего осуществить парсинг, трансформации, с

21 ноября (понедельник) в 20:00 проведу вебинар:🚀 Аналитика продуктивности команд разработки на основе данных Github 🚀Вы узнаете:🔹 Каким образом собирать события организации из Github (Webhook, Airbyte)🔹 С помощью чего осуществить парсинг, трансформации, сборку витрин данных (dbt)🔹 Как приготовить метрики: PR Rate, Time to Review / Merge (Looker)Кому подходит:🔹 Начинающим и продолжающим специалистам в области Аналитики данных, Data Engineering🔹 Тем, кто интересуется современными подходами организации Хранилищ Данных🔹 Руководителям команд разработки, менеджерам и даже CTO Результаты:🔹 Познакомитесь с современными инструментами организации DWH🔹 Поймете, как устроены процессы разработки ПО в с…

4 months назад @ t.me
Databricks - пока понятно то, что ничего непонятноПробую Databricks– Установка в свой аккаунт AWS, сделать может только администратор (это не я) - ОК– Развертывание в Cloud Formation Stack в пару кликов, вроде удобно. Однако очень сложно понять, что происх
Databricks - пока понятно то, что ничего непонятноПробую Databricks– Установка в свой аккаунт AWS, сделать может только администратор (это не я) - ОК– Развертывание в Cloud Formation Stack в пару кликов, вроде удобно. Однако очень сложно понять, что происх

Databricks - пока понятно то, что ничего непонятноПробую Databricks– Установка в свой аккаунт AWS, сделать может только администратор (это не я) - ОК– Развертывание в Cloud Formation Stack в пару кликов, вроде удобно. Однако очень сложно понять, что происходит и зачем: S3, IAM, Lambda, CopyZips(??)– Сразу поднялись 3 жирных EC2 Instances i3.xlarge (зачем??), явным образом меня об этом не спросили, это не было очевидно– Очень много текста в документации, но хочется поглотить всёКто пользуется Databricks?Какие самые главные советы можете дать?

4 months, 1 week назад @ t.me
Важнейшие критерии при выборе Extract – Load решения для интеграции данных в DWHВ публикации резюмирую свои знания:— Каталог поддерживаемых источников и приемников данных.— Метод чтения данных из источников (Extract).— Способы репликации в целевое Хранилищ
Важнейшие критерии при выборе Extract – Load решения для интеграции данных в DWHВ публикации резюмирую свои знания:— Каталог поддерживаемых источников и приемников данных.— Метод чтения данных из источников (Extract).— Способы репликации в целевое Хранилищ

Важнейшие критерии при выборе Extract – Load решения для интеграции данных в DWHВ публикации резюмирую свои знания:— Каталог поддерживаемых источников и приемников данных.— Метод чтения данных из источников (Extract).— Способы репликации в целевое Хранилище (Load).— Работа с изменениями структуры данных (Schema Evolution).— Трансформации перед загрузкой данных (EtLT).— Тип развертывания решения (Deployment).Буду объяснять и показывать примеры на сервисах, которые использовал сам: Hevo Data, Fivetran, Airbyte. Однако критерии универсальны и применимы для любых других систем подобного класса.Читать на Хабр →#Pipelines #ELT

4 months, 1 week назад @ t.me
Новая публикация на Хабр ⬇️⬇️⬇️
Новая публикация на Хабр ⬇️⬇️⬇️

Новая публикация на Хабр ⬇️⬇️⬇️

4 months, 1 week назад @ t.me
26 октября (среда) в 20:00 проведу вебинар: Работа с ГЕО-данными в DWH: координаты, зоны, агрегация – Привязка событий к зонам на карте города – Агрегирование и аналитика данных с помощью H3 (гексагоны) – Оптмизация расчетов и производительности, кэширов
26 октября (среда) в 20:00 проведу вебинар: Работа с ГЕО-данными в DWH: координаты, зоны, агрегация – Привязка событий к зонам на карте города – Агрегирование и аналитика данных с помощью H3 (гексагоны) – Оптмизация расчетов и производительности, кэширов

26 октября (среда) в 20:00 проведу вебинар: Работа с ГЕО-данными в DWH: координаты, зоны, агрегация – Привязка событий к зонам на карте города – Агрегирование и аналитика данных с помощью H3 (гексагоны) – Оптмизация расчетов и производительности, кэширование…

4 months, 4 weeks назад @ t.me
26 октября (среда) в 20:00 проведу вебинар:Работа с ГЕО-данными в DWH: координаты, зоны, агрегация– Привязка событий к зонам на карте города– Агрегирование и аналитика данных с помощью H3 (гексагоны)– Оптмизация расчетов и производительности, кэшированиеРа
26 октября (среда) в 20:00 проведу вебинар:Работа с ГЕО-данными в DWH: координаты, зоны, агрегация– Привязка событий к зонам на карте города– Агрегирование и аналитика данных с помощью H3 (гексагоны)– Оптмизация расчетов и производительности, кэшированиеРа

26 октября (среда) в 20:00 проведу вебинар:Работа с ГЕО-данными в DWH: координаты, зоны, агрегация– Привязка событий к зонам на карте города– Агрегирование и аналитика данных с помощью H3 (гексагоны)– Оптмизация расчетов и производительности, кэшированиеРасскажу подробно, как это устроено в проекте Wheely, над которым я работаю.Как и зачем индексировать данные (например, с использованием библиотеки H3 от Uber).Выполнение гео-операций, проверка вхождения точки в конкретные зоны (аэропорты, вокзалы, ТЦ, районы города).⬇️ Ссылка на YouTube-трансляцию будет в этом канале

5 months назад @ t.me
data будни data будни
последний пост 2 weeks, 3 days назад
деньги-денежки-деньжататак-так-так, что тут у нас? это же зарплаты дата-профессий в Европе!что может быть интереснее, чем залезть в карман к брату-инженеру и узнать сколько туда капает каждый месяц.ребята собрали статистику по 500 вакансиям, сконвертили вс
деньги-денежки-деньжататак-так-так, что тут у нас? это же зарплаты дата-профессий в Европе!что может быть интереснее, чем залезть в карман к брату-инженеру и узнать сколько туда капает каждый месяц.ребята собрали статистику по 500 вакансиям, сконвертили вс деньги-денежки-деньжататак-так-так, что тут у нас? это же зарплаты дата-профессий в Европе!что может быть интереснее, чем залезть в карман к брату-инженеру и узнать сколько туда капает каждый месяц.ребята собрали статистику по 500 вакансиям, сконвертили вс

деньги-денежки-деньжататак-так-так, что тут у нас? это же зарплаты дата-профессий в Европе!что может быть интереснее, чем залезть в карман к брату-инженеру и узнать сколько туда капает каждый месяц.ребята собрали статистику по 500 вакансиям, сконвертили всё в доллары и сделали разрезы по синьорности, стране и компаниям.⌘ что интересного увидели:1. по синьорности: зп есть прямая корреляция на первых 6 лет карьеры, дальше всё по-разному2. по локациям: в Берлина в среднем зп ниже, объясняют наличием там офисов Delivery Hero и Zalando, где зп чуть ниже рынка. А вот в Дублине, кажется, собрались сеньёристые ребята и там явный перекос зп в сторону высоких грейдов.3. по компаниям: Delivery Hero и …

2 weeks, 3 days назад @ t.me
короткой строкой про дата-инженерские вакансии в Яндексе:1. открыта вакансия в Практикум. Судя по описанию, всё довольно стандартно: там собрать, сюда положить, сверху витрины; ждут кандидатов с 3+ годами опыта. Если я ничего не путаю, Практикум работает у
короткой строкой про дата-инженерские вакансии в Яндексе:1. открыта вакансия в Практикум. Судя по описанию, всё довольно стандартно: там собрать, сюда положить, сверху витрины; ждут кандидатов с 3+ годами опыта. Если я ничего не путаю, Практикум работает у

короткой строкой про дата-инженерские вакансии в Яндексе:1. открыта вакансия в Практикум. Судя по описанию, всё довольно стандартно: там собрать, сюда положить, сверху витрины; ждут кандидатов с 3+ годами опыта. Если я ничего не путаю, Практикум работает удалённо, а ещё там супер душевная команда ❤️2. а ещё случайно узнал, что 4-5 марта (это уже ЗАВТРА!) можно получить фаст оффер в DWH Яндекс Маркета. Про требования к кандидатам всё написано общо́. Маркет использует подходы к двх-строению как у нас в Go, поэтому там должно быть круто. Я б сходил чисто по фану — часто перетереть за данные с умными людьми без каких-то обязательств 😉3. ну и к нам в Доставку тоже ищут инженера. У нас YT (Hadoop)…

3 weeks назад @ t.me
в каждом меме есть доля шутки — в далёком 2020 я присматривался куда пойти… и не пошёл в ML 🙃 типа ща я тут по-быстрому с аналитикой сперва разберусь, а там до мл уже шапкой докинуть!
в каждом меме есть доля шутки — в далёком 2020 я присматривался куда пойти… и не пошёл в ML 🙃 типа ща я тут по-быстрому с аналитикой сперва разберусь, а там до мл уже шапкой докинуть!

в каждом меме есть доля шутки — в далёком 2020 я присматривался куда пойти… и не пошёл в ML 🙃 типа ща я тут по-быстрому с аналитикой сперва разберусь, а там до мл уже шапкой докинуть!

1 month назад @ t.me
Легенды базостроительства в подкасте от dbtMike Stonebraker занимается базами данных с 1970-х. Тогда он написал реляционную БД Ingress, за три года до того как Ларри Эллисон выпустил Oracle. После этого Майкл приложил руку к Postgres (название отсылает к I
Легенды базостроительства в подкасте от dbtMike Stonebraker занимается базами данных с 1970-х. Тогда он написал реляционную БД Ingress, за три года до того как Ларри Эллисон выпустил Oracle. После этого Майкл приложил руку к Postgres (название отсылает к I

Легенды базостроительства в подкасте от dbtMike Stonebraker занимается базами данных с 1970-х. Тогда он написал реляционную БД Ingress, за три года до того как Ларри Эллисон выпустил Oracle. После этого Майкл приложил руку к Postgres (название отсылает к Ingres).Рассказал, как в 1990-х обратили внимание на колоночный тип хранения. Строчное хранение оптимизирует запись, в то время как данных скопилось много и начались проблемы со скоростью чтения — появилась необходимость в том, что стало называться DWH. В 2005 они выпустили Вертику. Понравилась байка как они пришли показывать Вертику в большой тогдашний е-ком. Там был инстанс Оракла за миллион долларов, который обрабатывал аналитический зап…

1 month, 1 week назад @ t.me
NoSQL → Not Only SQLNoSQL сейчас употребляется в смысле anti-SQL, как противопоставление доминирующим ораклам и постягрям с их ненавистной реляционной моделью.Хотя изначально смысл закладывался другой — не прямое противопоставление, а как ещё один вариант,
NoSQL → Not Only SQLNoSQL сейчас употребляется в смысле anti-SQL, как противопоставление доминирующим ораклам и постягрям с их ненавистной реляционной моделью.Хотя изначально смысл закладывался другой — не прямое противопоставление, а как ещё один вариант,

NoSQL → Not Only SQLNoSQL сейчас употребляется в смысле anti-SQL, как противопоставление доминирующим ораклам и постягрям с их ненавистной реляционной моделью.Хотя изначально смысл закладывался другой — не прямое противопоставление, а как ещё один вариант, алтернатива. В Книге С Кабанчиком™ Мартин Клеппманн приводит ссылку на заметку из 2009 года.https://web.archive.org/web/20190623045155/http://blog.sym-link.com/2009/10/30/nosql_whats_in_a_name.htmlДействительно это был просто хэштег для митапа по альтернативным базам данных. Хештег потом прилепился, но смысл его постепенно стал более категоричным.А изначально было действительно в значение Not Only SQL.и ещё вот твит от фаундера графовой Б…

1 month, 1 week назад @ t.me
иллюстрация «как должен выглядить Data Mesh» из той самой статьи от Zhamak Dehghani из 2020 года https://martinfowler.com/articles/data-mesh-principles.htmlсверху купол федеративного арх-надзора с документами-инструкциямив центре слои-домены с выделенными
иллюстрация «как должен выглядить Data Mesh» из той самой статьи от Zhamak Dehghani из 2020 года https://martinfowler.com/articles/data-mesh-principles.htmlсверху купол федеративного арх-надзора с документами-инструкциямив центре слои-домены с выделенными иллюстрация «как должен выглядить Data Mesh» из той самой статьи от Zhamak Dehghani из 2020 года https://martinfowler.com/articles/data-mesh-principles.htmlсверху купол федеративного арх-надзора с документами-инструкциямив центре слои-домены с выделенными

иллюстрация «как должен выглядить Data Mesh» из той самой статьи от Zhamak Dehghani из 2020 года https://martinfowler.com/articles/data-mesh-principles.htmlсверху купол федеративного арх-надзора с документами-инструкциямив центре слои-домены с выделенными командамив основании — общая платформа для того, чтобы всё работало

1 month, 1 week назад @ t.me
Мета ДВХ: ДВХ для ДВХ Посмотрел доклад Жени Ермакова двухлетней давности о том как они делали МетаДВХ в Яндекс Такси. Отдельное удовольствие сначала поработать годик внутри, а потом посмотреть такое вводное видео как пришли к такому решению. Суть докла
Мета ДВХ: ДВХ для ДВХ Посмотрел доклад Жени Ермакова двухлетней давности о том как они делали МетаДВХ в Яндекс Такси. Отдельное удовольствие сначала поработать годик внутри, а потом посмотреть такое вводное видео как пришли к такому решению. Суть докла

Мета ДВХ: ДВХ для ДВХ Посмотрел доклад Жени Ермакова двухлетней давности о том как они делали МетаДВХ в Яндекс Такси. Отдельное удовольствие сначала поработать годик внутри, а потом посмотреть такое вводное видео как пришли к такому решению. Суть доклада…

1 month, 1 week назад @ t.me
Netflix Chaos Monkeyчтобы достичь доступности в распределённых сервисах используют избыточность: несколько дисков в рейд-массиве вместо одного или несколько машин вместо одной.в идеале при выходе из строя одного элемента, система должна поддерживать дееспо
Netflix Chaos Monkeyчтобы достичь доступности в распределённых сервисах используют избыточность: несколько дисков в рейд-массиве вместо одного или несколько машин вместо одной.в идеале при выходе из строя одного элемента, система должна поддерживать дееспо

Netflix Chaos Monkeyчтобы достичь доступности в распределённых сервисах используют избыточность: несколько дисков в рейд-массиве вместо одного или несколько машин вместо одной.в идеале при выходе из строя одного элемента, система должна поддерживать дееспособность на определённом уровне. Если у нас 10 000 дисков, то по техническим допускам в среднем один диск должен выходить из строя каждый день.даже когда есть чёткие инструкции по восстановлению, только практика может отточить навык, а чтобы такая практика происходила регулярно, в Нетфликсе в инфру запускают МАРТЫШКУ ХАОСА (лайк за нейминг!).точнее даже целое стадо разноспециализированных мартышек: одна рандомно прибивает неоптимальной нас…

1 month, 2 weeks назад @ t.me
Мета ДВХ: ДВХ для ДВХПосмотрел доклад Жени Ермакова двухлетней давности о том как они делали МетаДВХ в Яндекс Такси. Отдельное удовольствие сначала поработать годик внутри, а потом посмотреть такое вводное видео как пришли к такому решению.Суть доклада с
Мета ДВХ: ДВХ для ДВХПосмотрел доклад Жени Ермакова двухлетней давности о том как они делали МетаДВХ в Яндекс Такси. Отдельное удовольствие сначала поработать годик внутри, а потом посмотреть такое вводное видео как пришли к такому решению.Суть доклада с

Мета ДВХ: ДВХ для ДВХПосмотрел доклад Жени Ермакова двухлетней давности о том как они делали МетаДВХ в Яндекс Такси. Отдельное удовольствие сначала поработать годик внутри, а потом посмотреть такое вводное видео как пришли к такому решению.Суть доклада сводиться к тому, что логи использования ДВХ засунули в ДВХ как отдельный источник. Смоделировав опрятные модели, это позволило посчитать метрики и отслеживать насколько хорошо команды ДВХ справляются со своими задачами.Мы пользуемся такими отчётами, чтобы отслеживать использование новых объектов (не зря ли мы старались, добавляя их); а ещё поддерживаем счёт в нашей битве за пользователей с «теневым двх»: ключевая метрика здесь — соотношение …

1 month, 3 weeks назад @ t.me
Необязательные код-ревью Интересный подход применяют в компании Raycast — они решили отказаться от обязательных код-ревью и коммитить сразу в дев ветку. Ежедневно автоматика собирает внутренний релиз из этой ветки, чтобы проявить возможные нестыковки. Пр
Необязательные код-ревью Интересный подход применяют в компании Raycast — они решили отказаться от обязательных код-ревью и коммитить сразу в дев ветку. Ежедневно автоматика собирает внутренний релиз из этой ветки, чтобы проявить возможные нестыковки. Пр

Необязательные код-ревью Интересный подход применяют в компании Raycast — они решили отказаться от обязательных код-ревью и коммитить сразу в дев ветку. Ежедневно автоматика собирает внутренний релиз из этой ветки, чтобы проявить возможные нестыковки. Приводят…

1 month, 4 weeks назад @ t.me
😱 ААА! Код-ревью Прошёл тут эпичный код-ревью: 20 комментов в самом пулл-реквесте и ещё 43 сообщения в соответствующем треде в Слаке. Было жёстко, но интересно! Всё началось как приключение на 20 минут: поправить в двух сущностях поля партиционирования и
😱 ААА! Код-ревью Прошёл тут эпичный код-ревью: 20 комментов в самом пулл-реквесте и ещё 43 сообщения в соответствующем треде в Слаке. Было жёстко, но интересно! Всё началось как приключение на 20 минут: поправить в двух сущностях поля партиционирования и

😱 ААА! Код-ревью Прошёл тут эпичный код-ревью: 20 комментов в самом пулл-реквесте и ещё 43 сообщения в соответствующем треде в Слаке. Было жёстко, но интересно! Всё началось как приключение на 20 минут: поправить в двух сущностях поля партиционирования и…

2 months назад @ t.me
О развитии как разработчика баз данныхАлексей Махоткин известен среди меня тем, что продвигает фреймворк проектирования (?) Minimal Modeling. В посте Алексей рассуждает о развитии как разработчика баз данных. Интересно, что он не уходит в список необходимы
О развитии как разработчика баз данныхАлексей Махоткин известен среди меня тем, что продвигает фреймворк проектирования (?) Minimal Modeling. В посте Алексей рассуждает о развитии как разработчика баз данных. Интересно, что он не уходит в список необходимы

О развитии как разработчика баз данныхАлексей Махоткин известен среди меня тем, что продвигает фреймворк проектирования (?) Minimal Modeling. В посте Алексей рассуждает о развитии как разработчика баз данных. Интересно, что он не уходит в список необходимых утилит и фреймворков, а сосредотачивается на понимании бизнеса: ⁃ First, learn to speak the language of the business side. [..] also need to have a common language with stakeholders, such as data analysts and researchers, and especially with marketing [..] ⁃ Second, think about removing the organizational bottlenecks around data processes [..] ⁃ There are also some other activities that could help with reducing friction, such as establis…

2 months, 1 week назад @ t.me
Кто в прошлом году вёл себя плохо, тот в следующем будет писать SQL на кириллице 😈картинка из чатика Data Coffee
Кто в прошлом году вёл себя плохо, тот в следующем будет писать SQL на кириллице 😈картинка из чатика Data Coffee Кто в прошлом году вёл себя плохо, тот в следующем будет писать SQL на кириллице 😈картинка из чатика Data Coffee

Кто в прошлом году вёл себя плохо, тот в следующем будет писать SQL на кириллице 😈картинка из чатика Data Coffee

2 months, 3 weeks назад @ t.me
«Бэкенд» бэкендаЕсть профессии, которые прямо можно оценить по вносимому вкладу — особенно ближе к сезону перфоманс ревью поднимаются вопросы тип «вот сколько Вася принёс денег компании?».Как ни старайся, DWH таким аршином не измеришь. Только если вешать «
«Бэкенд» бэкендаЕсть профессии, которые прямо можно оценить по вносимому вкладу — особенно ближе к сезону перфоманс ревью поднимаются вопросы тип «вот сколько Вася принёс денег компании?».Как ни старайся, DWH таким аршином не измеришь. Только если вешать «

«Бэкенд» бэкендаЕсть профессии, которые прямо можно оценить по вносимому вкладу — особенно ближе к сезону перфоманс ревью поднимаются вопросы тип «вот сколько Вася принёс денег компании?».Как ни старайся, DWH таким аршином не измеришь. Только если вешать «счётчик входящих» и высчитывать % от оклада у всех кто пользуется нашими сущностями.Получается, наша работа в другом — мы подносим патроны. Причём подносим патроны тем, кто сам подносит патроны. Мы в глубоком тылу. В чём же наша польза? Как её измерить?Один из вариантов ответов, который мне больше всего нравится, — мы повышаем стабильность и скорость общей работы. Мы поддерживаем документацию, чтобы менеджеры могли быстрее найти как поджой…

2 months, 3 weeks назад @ t.me
Каким-то образом удалось затесаться одним из гостей в подкаст Data Heroes от команды Николая Валиотти. Вчерашний джун попал в компанию матёрых сеньоров, хе-хе. Тем не менее постарался поделиться своими мыслями о работе инженером данных. Опытом делились Сем
Каким-то образом удалось затесаться одним из гостей в подкаст Data Heroes от команды Николая Валиотти. Вчерашний джун попал в компанию матёрых сеньоров, хе-хе. Тем не менее постарался поделиться своими мыслями о работе инженером данных. Опытом делились Сем

Каким-то образом удалось затесаться одним из гостей в подкаст Data Heroes от команды Николая Валиотти. Вчерашний джун попал в компанию матёрых сеньоров, хе-хе. Тем не менее постарался поделиться своими мыслями о работе инженером данных. Опытом делились Семён Осипов из Gett, Ксения Томак из Dodo Brands и Сергей Бойцов; их и приглашаю послушать, получилось разносторонне, у всех свой опыт и итоговые советы получились довольно уникальными. Ссылки где послушать в канале Left Join: https://t.me/leftjoin/841

2 months, 4 weeks назад @ t.me
под капотом Яндекс.Такси под капотом Яндекс.Такси
последний пост None
🎧 Podcasts
Data Engineering Podcast Data Engineering Podcast
последний пост 5 days, 18 hours назад
Aligning Data Security With Business Productivity To Deploy Analytics Safely And At Speed
Aligning Data Security With Business Productivity To Deploy Analytics Safely And At Speed

Summary

As with all aspects of technology, security is a critical element of data applications, and the different controls can be at cross purposes with productivity. In this episode Yoav Cohen from Satori shares his experiences as a practitioner in the space of data security and how to align with the needs of engineers and business users. He also explains why data security is distinct from application security and some methods for reducing the challenge of working across different data systems.

Announcements

Hello and welcome to the Data Engineering Podcast, the show about modern data management

Join in with the event for the global data community, Data Council Austin. From March 28-30th 2…

5 days, 18 hours назад @ dataengineeringpodcast.com
Use Your Data Warehouse To Power Your Product Analytics With NetSpring
Use Your Data Warehouse To Power Your Product Analytics With NetSpring

Summary

With the rise of the web and digital business came the need to understand how customers are interacting with the products and services that are being sold. Product analytics has grown into its own category and brought with it several services with generational differences in how they approach the problem. NetSpring is a warehouse-native product analytics service that allows you to gain powerful insights into your customers and their needs by combining your event streams with the rest of your business data. In this episode Priyendra Deshwal explains how NetSpring is designed to empower your product and data teams to build and explore insights around your products in a streamlined and…

2 weeks назад @ dataengineeringpodcast.com
Exploring The Nuances Of Building An Intential Data Culture
Exploring The Nuances Of Building An Intential Data Culture

Summary

The ecosystem for data professionals has matured to the point that there are a large and growing number of distinct roles. With the scope and importance of data steadily increasing it is important for organizations to ensure that everyone is aligned and operating in a positive environment. To help facilitate the nascent conversation about what constitutes an effective and productive data culture, the team at Data Council have dedicated an entire conference track to the subject. In this episode Pete Soderling and Maggie Hays join the show to explore this topic and their experience preparing for the upcoming conference.

Announcements

Hello and welcome to the Data Engineering Podcast, …

2 weeks, 4 days назад @ dataengineeringpodcast.com
Building A Data Mesh Platform At PayPal
Building A Data Mesh Platform At PayPal

Summary

There has been a lot of discussion about the practical application of data mesh and how to implement it in an organization. Jean-Georges Perrin was tasked with designing a new data platform implementation at PayPal and wound up building a data mesh. In this episode he shares that journey and the combination of technical and organizational challenges that he encountered in the process.

Announcements

Hello and welcome to the Data Engineering Podcast, the show about modern data management

Are you tired of dealing with the headache that is the 'Modern Data Stack'? We feel your pain. It's supposed to make building smarter, faster, and more flexible data infrastructures a breeze. It ends …

3 weeks, 4 days назад @ dataengineeringpodcast.com
The View Below The Waterline Of Apache Iceberg And How It Fits In Your Data Lakehouse
The View Below The Waterline Of Apache Iceberg And How It Fits In Your Data Lakehouse

Summary

Cloud data warehouses have unlocked a massive amount of innovation and investment in data applications, but they are still inherently limiting. Because of their complete ownership of your data they constrain the possibilities of what data you can store and how it can be used. Projects like Apache Iceberg provide a viable alternative in the form of data lakehouses that provide the scalability and flexibility of data lakes, combined with the ease of use and performance of data warehouses. Ryan Blue helped create the Iceberg project, and in this episode he rejoins the show to discuss how it has evolved and what he is doing in his new business Tabular to make it even easier to implement…

1 month назад @ dataengineeringpodcast.com
Let The Whole Team Participate In Data With The Quilt Versioned Data Hub
Let The Whole Team Participate In Data With The Quilt Versioned Data Hub

Summary

Data is a team sport, but it's often difficult for everyone on the team to participate. For a long time the mantra of data tools has been "by developers, for developers", which automatically excludes a large portion of the business members who play a crucial role in the success of any data project. Quilt Data was created as an answer to make it easier for everyone to contribute to the data being used by an organization and collaborate on its application. In this episode Aneesh Karve shares the journey that Quilt has taken to provide an approachable interface for working with versioned data in S3 that empowers everyone to collaborate.

Announcements

Hello and welcome to the Data Engin…

1 month, 1 week назад @ dataengineeringpodcast.com
Reflecting On The Past 6 Years Of Data Engineering
Reflecting On The Past 6 Years Of Data Engineering

Summary

This podcast started almost exactly six years ago, and the technology landscape was much different than it is now. In that time there have been a number of generational shifts in how data engineering is done. In this episode I reflect on some of the major themes and take a brief look forward at some of the upcoming changes.

Announcements

Hello and welcome to the Data Engineering Podcast, the show about modern data management

Your host is Tobias Macey and today I'm reflecting on the major trends in data engineering over the past 6 years

Interview

Introduction

6 years of running the Data Engineering Podcast

Around the first time that data engineering was discussed as a role

Followed o…

1 month, 2 weeks назад @ dataengineeringpodcast.com
Let Your Business Intelligence Platform Build The Models Automatically With Omni Analytics
Let Your Business Intelligence Platform Build The Models Automatically With Omni Analytics

Summary

Business intelligence has gone through many generational shifts, but each generation has largely maintained the same workflow. Data analysts create reports that are used by the business to understand and direct the business, but the process is very labor and time intensive. The team at Omni have taken a new approach by automatically building models based on the queries that are executed. In this episode Chris Merrick shares how they manage integration and automation around the modeling layer and how it improves the organizational experience of business intelligence.

Announcements

Hello and welcome to the Data Engineering Podcast, the show about modern data management

Truly leveragin…

1 month, 3 weeks назад @ dataengineeringpodcast.com
Safely Test Your Applications And Analytics With Production Quality Data Using Tonic AI
Safely Test Your Applications And Analytics With Production Quality Data Using Tonic AI

Summary

The most interesting and challenging bugs always happen in production, but recreating them is a constant challenge due to differences in the data that you are working with. Building your own scripts to replicate data from production is time consuming and error-prone. Tonic is a platform designed to solve the problem of having reliable, production-like data available for developing and testing your software, analytics, and machine learning projects. In this episode Adam Kamor explores the factors that make this such a complex problem to solve, the approach that he and his team have taken to turn it into a reliable product, and how you can start using it to replace your own collection…

2 months назад @ dataengineeringpodcast.com
Building Applications With Data As Code On The DataOS
Building Applications With Data As Code On The DataOS

Summary

The modern data stack has made it more economical to use enterprise grade technologies to power analytics at organizations of every scale. Unfortunately it has also introduced new overhead to manage the full experience as a single workflow. At the Modern Data Company they created the DataOS platform as a means of driving your full analytics lifecycle through code, while providing automatic knowledge graphs and data discovery. In this episode Srujan Akula explains how the system is implemented and how you can start using it today with your existing data systems.

Announcements

Hello and welcome to the Data Engineering Podcast, the show about modern data management

Truly leveraging and…

2 months, 1 week назад @ dataengineeringpodcast.com
Automate Your Pipeline Creation For Streaming Data Transformations With SQLake
Automate Your Pipeline Creation For Streaming Data Transformations With SQLake

Summary

Managing end-to-end data flows becomes complex and unwieldy as the scale of data and its variety of applications in an organization grows. Part of this complexity is due to the transformation and orchestration of data living in disparate systems. The team at Upsolver is taking aim at this problem with the latest iteration of their platform in the form of SQLake. In this episode Ori Rafael explains how they are automating the creation and scheduling of orchestration flows and their related transforations in a unified SQL interface.

Announcements

Hello and welcome to the Data Engineering Podcast, the show about modern data management

Data and analytics leaders, 2023 is your year to sh…

2 months, 2 weeks назад @ dataengineeringpodcast.com
Increase Your Odds Of Success For Analytics And AI Through More Effective Knowledge Management With AlignAI
Increase Your Odds Of Success For Analytics And AI Through More Effective Knowledge Management With AlignAI

Summary

Making effective use of data requires proper context around the information that is being used. As the size and complexity of your organization increases the difficulty of ensuring that everyone has the necessary knowledge about how to get their work done scales exponentially. Wikis and intranets are a common way to attempt to solve this problem, but they are frequently ineffective. Rehgan Avon co-founded AlignAI to help address this challenge through a more purposeful platform designed to collect and distribute the knowledge of how and why data is used in a business. In this episode she shares the strategic and tactical elements of how to make more effective use of the technical an…

2 months, 3 weeks назад @ dataengineeringpodcast.com
Using Product Driven Development To Improve The Productivity And Effectiveness Of Your Data Teams
Using Product Driven Development To Improve The Productivity And Effectiveness Of Your Data Teams

Summary

With all of the messaging about treating data as a product it is becoming difficult to know what that even means. Vishal Singh is the head of products at Starburst which means that he has to spend all of his time thinking and talking about the details of product thinking and its application to data. In this episode he shares his thoughts on the strategic and tactical elements of moving your work as a data professional from being task-oriented to being product-oriented and the long term improvements in your productivity that it provides.

Announcements

Hello and welcome to the Data Engineering Podcast, the show about modern data management

When you're ready to build your next pipeline…

2 months, 3 weeks назад @ dataengineeringpodcast.com
Simple And Scalable Encryption Of Data In Use For Analytics And Machine Learning With Opaque Systems
Simple And Scalable Encryption Of Data In Use For Analytics And Machine Learning With Opaque Systems

Summary

Encryption and security are critical elements in data analytics and machine learning applications. We have well developed protocols and practices around data that is at rest and in motion, but security around data in use is still severely lacking. Recognizing this shortcoming and the capabilities that could be unlocked by a robust solution Rishabh Poddar helped to create Opaque Systems as an outgrowth of his PhD studies. In this episode he shares the work that he and his team have done to simplify integration of secure enclaves and trusted computing environments into analytical workflows and how you can start using it without re-engineering your existing systems.

Announcements

Hello…

2 months, 4 weeks назад @ dataengineeringpodcast.com
An Exploration Of Tobias' Experience In Building A Data Lakehouse From Scratch
An Exploration Of Tobias' Experience In Building A Data Lakehouse From Scratch

Summary

Five years of hosting the Data Engineering Podcast has provided Tobias Macey with a wealth of insight into the work of building and operating data systems at a variety of scales and for myriad purposes. In order to condense that acquired knowledge into a format that is useful to everyone Scott Hirleman turns the tables in this episode and asks Tobias about the tactical and strategic aspects of his experiences applying those lessons to the work of building a data platform from scratch.

Announcements

Hello and welcome to the Data Engineering Podcast, the show about modern data management

When you're ready to build your next pipeline, or want to test out the projects you hear about on …

2 months, 4 weeks назад @ dataengineeringpodcast.com
«Ничего такого» by Dodo Enginnering
последний пост None
Запуск завтра Podcast Запуск завтра Podcast
последний пост 1 day, 9 hours назад
Спутники в космосе и инженеры на земле. Откуда берется точное время
Спутники в космосе и инженеры на земле. Откуда берется точное время Спутники в космосе и инженеры на земле. Откуда берется точное время

Зачем знать время с точностью до наносекунд? Что будет, если не «подкручивать» часики? Как секунда может быть отрицательной? Инженер из Facebook Олег Облеухов рассказывает, как люди и компьютеры гонятся за точностью времени. А еще пугает Самата тем, что случится в 2036 году. Реклама. Курс для прокачки навыков фронтенда от Яндекс Практикума: https://clck.ru/33pVdD Эпизод про сотовые сети: https://pc.st/e/2Bw2jdxLn3j Посты Олега в инженерном блоге Facebook: NTP: https://clck.ru/33qvmN Open source time appliance: https://clck.ru/33qvrC Leap second: https://clck.ru/33qvu9 PTP: https://clck.ru/33qvur Leap Second: https://en.wikipedia.org/wiki/Leap_second Подписаться на «Запуск++» в Телеграме: ht…

1 day, 9 hours назад @ zapuskzavtra.libsyn.com
Что умеет умный дом
Что умеет умный дом Что умеет умный дом

Как подружить умную лампочку от Яндекса с теплым полом? Как умнеют целые города? Катя Основина из компании iRidi рассказывает, как умные дома учатся понимать наши потребности и заботятся о нашем здоровье. Реклама. Курсы от Яндекс Практикума для разаботчиков и тестировщиков. Осваивайте новые стеки и технологии: https://clck.ru/33jL64 Сайт компании: https://iridi.com/ Саммит IRidi: https://youtu.be/n9gcpYZ3-8g Подписаться на «Запуск++» в Телеграме: https://t.me/+N_AopnXC0dBkMGQy Подписаться на Либо/Либо+ в Телеграме, куда включены эпизоды «Запуск++»: https://t.me/+LXZx5JRqO4o0MjJi Чат Запуска в телеграме: https://t.me/zapuskzavtra Связаться: [email protected] Партнер этого подкаста — Янд…

1 week, 1 day назад @ zapuskzavtra.libsyn.com
Wi-Fi. Как появился золотой стандарт беспроводной связи
Wi-Fi. Как появился золотой стандарт беспроводной связи Wi-Fi. Как появился золотой стандарт беспроводной связи

Какое отношение Стивен Хокинг имеет к появлению Wi-Fi? Почему файлы загружаются дольше, чем скачиваются? Как за вами следят точки доступа? Историю появления самой популярной беспроводной технологии рассказывает Кирилл Луконин, автор канала «Злой беспроводник». Реклама. Курсы от Яндекс Практикума для фронтенд-разработчиков по JavaScript и React: https://clck.ru/33fdwx Ссылки: Злой беспроводник https://t.me/EvilWirelessMan База полезных материалов на GitHub https://github.com/skhomm/useful-wireless-links Подписаться на «Запуск++» в Телеграме: https://t.me/+N_AopnXC0dBkMGQy Подписаться на Либо/Либо+ в Телеграме, куда включены эпизоды «Запуск++»: https://t.me/+LXZx5JRqO4o0MjJi Чат Запуска в тел…

2 weeks, 1 day назад @ zapuskzavtra.libsyn.com
(Не)случайные процессы. Как математики предсказывают распространение вирусов и результаты выборов
(Не)случайные процессы. Как математики предсказывают распространение вирусов и результаты выборов (Не)случайные процессы. Как математики предсказывают распространение вирусов и результаты выборов

Этот эпизод — об одной математической задаче со смешным названием, без которой мы смотрели бы на мир совсем по-другому. Математик Люба Тупикина рассказывает, как ученые предсказывают случайные процессы, находят объяснение смертности людей, вычисляют размер интернета, и при чем тут Альберт Эйнштейн. Реклама. Курс от Яндекс Практикума курс для тех, кто знаком с основами Python-разработки и хочет вырасти до мидла. Подробности по ссылке: https://clck.ru/33fduz Рекомендации от гостьи: «First Steps in Random Walks» Соколова и Клафтера «Сила слабых связей» Грановеттера «Теория вероятности» Колмогорова Статьи Станислава Смирнова Подписаться на «Запуск++» в Телеграме: https://t.me/+N_AopnXC0dBkMGQy …

3 weeks, 1 day назад @ zapuskzavtra.libsyn.com
Как электричество попадает к нам домой
Как электричество попадает к нам домой Как электричество попадает к нам домой

В «Запуске завтра» мы уже девять сезонов рассказываем о технологиях, которые меняют нашу жизнь. Но все они невозможны без электроэнергии. В этом эпизоде разбираемся, как работают электрические сети, в какой стране розетки безопаснее и почему гудят трансформаторы. Реклама. У Яндекс Практикума есть два курса по автоматизации тестирования: на Java и на Python. Подробности по ссылке: https://clck.ru/33YASz Канал Энерголикбез: https://youtube.com/@energolikbez Подписаться на «Запуск++» в Телеграме: https://t.me/+N_AopnXC0dBkMGQy Подписаться на Либо/Либо+ в Телеграме, куда включены эпизоды «Запуск++»: https://t.me/+LXZx5JRqO4o0MjJi Чат Запуска в телеграме: https://t.me/zapuskzavtra Связаться: zap…

4 weeks, 1 day назад @ zapuskzavtra.libsyn.com
«Это не кнопку на сайте поменять». Как создаются новые лекарства и сколько это стоит
«Это не кнопку на сайте поменять». Как создаются новые лекарства и сколько это стоит «Это не кнопку на сайте поменять». Как создаются новые лекарства и сколько это стоит

Как сделать таблетку-блокбастер? Во что инвестировать — в лекарство от акне или от слабых коленей? Как с помощью одного приложения на айпаде можно диагностировать Альцгеймера? И, конечно — где во всём этом наука о данных? Разбираемся в индустрии, от которой зависят человеческие жизни, вместе с Анной Костиковой, директором по Data Science в фармацевтической компании Novartis. Реклама. Бесплатный курс по основам Go от Яндекс Практикума: https://clck.ru/33USkn Подписаться на «Запуск++» в Телеграме: https://t.me/+N_AopnXC0dBkMGQy Подписаться на Либо/Либо+ в Телеграме, куда включены эпизоды «Запуск++»: https://t.me/+LXZx5JRqO4o0MjJi Чат Запуска в телеграме: https://t.me/zapuskzavtra Связаться: z…

1 month назад @ zapuskzavtra.libsyn.com
ChatGPT. Виртуальный помощник на все случаи жизни
ChatGPT. Виртуальный помощник на все случаи жизни ChatGPT. Виртуальный помощник на все случаи жизни

Мы начинаем новый сезон! В первом эпизоде Самат разбирается в чат-боте от компании OpenAI, разговоры о котором не утихают уже 3 месяца. Технофилы в очередной раз благодарят Илона Маска и с восторгом учат нейросеть отправлять за них имейлы, а скептики считают, что до полноценного собеседника ей еще далеко и ловят сеть на двойных стандартах. Как модель научили писать стихи и заменять человеческих ассистентов? Рассказывает Артем Родичев, бывший глава AI в чат-боте Replica. Реклама. Курсы для разработчиков, тестировщиков и девопсов от Яндекс Практикума: https://clck.ru/33UShR Подписаться на «Запуск++» в Телеграме: https://t.me/+N_AopnXC0dBkMGQy Подписаться на Либо/Либо+ в Телеграме, куда включе…

1 month, 1 week назад @ zapuskzavtra.libsyn.com
Квантовые компьютеры еще не появились, но уже меняют мир. Почему?
Квантовые компьютеры еще не появились, но уже меняют мир. Почему? Квантовые компьютеры еще не появились, но уже меняют мир. Почему?

Пройдите, пожалуйста, наш опрос: https://4zz1gujb3ju.typeform.com/to/VoSmy7DN Для многих важных задач современного мира — например, для поиска новых лекарств или построения оптимальных маршрутов, — мощностей даже самых продвинутых компьютеров не хватает. Ученые десятилетиями пытаются обойти ограничения, накладываемые классической физикой, и создать принципиально новый способ производить вычисления. Гость эпизода Алексей Федоров — один из таких ученых. Разбираемся, что такое суперпозиции, как физики запутывают атомы и к чему приведет появление квантовых компьютеров. Осторожно, этот разговор выходит за рамки человеческого воображения! Реклама. Курсы для опытных программистов от Яндекс Практик…

2 months, 3 weeks назад @ zapuskzavtra.libsyn.com
Miro. Онлайн-сервис для мозгового штурма
Miro. Онлайн-сервис для мозгового штурма Miro. Онлайн-сервис для мозгового штурма

Компания Miro была первой, кто придумал сделать обычную белую доску, которая стоит в каждом офисе, виртуальной. И миллионы пользователей по всему миру оценили эту идею, даже в NASA используют Miro. В этом эпизоде Иван Демшин (Head of System Engineering в Miro) рассказывает, как компания пережила три пивота, резко выросла в пандемию и стала #1 инструментом для удаленной работы. Реклама. Бесплатный 10-часовой курс по алгоритмическим собеседованиям от Яндекс Практикума: https://clck.ru/335Jje Интервью с Андреем Хусидом, CEO и основателем Miro: https://youtu.be/C1U4MD6DPI8 Подкаст «Люди Miro»: https://podcast.ru/1547571684 Подписаться на «Запуск++» в Телеграме: https://t.me/+N_AopnXC0dBkMGQy По…

3 months назад @ zapuskzavtra.libsyn.com
Аноним в сети. Как устроен Tor
Аноним в сети. Как устроен Tor Аноним в сети. Как устроен Tor

Роскомнадзор — главный цензор российского интернета. В 2022 году сайты почти всех независимых медиа подверглись блокировкам, поэтому всё больше людей используют разные способы их обхода. Tor — один из таких способов. Но еще это важный проект, создающий настоящий подпольный интернет, где все пользователи остаются анонимными. В этом эпизоде разбираемся, за счет чего Tor такой безопасный и при чем тут лук, как ловить преступников в даркнете и как подключиться к сети из России* — разбираемся вместе с Иcабелой Фернандеc (Isabela Fernandes), executive director проекта. (*Да, официально браузер заблокирован на территории РФ и внесен в реестр запрещенной информации) Реклама. Курсы Яндекс Практикума…

3 months, 1 week назад @ zapuskzavtra.libsyn.com
Компьютерная графика. Как на экране создаются объекты, которых нет на самом деле
Компьютерная графика. Как на экране создаются объекты, которых нет на самом деле Компьютерная графика. Как на экране создаются объекты, которых нет на самом деле

Почти в каждом современном кино- или рекламном продукте используется компьютерная графика. Чтобы зритель поразился реалистичности взрыва или тому, как новый BMW собирается на ходу, десятки специалистов месяцами трудятся над каждым кадром. Гость этого эпизода Данил Криворучко делает моушен-дизайн для самых громких проектов индустрии. Данил рассказал, как создаются визуальные эффекты и как на этом можно построить карьеру. Реклама. Бесплатный курс по основам Go от Яндекс Практикума https://clck.ru/32sq8t Упомянутые ролики: Pixar, 1986 https://www.youtube.com/watch?v=6G3O60o5U7w Терминатор 2, сцена с жидким металлом, 1991 https://www.youtube.com/watch?v=u8h8d2XLWKY Видеоигра Quake, 1999 https:/…

3 months, 2 weeks назад @ zapuskzavtra.libsyn.com
От определения цены на молоко до распознавания лиц. Как дата-сайентисты меняют повседневную жизнь
От определения цены на молоко до распознавания лиц. Как дата-сайентисты меняют повседневную жизнь От определения цены на молоко до распознавания лиц. Как дата-сайентисты меняют повседневную жизнь

В этом эпизоде мы снова говорим о данных и о том, что с ними можно сделать. Раньше машина не всегда могла отличить коня от человека, а теперь мы доверяем ей в определении оптимальной цены в магазинах, поимке кибер-преступников и даже этических вопросах. Как индустрия прошла этот путь — разбираемся с Валерием Бабушкиным, экспертом по Data Science в компании BlockChain. Реклама. Курсы от Яндекс Практикума по программированию с нуля: https://clck.ru/32nsqX Ссылки: Телеграм-канал Валеры: https://t.me/cryptovalerii Сайт Алексея Чернобровова: https://chernobrovov.ru/ Лекции от сообщества Open Data Science: https://www.youtube.com/@OpenDataScienceCon Подписаться на «Запуск++» в Телеграме: https://…

3 months, 3 weeks назад @ zapuskzavtra.libsyn.com
Как нейросети находят опухоли и помогают патологоанатомам
Как нейросети находят опухоли и помогают патологоанатомам Как нейросети находят опухоли и помогают патологоанатомам

Раньше врачи искали отклонения в клетках и тканях человека с помощью микроскопа. Сейчас в медицину проникают высокие технологии — компьютерное зрение и искусственный интеллект. В этом эпизоде врач-патологоанатом Артем Борбат рассказывает, как сканеры в лабораториях помогают получить диагноз в разы быстрее, а модели из миллиона клеток находят несколько больных. Реклама. Пройдите бесплатную часть курса до 30 ноября и получите 20% скидку на дальнейшее обучение от Яндекс Практикума. Промокод работает при определенных формах оплаты. Подробности по ссылке: https://clck.ru/32gxUZ Курсы MIT по медицинской инженерии: https://ocw.mit.edu/courses/6-s897-machine-learning-for-healthcare-spring-2019/ htt…

4 months назад @ zapuskzavtra.libsyn.com
Больше 15 лет в Яндексе, а потом — в ставки на спорт. Как Григорий Бакунов перешел в украинское IT
Больше 15 лет в Яндексе, а потом — в ставки на спорт. Как Григорий Бакунов перешел в украинское IT Больше 15 лет в Яндексе, а потом — в ставки на спорт. Как Григорий Бакунов перешел в украинское IT

Бакунов был одним из самых публичных айтишников в России, а потом променял успешную корпоративную карьеру на стартапы в Киеве. В этом эпизоде Гриша (или Bobuk, как знают его многие технари) рассказывает, каким стал Яндекс после Ильи Сегаловича, почему он выбрал гэмблинг как следующую работу и как меняется украинская IT-тусовка. Подкаст Радио-Т: https://radio-t.com Telegram-канал Гриши: https://t.me/addmeto Подписаться на «Запуск++» в Телеграме: https://t.me/+N_AopnXC0dBkMGQy Подписаться на Либо/Либо+ в Телеграме, куда включены эпизоды «Запуск++»: https://t.me/+LXZx5JRqO4o0MjJi Чат Запуска в телеграме: https://t.me/zapuskzavtra Связаться: [email protected] Редакторка — Маша Агличева; Пр…

4 months, 1 week назад @ zapuskzavtra.libsyn.com
Без одной голландской компании у вас бы не было iPhone. Как устроено производство самых современных чипов
Без одной голландской компании у вас бы не было iPhone. Как устроено производство самых современных чипов Без одной голландской компании у вас бы не было iPhone. Как устроено производство самых современных чипов

Когда-то компьютеры занимали целую комнату и весили тонны, а теперь в маленьком чипе вашего смартфона умещается та же вычислительная мощность. Происходит это благодаря одному предприятию, которое делает уникальное литографическое оборудование — компании ASML. Из этого эпизода вы узнаете, как современный процессор с миллиардом транзисторов связан с парящими платформами, таблицей Менделеева и Властелином колец, а расскажет об этом Диана Гришина, работавшая в ASML. Реклама. Ссылка на курсы для опытных разработчиков от Яндекс Практикума: https://clck.ru/32bXgv Ссылки: Сайт ASML: https://www.asml.com/en Инженеры на заводе ASML и «чистая комната»: https://www.youtube.com/watch?v=ttbaaI5xUcg Подпи…

4 months, 2 weeks назад @ zapuskzavtra.libsyn.com
Moscow Python Podcast Moscow Python Podcast
последний пост 5 days, 22 hours назад
Как сделать работу разработчика удобнее — CI/CD, DevOps, Jenkins
Как сделать работу разработчика удобнее — CI/CD, DevOps, Jenkins Как сделать работу разработчика удобнее — CI/CD, DevOps, Jenkins

В гостях у Moscow Python Podcast Никита Соболев, CTO wemake.services и Арсений Сапелкин, тимлид Kaspersky OS. Обсудили в выпуске:

чем занимается команда тулов в YADRO Jenkins и причем здесь «большой драчевый напильник»

с чего начинать работу с CI/CD

нужно ли изучать Jenkins про запас или просто знать о нем

умирает ли концепция DevOps «проблемы возникают, когда есть сложные environments или стенды»

деплой в системе хранения данных и использование пирамиды тестирования

оффтоп, как Алексей пришел к такой жизни с DevOps почему о DevOps вспоминают, когда все плохо и каким людям лучше не становиться девопсами

про YAML

зачем делить команду тулов и команду DevOps

ответили на вопросы, применим ли ан…

5 days, 22 hours назад @ learnpython.podbean.com
Новости Python за февраль 2023
Новости Python за февраль 2023 Новости Python за февраль 2023

Новый выпуск посвятили актуальным новостям за февраль 2023 года в мире Python. Ниже оставили ссылки на все материалы этого подкаста. • 32 года Python - https://tomaszs2.medium.com/happy-birthday

• Python Software Foundation ищет разработчика - https://pyfound.blogspot.com/2023/01/the-psf

• Три больших атаки на pypi:

- https://blog.phylum.io/phylum-discovers

- https://blog.phylum.io/phylum-go-based

- https://blog.phylum.io/another-attack

• Python тренды в 2023 году - https://blog.jerrycodes.com/python-trends

• Самуэль Колвин поднял инвестиции от Sequoia Capital - https://pydantic.dev/announcement/

• Отчет про Python в blockchain-разработке - https://tradingstrategy.ai/blog/the-state-of-pytho…

2 weeks, 6 days назад @ learnpython.podbean.com
Copilot для Python-разработчика. Почему AI не изменил разработку?
Copilot для Python-разработчика. Почему AI не изменил разработку? Copilot для Python-разработчика. Почему AI не изменил разработку?

В гостях у Moscow Python Podcast Никита Соболев, CTO wemake.services и Арсений Сапелкин, тимлид Kaspersky OS. Обсудили в выпуске:

опыт использования Copilot

этические вопросы использования AI в работе

перспективы Copilot, ChatGPT

«у программистов будет больше задач или уменьшится количество программистов?»

все станут тимлидами или «киберпанк, который мы заслужили»

количество кода будет расти, качество - возможно, но неточно

AI системы сделают сильных программистов сильнее, а слабые останутся на том же уровне и не захотят учиться их использовать?

как пропасть между новичками и опытными программистами расширится

Kite, Tabnine vs Copilot

плюсы и минусы систем AI в обучении программированию

про…

4 weeks назад @ learnpython.podbean.com
Новинки в Python 3.12 / Опять переписали виртуальную машину / Большая чистка stdlib
Новинки в Python 3.12 / Опять переписали виртуальную машину / Большая чистка stdlib Новинки в Python 3.12 / Опять переписали виртуальную машину / Большая чистка stdlib

В гостях у Moscow Python Podcast Никита Соболев, CTO wemake.services. Обсудили в выпуске:

как переписали виртуальную машину

полезна ли интеграция с perf или уже умеем с toolchain

компиляцию Python и концепцию 3 стульев

придем ли к отключению GIL

«выкидываем distutils, не будет ли 3.12 катастрофой из-за этого»‎

улучшение сообщений об ошибках и важность удобства языка программирования

обновление в C-API tier

ответ на вопрос про увеличение производительности Ведущие: Михаил Корнеев и Григорий Петров

Ссылки подкаста: PEP 684 - https://peps.python.org/pep-0684/

Все выпуски: https://podcast.python.ru

Митапы MoscowPython: https://moscowpython.ru

Курс Learn Python: https://learn.python.ru/

1 month, 1 week назад @ learnpython.podbean.com
Выход SQLAlchemy 2.0 / сборка Python без GIL / топ Python библиотек 2022 и другие новости Python
Выход SQLAlchemy 2.0 / сборка Python без GIL / топ Python библиотек 2022 и другие новости Python Выход SQLAlchemy 2.0 / сборка Python без GIL / топ Python библиотек 2022 и другие новости Python

Новый выпуск посвятили актуальным новостям за январь 2023 года в мире Python. Ниже оставили ссылки на все материалы этого подкаста. фреймворк Robin - https://github.com/sansyrox/robyn PEP 703 по Python без GIL - https://peps.python.org/pep-0703/ релиз SQLAlchemy 2.0 - https://www.sqlalchemy.org/

PEP 701 по доработке f-строк - https://peps.python.org/pep-0701/ PEP 704 по обязательному виртуальному окружению - https://peps.python.org/pep-0704/ Malware в nightly-билдах - https://pytorch.org/blog/compromised-... Python 2.7 убрали из Debidian - https://bugs.debian.org/cgi-bin/bugre... топ Python библиотек 2022 - https://tryolabs.com/blog/2022/12/26/... Ведущие: Михаил Корнеев и Илья Лебедев Все …

1 month, 2 weeks назад @ learnpython.podbean.com
Внутри ИИ: люди, разработка и будущее
Внутри ИИ: люди, разработка и будущее Внутри ИИ: люди, разработка и будущее

В гостях у Moscow Python Podcast Иван Самсонов, продакт-менеджер в прикладных исследованиях ИИ во ВКонтакте. Обсудили в выпуске:

- отличается ли звездный разработчик от синьора

- хватит ли понимания бизнеса и умения коммуницировать, чтобы стать A-star

- когда нас заменит искусственный интеллект, и мы отдохнем

- куда приведет развитие языковых моделей

- что делать мидл python-разработчику с фиговым английским, чтобы его не заменили технологии

- ответы на вопросы из трансляции: что делать джуну с 3-летним опытом и фиговым английским, какой язык программирования умрет следующим Ведущие: Михаил Корнеев и Григорий Петров Все выпуски: https://podcast.python.ru

Митапы MoscowPython: https://moscowp…

1 month, 3 weeks назад @ learnpython.podbean.com
Куда расти разработчику: взгляд из-за рубежа
Куда расти разработчику: взгляд из-за рубежа Куда расти разработчику: взгляд из-за рубежа

В гостях у Moscow Python Podcast Георгий Могелашвили, Engineering Manager в Shopify и основатель GetMentor.dev. Обсудили в выпуске:

- разницу менталитетов в работе - как давать обратную связь - культуру разработки и роль Engineering Manager в Shopify - куда расти разработчику сегодня - разницу зарплат у менеджеров и контрибьютеров - как менеджеру растить разработчиков - как определить грейд и перейти на другой - отличия систем грейдов в компаниях - про GetMentor и зачем нужен ментор - конференции для профессионального роста

- ответы на вопросы из трансляции: возможно ли самостоятельно вырасти до сеньора, нужно ли менеджерам писать код, с чего начать поиски работы в зарубежной компании и про…

2 months назад @ learnpython.podbean.com
Подводим итоги 2022 в мире Python
Подводим итоги 2022 в мире Python Подводим итоги 2022 в мире Python

Привет, вот о чем поговорили Михаил Корнеев и Григорий Петров в последнем в этом году выпуске подкаста. - Новые форматы прямых эфиров и новостных выпусков в подкасте

- Планы на ускорение Python и эксперимент с выпиливанием gil - black вышел из беты

- Три штуки, которые надо добавить в Python

- 10 лет выступлениям Гриши о Python

- Что будет, если добавлять в язык новые инструменты, чтобы было красиво (и стоит ли их использовать?)

- Ушла эпоха, из MacOS выпилили Python 2.7

- Что так и не так с JetBrains Developers Survey

- Релиз Python 3.11 - Copilot и как мы справлялись без него 20 лет назад

- Ответили на вопросы из трансляции: про фреймворк Masonite и какие фреймворки взлетят в 2023, про пе…

3 months назад @ learnpython.podbean.com
Как разобраться в старом коде на новой работе (или проекте)
Как разобраться в старом коде на новой работе (или проекте) Как разобраться в старом коде на новой работе (или проекте)

Григорий Петров, Михаил Корнеев и Илья Лебедев в новом формате Moscow Python Podcast. 00:00 — у нас новый постоянный ведущий

01:35 — есть ли вообще люди, которые легко и быстро сориентируются в чужом древнем коде

02:55 — что усложняет понимание чужого кода на новой работе

03:57 — с чего начать

06:20 — "третий кит, на котором стоит разработка - инфра", или какие неприятные открытия вас ждут

09:10 — что делать, если ты не джун

13:04 — "первые полгода вы будете беситься" (или нет?)

17:05 — два вопроса, которые стоит задать на собеседовании и обговорить сразу

22:25 — что делать, если сразу хочешь менять процессы разработки

23:58 — пошаговая инструкция по работе с неизвестным проектом

27:55 — хо…

3 months назад @ learnpython.podbean.com
Грабли на пути джуна (level: all)
Грабли на пути джуна (level: all) Грабли на пути джуна (level: all)

В гостях у Moscow Python Podcast Python разработчик Юрий Бородич.. Ведущие выпуска — сооснователь MoscowPython и компании Geekfactor.io Валентин Домбровский и DevRel компании Evrone, руководитель программного комитета Moscow Python Conf++ Григорий Петров. Все выпуски: https://rebrand.ly/pythonpodcasta6ffe Митапы MoscowPython: https://rebrand.ly/pythonmeetupf6315 Курс Learn Python: https://rebrand.ly/learnpythondc288 Конференция Moscow Python Conf (Russian Python Week): https://conf.python.ru Программа помощи в трудоустройстве за рубеж от Geekfactor: https://geekfactor.io/international

4 months, 3 weeks назад @ learnpython.podbean.com
Как жить в современном потоке информации (level: all)
Как жить в современном потоке информации (level: all) Как жить в современном потоке информации (level: all)

В гостях у Moscow Python Podcast HRD компании Altenar Екатерина Фирсова. Ведущие выпуска — сооснователь MoscowPython и компании Geekfactor.io Валентин Домбровский и DevRel компании Evrone, руководитель программного комитета Moscow Python Conf++ Григорий Петров. Все выпуски: https://rebrand.ly/pythonpodcasta6ffe Митапы MoscowPython: https://rebrand.ly/pythonmeetupf6315 Курс Learn Python: https://rebrand.ly/learnpythondc288 Конференция Moscow Python Conf (Russian Python Week): https://conf.python.ru Программа помощи в трудоустройстве за рубеж от Geekfactor: https://geekfactor.io/international

5 months, 2 weeks назад @ learnpython.podbean.com
Open Source и Data Science (level: all)
Open Source и Data  Science (level: all) Open Source и Data Science (level: all)

В гостях у Moscow Python Podcast руководитель разработки Data Science компании Avito Олег Бугримов. Ведущие выпуска — сооснователь MoscowPython и компании Geekfactor.io Валентин Домбровский и DevRel компании Evrone, руководитель программного комитета Moscow Python Conf++ Григорий Петров. Все выпуски: https://rebrand.ly/pythonpodcasta6ffe Митапы MoscowPython: https://rebrand.ly/pythonmeetupf6315 Курс Learn Python: https://rebrand.ly/learnpythondc288 Конференция Moscow Python Conf (Russian Python Week): https://conf.python.ru Программа помощи в трудоустройстве за рубеж от Geekfactor: https://geekfactor.io/international

5 months, 4 weeks назад @ learnpython.podbean.com
Выгорание и токсичность (level: all)
Выгорание и токсичность (level: all) Выгорание и токсичность (level: all)

В гостях у Moscow Python Podcast VP of Engineering Константин Волков. Ведущие выпуска — сооснователь MoscowPython и компании Geekfactor.io Валентин Домбровский и DevRel компании Evrone, руководитель программного комитета Moscow Python Conf++ Григорий Петров. Все выпуски: https://rebrand.ly/pythonpodcasta6ffe Митапы MoscowPython: https://rebrand.ly/pythonmeetupf6315 Курс Learn Python: https://rebrand.ly/learnpythondc288 Конференция Moscow Python Conf (Russian Python Week): https://conf.python.ru Программа помощи в трудоустройстве за рубеж от Geekfactor: https://geekfactor.io/international

6 months, 1 week назад @ learnpython.podbean.com
Про тимлидство (level: all)
Про тимлидство (level: all) Про тимлидство (level: all)

В гостях у Moscow Python Podcast Руководитель разработки компании IVA Technologies Александр Ковалев. Ведущие выпуска — сооснователь MoscowPython и компании Geekfactor.io Валентин Домбровский и DevRel компании Evrone, руководитель программного комитета Moscow Python Conf++ Григорий Петров. Все выпуски: https://rebrand.ly/pythonpodcasta6ffe Митапы MoscowPython: https://rebrand.ly/pythonmeetupf6315 Курс Learn Python: https://rebrand.ly/learnpythondc288 Конференция Moscow Python Conf (Russian Python Week): https://conf.python.ru Программа помощи в трудоустройстве за рубеж от Geekfactor: https://geekfactor.io/international

7 months назад @ learnpython.podbean.com
Про Хакатоны (level: all)
Про Хакатоны (level: all) Про Хакатоны (level: all)

В гостях у Moscow Python Podcast Lead of HR Community Skolkovo Алиса Цапкова. Обсудили с Алисой зачем нужны хакатоны, советы и лайфхаки участникам хакатонов. Ведущие выпуска — сооснователь MoscowPython и компании Geekfactor.io Валентин Домбровский и DevRel компании Evrone, руководитель программного комитета Moscow Python Conf++ Григорий Петров. Skolkovo Hack 2022: https://codenrock.com/contests/skolkovo-hack-2022 Все выпуски: https://rebrand.ly/pythonpodcasta6ffe Митапы MoscowPython: https://rebrand.ly/pythonmeetupf6315 Курс Learn Python: https://rebrand.ly/learnpythondc288 Конференция Moscow Python Conf (Russian Python Week): https://conf.python.ru Программа помощи в трудоустройстве за руб…

7 months, 1 week назад @ learnpython.podbean.com
Podlodka Podcast Podlodka Podcast
последний пост 4 days, 2 hours назад
Podlodka #312 – Производство лекарств
Podlodka #312 – Производство лекарств Podlodka #312 – Производство лекарств

Обсудили этапы производства лекарств: от проектирования в отделе RnD, до приготовления в биореакторе и упаковки. В гости пришел Василий Юрташкин – руководитель отдела ИТ-архитектуры в биотехнологической компании BIOCAD. Разобрали как сложности создания новых лекарств, так и возможные проблемы технологического процесса, а главное, как их можно решать при помощи IT. Книга Александра Бындю «Антихрупкость в IT» разбирает наиболее частые проблемы и сценарии из-за чего IT-компании могут буксовать или проваливаться. Автор покрывает довольно обширную область от продуктового подхода к разработке до рефакторинга больших систем. Книга позиционируется для людей разной направленности из IT, потому реком…

4 days, 2 hours назад @ soundcloud.com
Podlodka #311 – Видеоблоггинг
Podlodka #311 – Видеоблоггинг Podlodka #311 – Видеоблоггинг

Кто-то пишет Твиттер-треды, кто-то ведет Telegram-каналы, а кто-то пилит полезные видео на YouTube и собирает сотни тысяч просмотров. Мы поговорили с Александром Ильиным, программистом и YouTube-блоггером, про то, что влияет на популярность видео, как создавать контент и какую часть работы нужно делегировать, чтобы оставались силы на самое интересное. Поддержи лучший подкаст про IT:

www.patreon.com/podlodka Также ждем вас, ваши лайки, репосты и комменты в мессенджерах и соцсетях! Telegram-чат: https://t.me/podlodka Telegram-канал: https://t.me/podlodkanews Страница в Facebook: www.facebook.com/podlodkacast/ Twitter-аккаунт: https://twitter.com/PodlodkaPodcast Ведущие в выпуске:

Катя Петрова…

1 week, 4 days назад @ soundcloud.com
Podlodka #310 – Организация стажировок
Podlodka #310 – Организация стажировок Podlodka #310 – Организация стажировок

Podlodka достигла сингулярности и пишет выпуски сама с собой. Егор со Стасом задушевно поговорили про то как построить программу стажировок в своей компании. Кто нужен в качестве ментора, как собеседовать стажеров, какого уровня сотрудников можно получить после на выходе, а самое главное: как продать идею бизнесу. Приходите на конференцию Podlodka Java Crew про микросервисы: https://podlodka.io/javacrew. Не забудьте воспользоваться промокодом на 300р: micro_java Поддержи лучший подкаст про IT:

https://www.patreon.com/podlodka Также ждем вас, ваши лайки, репосты и комменты в мессенджерах и соцсетях! Telegram-чат: https://t.me/podlodka Telegram-канал: https://t.me/podlodkanews Страница в Face…

2 weeks, 3 days назад @ soundcloud.com
Podlodka #309 – Мобильные фермы
Podlodka #309 – Мобильные фермы Podlodka #309 – Мобильные фермы

Устали ждать несколько по несколько часов, пока на CI отработают все проверки для вашего пулл-реквеста? Не можете нормально спать, ведь текущее покрытие автотестами не обеспечивает нужные гарантии качества ваших приложений? А счета из облачных сервисов тестирования снятся в кошмарах? Добро пожаловать в мир в построения собственных мобильных ферм! Вместе с Антоном Малинским, основателем MarathonLabs мы не только пофилософствовали на тему целесообразности такого решения, но и в деталях обсудили принципы построения ферм: и на аппаратом, и на софтверном уровнях. Приходите на конференцию iOS Podlodka Crew про инфраструктуру:

https://podlodka.io/ioscrew. Не забудьте воспользоваться промокодом на …

3 weeks, 4 days назад @ soundcloud.com
Podlodka #308 – Ruby
Podlodka #308 – Ruby Podlodka #308 – Ruby

Руби очень интересный язык, который сочетает в себе гибкость написания кода с одной стороны и строгость, где это необходимо, с другой. В гости пришел Дмитрий Цепелев. С ним обсудили почему Ruby остается востребованным языком, но и разобрать реальные проблемы и мифы не забыли. Поддержи лучший подкаст про IT:

https://www.patreon.com/podlodka Также ждем вас, ваши лайки, репосты и комменты в мессенджерах и соцсетях! Telegram-чат: https://t.me/podlodka Telegram-канал: https://t.me/podlodkanews Страница в Facebook: www.facebook.com/podlodkacast/ Twitter-аккаунт: https://twitter.com/PodlodkaPodcast Ведущие в выпуске:

Стас Цыганов, Егор Толстой Полезные ссылки: Блог Дмитрия https://dmitrytsepelev.d…

1 month назад @ soundcloud.com
Podlodka #307 – Darklang
Podlodka #307 – Darklang Podlodka #307 – Darklang

Многие языки программирования заявляют, что они упрощают процесс разработки. Но никто еще не заходил так далеко, как Darklang, который буквально убирает все лишнее между написанием строчки кода и доступностью ее пользователю. Никаких фреймворков, инфраструктуры и деплоя – все происходит автоматически. Вместе с CEO/CTO Darklang Paul Biggar мы обсудили философию Dark, детали его технического устройства и задали неудобные вопросы про компромиссы, на которые приходится идти. Также ждем вас, ваши лайки, репосты и комменты в мессенджерах и соцсетях! Telegram-чат: https://t.me/podlodka Telegram-канал: https://t.me/podlodkanews Страница в Facebook: www.facebook.com/podlodkacast/ Twitter-аккаунт: ht…

1 month, 1 week назад @ soundcloud.com
Podlodka #306 – Observability и логирование
Podlodka #306 – Observability и логирование Podlodka #306 – Observability и логирование

Так вышло, что за 300+ выпусков мы ни разу не обсуждали логи, хотя ими пользуются все. Сейчас мы не только исправили это недоразумение, но и поднялись на уровень выше – обсудили Observability, частью которого и является логирование. Гость – Михаил Дружинин. По промокоду POGODKA скидка на покупку билета на нашу конференцию про Go-разработку Podlodka Go Crew! Покупай билет на podlodka.io/gocrew Поддержи лучший подкаст про IT:

www.patreon.com/podlodka Также ждем вас, ваши лайки, репосты и комменты в мессенджерах и соцсетях! Telegram-чат: https://t.me/podlodka Telegram-канал: https://t.me/podlodkanews Страница в Facebook: www.facebook.com/podlodkacast/ Twitter-аккаунт: https://twitter.com/Podlo…

1 month, 2 weeks назад @ soundcloud.com
Podlodka #305 – Цвета и цветовые пространства
Podlodka #305 – Цвета и цветовые пространства Podlodka #305 – Цвета и цветовые пространства

Специально для тех, кто считает несправедливыми шутки про “покраску кнопок”, мы с головой ушли в увлекательный и непростой мир представления цвета в компьютерных системах. Так вот, цвета – это очень сложно! Вместе с Андреем Ситником разбираемся почему. ​​Курс “Профессия Data Scientist” и бесплатные три модуля введения в ДС от Skillbox — https://clck.ru/33Q83s. Скидка 60% по промокоду: PODLODKA Поддержи лучший подкаст про IT:

www.patreon.com/podlodka Также ждем вас, ваши лайки, репосты и комменты в мессенджерах и соцсетях! Telegram-чат: https://t.me/podlodka Telegram-канал: https://t.me/podlodkanews Страница в Facebook: www.facebook.com/podlodkacast/ Twitter-аккаунт: https://twitter.com/Podl…

1 month, 3 weeks назад @ soundcloud.com
Podlodka #304 – .NET, часть 2
Podlodka #304 – .NET, часть 2 Podlodka #304 – .NET, часть 2

Продолжаем погружение в .NET вместе Игорем Лабутиным! В прошлом выпуске мы составили общее представление о платформе, чтобы теперь подробно обсудить все важные особенности. Почему .NET именно такой: какой философии придерживаются создатели платформы? С какими инструментами ежедневно работают .NET разработчики и довольны ли они ими? Правда ли, что .NET нужен только для разработки под Windows, или же его ниша куда шире и разнообразнее? И, наконец, почему на C# писать так приятно? Ответы в выпуске! Поддержи лучший подкаст про IT:

www.patreon.com/podlodka Также ждем вас, ваши лайки, репосты и комменты в мессенджерах и соцсетях! Telegram-чат: https://t.me/podlodka Telegram-канал: https://t.me/po…

2 months назад @ soundcloud.com
Podlodka #303 – .NET, часть 1
Podlodka #303 – .NET, часть 1 Podlodka #303 – .NET, часть 1

Исполняем новогодние обещания: нас просили выпуск про .NET – мы его сделали! Тема большая и очень интересная, поэтому хоть мы и успели обсудить очень многое, немало осталось за бортом. Поэтому представляем вашему вниманию первую часть выпуска! Поддержи лучший подкаст про IT:

www.patreon.com/podlodka Также ждем вас, ваши лайки, репосты и комменты в мессенджерах и соцсетях! Telegram-чат: https://t.me/podlodka Telegram-канал: https://t.me/podlodkanews Страница в Facebook: www.facebook.com/podlodkacast/ Twitter-аккаунт: https://twitter.com/PodlodkaPodcast Ведущие в выпуске:

Женя Кателла, Катя Петрова Полезные ссылки: Сообщества DotNet.Ru

https://dotnet.ru/ Подкаст RadioDotNet

https://radio.dotn…

2 months, 1 week назад @ soundcloud.com
Podlodka #302 – Онбординг
Podlodka #302 – Онбординг Podlodka #302 – Онбординг

Все мы слышали истории плохого онбординга новичков в компанию: начиная c того, что в течение месяца сотруднику не выдавали ноутбук, заканчивая тем, что первые недели работы целиком состояли из буллшитных встреч про ценности и миссию. Вместе с Евгением Антоновым, опытным тимлидом и консультантом, мы разобрались с принципами хорошего онбординга и тем, как можно построить простой и качественный процесс в вашей собственной команде. Также ждем вас, ваши лайки, репосты и комменты в мессенджерах и соцсетях! Telegram-чат: https://t.me/podlodka Telegram-канал: https://t.me/podlodkanews Страница в Facebook: www.facebook.com/podlodkacast/ Twitter-аккаунт: https://twitter.com/PodlodkaPodcast Ведущие в …

2 months, 2 weeks назад @ soundcloud.com
Podlodka #301 – Email
Podlodka #301 – Email Podlodka #301 – Email

В гости позвали руководителя службы Яндекс Почты Александра Мироночева. Начали с любопытных историй как почта начиналась. Если что, email старше веба и Интернета. В основной части поговорили про существующие протоколы и схему взаимодействия узлов во время отправки письма. Поддержи лучший подкаст про IT:

www.patreon.com/podlodka Также ждем вас, ваши лайки, репосты и комменты в мессенджерах и соцсетях! Telegram-чат: https://t.me/podlodka Telegram-канал: https://t.me/podlodkanews Страница в Facebook: www.facebook.com/podlodkacast/ Twitter-аккаунт: https://twitter.com/PodlodkaPodcast Ведущие в выпуске:

Стас Цыганов, Евгений Кателла Список выпусков для того, чтобы линковать на сайте:

Разработка …

2 months, 3 weeks назад @ soundcloud.com
Podlodka #300 – Новогодний
Podlodka #300 – Новогодний Podlodka #300 – Новогодний

300 юбилейный выпуск подкаста выпал на заключительный выпуск уходящего 2022 года. Чтобы отметить это дело, мы позвали в гости людей, сделавших огромный вклад в Подлодку. Рекордсмены по участию в выпусках: Виталий Брагилевский и Павел Комаровский, а также ex-ведущий Глеб Новик пришли к нам в гости и поучаствовали в кейсовом турнире! А также мы провели викторину со слушателями, на которой произошло настоящее новогоднее чудо: два слушателя поделили первое и второе место и оба получили по Steam Deck. Посмотреть полностью этот веселый и неформальный выпуск вы можете на YouTube: https://www.youtube.com/watch?v=154IhLgBvD8 А в аудио-версии Егор, Стас, Катя и Женя делятся с вами рекомендациями выпу…

2 months, 4 weeks назад @ soundcloud.com
Podlodka #299 – Приоритизация
Podlodka #299 – Приоритизация Podlodka #299 – Приоритизация

Задач всегда много, а рук, чтобы их делать, всегда не хватает. Вместе с Аней Подображных, продакт-менеджером из Авито, мы поговорили о различных подходах к приоритизации задач, как на уровне стратегических инициатив всей компании, так и на уровне выбора задач для следующего спринта. Если хотите разобраться, как сравнивать задачи друг с другом – этот выпуск точно для вас! «Ясно» — сервис онлайн-консультаций с психологом. Скидка 20% на первую сессию по промокоду PODLODKA при регистрации: https://app.yasno.live/vWlQ/podlodka Поддержи лучший подкаст про IT:

www.patreon.com/podlodka Также ждем вас, ваши лайки, репосты и комменты в мессенджерах и соцсетях! Telegram-чат: https://t.me/podlodka Tele…

3 months назад @ soundcloud.com
Podlodka #298 – Чай
Podlodka #298 – Чай Podlodka #298 – Чай

Выпуск получился как чайная церемония – не быстрый и обстоятельный. В гости позвали Сергея Шевелева – специалиста по чаю. Затронули историю чайной культуры, вопрос влияния чая на здоровье, а самое главное – как это, пить чай проливами. После выпуска вы скорее всего побежите покупать гайвань и больше никогда не закажете чай в металлическом чайнике. ​​«Золотое Яблоко» - №1 по выручке среди бьюти e-commerce России. А у приложения более 14 млн скачиваний. Ищут системных аналитиков и администраторов, менеджеров проектов, разработчиков .Net, React и BI, а также UX\UI-дизайнеров, Product Owner и Senior web-аналитиков. Резюме присылайте на [email protected] Поддержи лучший подкаст про IT:

www.pat…

3 months, 1 week назад @ soundcloud.com
Проветримся! Проветримся!
последний пост 1 day, 21 hours назад
Ярослав Кравцов: метавселенные
Ярослав Кравцов: метавселенные

Ярослав Кравцов — художник, геймдизайнер и создатель метавселенных на платформе Roblox.Не будьте такими душными, давайте лучше - проветримся!Подпишись в Телеграм на канал @progulkaApplePodcasts ; GooglePodcasts ; Spotify ; Я.музыкаSupport the show

1 day, 21 hours назад @ buzzsprout.com
Никита и Виталий Касьяновы: Tookas
Никита и Виталий Касьяновы: Tookas

Никита и Виталий Касьяновы работают над проектом Tookas — электроприставкой для инвалидных колясок.Не будьте такими душными, давайте лучше - проветримся!Подпишись в Телеграм на канал @progulkaApplePodcasts ; GooglePodcasts ; Spotify ; Я.музыкаSupport the show

1 week, 1 day назад @ buzzsprout.com
Светлана Великанова: университет нового поколения
Светлана Великанова: университет нового поколения

Светлана Великанова создала университет Harbour. https://harbour.space/Не будьте такими душными, давайте лучше - проветримся!Подпишись в Телеграм на канал @progulkaApplePodcasts ; GooglePodcasts ; Spotify ; Я.музыкаSupport the show

2 weeks, 1 day назад @ buzzsprout.com
Маруся Лежнева: помощь мигрантам
Маруся Лежнева: помощь мигрантам

Маруся Лежнева одна из соосновательниц фонда Хьюм.https://welcomehume.org/Не будьте такими душными, давайте лучше - проветримся!Подпишись в Телеграм на канал @progulkaApplePodcasts ; GooglePodcasts ; Spotify ; Я.музыкаSupport the show

3 weeks, 1 day назад @ buzzsprout.com
Межсезонье. Как искусственный интеллект поможет нам сохранить человечность?
Межсезонье. Как искусственный интеллект поможет нам сохранить человечность?

Разговор с Анной Ковалёвой для Reforum.Support the show

3 months, 3 weeks назад @ buzzsprout.com
Межсезонье. Василий Севрюк про нобелевскую премию по физике 2022
Межсезонье. Василий Севрюк про нобелевскую премию по физике 2022

Про новую нобелевскую премию по физике рассказывает Василий Севрюк — квантовый инженер IQM Quantum Computers.https://www.meetiqm.com/Support the show

5 months назад @ buzzsprout.com
Смелость не нравиться
Смелость не нравиться

Писатель и психолог из Японии написали книгу-диалог о том, что такое индивидуальная психология. Не будьте такими душными, давайте лучше - проветримся!Подпишись в Телеграм на канал @progulkaApplePodcasts ; GooglePodcasts ; Spotify ; Я.музыкаSupport the show

5 months, 3 weeks назад @ buzzsprout.com
Стоицизм в XXI веке
Стоицизм в XXI веке

Книга Уильяма Ирвайна о том, чему современный человек может научиться у философов Греции и Рима. Не будьте такими душными, давайте лучше - проветримся!Подпишись в Телеграм на канал @progulkaApplePodcasts ; GooglePodcasts ; Spotify ; Я.музыкаSupport the show

5 months, 3 weeks назад @ buzzsprout.com
Человек в поисках смысла
Человек в поисках смысла

Как Виктор Франкл попал в концлагерь и написал одну из главных работ по психологии второй половины двадцатого века.Не будьте такими душными, давайте лучше - проветримся!Подпишись в Телеграм на канал @progulkaApplePodcasts ; GooglePodcasts ; Spotify ; Я.музыкаSupport the show

5 months, 3 weeks назад @ buzzsprout.com
Эмоции и личность
Эмоции и личность

Это тринадцатая часть небольшого набора упражнений, посвящённых медитации и стоической философии. Луше начать слушать с эпизода, который называется "Немного про медитацию".Support the show

9 months, 2 weeks назад @ buzzsprout.com
Другие люди
Другие люди

Это двенадцатая часть небольшого набора упражнений, посвящённых медитации и стоической философии. Луше начать слушать с эпизода, который называется "Немного про медитацию".Support the show

9 months, 2 weeks назад @ buzzsprout.com
Внимание и эмоции
Внимание и эмоции

Это одиннадцатая часть небольшого набора упражнений, посвящённых медитации и стоической философии. Луше начать слушать с эпизода, который называется "Немного про медитацию".Support the show

9 months, 2 weeks назад @ buzzsprout.com
Эмоции стоиков
Эмоции стоиков

Это десятая часть небольшого набора упражнений, посвящённых медитации и стоической философии. Луше начать слушать с эпизода, который называется "Немного про медитацию".Support the show

9 months, 2 weeks назад @ buzzsprout.com
Ощущения и эмоции
Ощущения и эмоции

Это девятая часть небольшого набора упражнений, посвящённых медитации и стоической философии. Луше начать слушать с эпизода, который называется "Немного про медитацию".Support the show

9 months, 2 weeks назад @ buzzsprout.com
Будущее
Будущее

Это восьмая часть небольшого набора упражнений, посвящённых медитации и стоической философии. Луше начать слушать с эпизода, который называется "Немного про медитацию".Support the show

9 months, 3 weeks назад @ buzzsprout.com
Вы находитесь здесь Вы находитесь здесь
последний пост None
Python Bytes Python Bytes
последний пост 3 days, 10 hours назад
#328 We are going to need some context here
#328 We are going to need some context here 3 days, 10 hours назад @ pythonbytes.fm
#327 Untangling XML with Pydantic
#327 Untangling XML with Pydantic 1 week, 4 days назад @ pythonbytes.fm
#326 Let's Go for a PyGWalk
#326 Let's Go for a PyGWalk 2 weeks, 2 days назад @ pythonbytes.fm
#325 It's called a merge conflict
#325 It's called a merge conflict 3 weeks, 3 days назад @ pythonbytes.fm
#324 JSON in My DB?
#324 JSON in My DB? 1 month назад @ pythonbytes.fm
#323 AI search wars have begun
#323 AI search wars have begun 1 month, 1 week назад @ pythonbytes.fm
#322 Python Packages, Let Me Count The Ways
#322 Python Packages, Let Me Count The Ways 1 month, 2 weeks назад @ pythonbytes.fm
#321 A Memorial To Apps Past
#321 A Memorial To Apps Past 1 month, 3 weeks назад @ pythonbytes.fm
#320 The Bug Is In The JavaScript
#320 The Bug Is In The JavaScript 1 month, 4 weeks назад @ pythonbytes.fm
#319 CSS-Style Queries for... JSON?
#319 CSS-Style Queries for... JSON? 2 months назад @ pythonbytes.fm
#318 GIL, How We Will Miss You
#318 GIL, How We Will Miss You 2 months, 1 week назад @ pythonbytes.fm
#317 Most loved and most dreaded dev tools of 2022
#317 Most loved and most dreaded dev tools of 2022 2 months, 2 weeks назад @ pythonbytes.fm
#316 Python 3.11 is here and it's fast (crossover)
#316 Python 3.11 is here and it's fast (crossover) 2 months, 3 weeks назад @ pythonbytes.fm
#315 Some Stickers!
#315 Some Stickers! 3 months назад @ pythonbytes.fm
#314 What are you, a wise guy? Sort it out!
#314 What are you, a wise guy? Sort it out! 3 months, 1 week назад @ pythonbytes.fm
Software Engineering Daily Software Engineering Daily
последний пост 1 day, 21 hours назад
Seamless SecOps with Jack Naglieri
Seamless SecOps with Jack Naglieri

A SIEM platform provides organizations with a powerful tool for improving their security posture, by providing insights into potential security threats and enabling proactive security measures. Panther is a Cloud based security monitoring platform that helps teams detect and respond to security breaches quickly and intelligently. Jack Naglieri is the Founder and CEO of Panther

The post Seamless SecOps with Jack Naglieri appeared first on Software Engineering Daily.

1 day, 21 hours назад @ softwareengineeringdaily.com
Observability Trends with John Hart
Observability Trends with John Hart

“DataSet” is a log analytics platform provided by Sentinel One that helps DevOps, IT engineering, and security teams get answers from their data across all time periods, both live streaming and historical. It’s powered by a unique architecture that uses a massively parallel query engine to provide actionable insights from the data available. John Hart

The post Observability Trends with John Hart appeared first on Software Engineering Daily.

3 days, 23 hours назад @ softwareengineeringdaily.com
Building Delightful User Experiences with Guillermo Rauch
Building Delightful User Experiences with Guillermo Rauch

Vercel is the platform for frontend developers, providing the speed and reliability innovators need to create at the moment of inspiration. Vercel’s Edge Functions enable you to deliver dynamic, personalized content with the lightweight Edge Runtime. Guillermo Rauch is the CEO at Vercel and he joins us today. This episode is hosted by Mike Bifulco. To

The post Building Delightful User Experiences with Guillermo Rauch appeared first on Software Engineering Daily.

1 week, 1 day назад @ softwareengineeringdaily.com
Improved Java Performance Sans Code Changes with Simon Ritter
Improved Java Performance Sans Code Changes with Simon Ritter

What are the reasons why we need to improve performance? The JVM is a powerful piece of software – this is the reason why Java has maintained its popularity over the past 26+ years. But… there are some ways that the JVM works that can impact the performance of your applications. One of the biggest

The post Improved Java Performance Sans Code Changes with Simon Ritter appeared first on Software Engineering Daily.

1 week, 4 days назад @ softwareengineeringdaily.com
Data Investing and the MAD with Matt Turck
Data Investing and the MAD with Matt Turck

There are many types of early stage funding available from friends and family to seed to series A. Some firms invest across a wide set of technologies and seek only to provide capital. Others are in it for the long haul – they focus on specific areas of technology and develop both long term relationships

The post Data Investing and the MAD with Matt Turck appeared first on Software Engineering Daily.

1 week, 6 days назад @ softwareengineeringdaily.com
eBPF with Thomas Graf
eBPF with Thomas Graf

The post eBPF with Thomas Graf appeared first on Software Engineering Daily.

2 weeks, 4 days назад @ softwareengineeringdaily.com
Netlify with Mathias Biilmann Christensen
Netlify with Mathias Biilmann Christensen

The post Netlify with Mathias Biilmann Christensen appeared first on Software Engineering Daily.

3 weeks, 1 day назад @ softwareengineeringdaily.com
Surviving ChatGPT with Christian Hubicki
Surviving ChatGPT with Christian Hubicki

ChatGPT is an artificial intelligence language model developed by OpenAI. It is part of the GPT (Generative Pre-trained Transformer) family of models, which are designed to generate human-like text based on input prompts. ChatGPT is specifically trained to carry out conversational tasks, such as answering questions, completing sentences, and engaging in dialogue. It has been

The post Surviving ChatGPT with Christian Hubicki appeared first on Software Engineering Daily.

4 weeks назад @ softwareengineeringdaily.com
Seeding Bold Engineers with Lee Edwards
Seeding Bold Engineers with Lee Edwards

Lee Edwards is a Partner at Root Ventures, a venture capital firm that invests in early-stage startups that are focused on solving hard engineering problems. Lee is an investor in Privacy Dynamics, a company that offers data anonymisation as a service. You can listen to our interview with the CTO of Privacy Dynamics, John Craft

The post Seeding Bold Engineers with Lee Edwards appeared first on Software Engineering Daily.

4 weeks, 1 day назад @ softwareengineeringdaily.com
Creating Mock APIs with Tom Akehurst
Creating Mock APIs with Tom Akehurst

API mocking is a technique used to simulate the behavior of an API without actually connecting to the real API. It is useful for various reasons, including testing, isolation, development, and cost reduction. By using API mocking, developers can test their code without relying on the availability of the real API, isolate the code being

The post Creating Mock APIs with Tom Akehurst appeared first on Software Engineering Daily.

4 weeks, 1 day назад @ softwareengineeringdaily.com
pebblebed with Keith Adams
pebblebed with Keith Adams

The post pebblebed with Keith Adams appeared first on Software Engineering Daily.

1 month назад @ softwareengineeringdaily.com
Kubernetes Cost Management with Matt Leray
Kubernetes Cost Management with Matt Leray

As companies move more and more workloads to the cloud, cost management in the cloud is becoming critically important. Modern application development methodology increasingly involves moving to service and microservice architectures enabled by the cloud and kubernetes is the backbone of this modern infrastructure trend. Managing costs of kubernetes clusters is therefore becoming increasingly important.

The post Kubernetes Cost Management with Matt Leray appeared first on Software Engineering Daily.

1 month, 1 week назад @ softwareengineeringdaily.com
Learning From Incidents with Nora Jones
Learning From Incidents with Nora Jones

Jeli.io is an end to end incident management tool. Jeli helps you understand why an incident took place, how it could’ve been prevented, and allows you to dive deep into uncovered themes, patterns, or problem areas! Nora Jones is the Founder and CEO at Jeli.io and she joins us today. Sponsorship inquiries: [email protected]

The post Learning From Incidents with Nora Jones appeared first on Software Engineering Daily.

1 month, 2 weeks назад @ softwareengineeringdaily.com
Streamdal: Streaming Data Performance Monitoring with Ustin Zarubin and Dan Selans
Streamdal: Streaming Data Performance Monitoring with Ustin Zarubin and Dan Selans

Data observability is the idea of creating a unified view of all the data so you can head off problems early, identify outages, and address any conflicts in real time. Today we’re interviewing Streamdal’s founders Ustin Zarubin and Dan Selans. They’re gonna share with us how they’re using an application monitoring approach to address the

The post Streamdal: Streaming Data Performance Monitoring with Ustin Zarubin and Dan Selans appeared first on Software Engineering Daily.

1 month, 2 weeks назад @ softwareengineeringdaily.com
Istio Ambient Mesh with Brian Gracely
Istio Ambient Mesh with Brian Gracely

Let’s say you have a set of microservices running on a Kubernetes cluster. In the past, developers used to program features like service discovery, observability, who’s allowed to talk to whom and other security related features directly into the application code. This slowed down the dev cycle and it made these microservices bigger and just

The post Istio Ambient Mesh with Brian Gracely appeared first on Software Engineering Daily.

1 month, 2 weeks назад @ softwareengineeringdaily.com
Habr Podcasts Habr Podcasts
последний пост 2 weeks, 4 days назад
Хабр ПРО // Оставь карту дома: на что способна NFC в платежах сейчас и в будущем
Хабр ПРО // Оставь карту дома: на что способна NFC в платежах сейчас и в будущем Хабр ПРО // Оставь карту дома: на что способна NFC в платежах сейчас и в будущем

В этом выпуске Хабр ПРО мы обсудили NFC: как работает эта технология, почему широко применяется в оплате и как будет развиваться.

Гости:

Андрей Ковригин, директор по продажам СБП (АО «НСПК»)

Александра Баженова, аналитик-разработчик

Эфир от 28 февраля 2023.

00:55 Знакомство с NFC: что это такое, как работает, где применяется и из чего выросло. 04:57 Курица или яйцо: это NFC пришла в платежи или сама выросла из технологии бесконтактной оплаты. Почему технология обрела популярность. 08:06 Вживить метку NFC: шутки и реальность. 09:05 Варианты оплаты с помощью NFC и их различия. 10:16 История появления NFC в СБП, и как технологию используют сейчас. 18:10 Почему при оплате с помощью меток необхо…

2 weeks, 4 days назад @ soundcloud.com
Хабр Про // Единство горы рушит: как синхронизировать разработку и управление продуктом
Хабр Про // Единство горы рушит: как синхронизировать разработку и управление продуктом Хабр Про // Единство горы рушит: как синхронизировать разработку и управление продуктом

В вашей компании команды разработки и управления продуктом тоже никак не могут договориться? В этом выпуске обсудим, как достичь дзена между лебедем и щукой: Технический директор «Дзена» Дима Кондрашкин

Директор по продукту «Дзена» Саша Колокольников А в роли рака был Андрей Аврамчук — ведущий подкаста. Онлайн прошёл 2 февраля 2023. 1:47 Взаимодействие между разработкой и продактом: критерии хорошего процесса и доверие как ключевое условие. 6:54 Как определить готовность MVP: подходы в разработке и продукте. 10:54 Что делать, если идея не взлетела. 14:24 Неудачи как полезный опыт. 15:27 Распределение ответственности между CTO и CPO. 19:03 Синхронизация работы через OKR и смена направлений в…

1 month, 2 weeks назад @ soundcloud.com
Хабр ПРО // Школа жизни для моделей: как MLOps продуктивизации помогает
Хабр ПРО // Школа жизни для моделей: как MLOps продуктивизации помогает Хабр ПРО // Школа жизни для моделей: как MLOps продуктивизации помогает

Когда-то на создание новых ML-продуктов уходили недели и месяцы, а теперь результат должен быть в течение пары дней. В этом выпуске Хабр ПРО мы обсудили, как создать свою MLOps-платформу. Про то, как идет эта работа в Мегафоне, нам рассказали: → Максим Кожевников, Head of Data Science

→ Артём Глазунов, Head of ML Platform and Analytical services и ведущий подкаста «Данные люди» https://t.me/bigdatapeople. Тайминги:

01:22 Идеальный пайплайн для ML-моделей

03:22 Главное звено внедрения MLOps

08:13 Секрет успеха своей платформы

11:51 Как определить, что нужна своя платформа

17:09 Вредные советы: как убить ML-модель

21:27 Как разные задачи ML меняют конфигурацию MLOps

24:48 Проблемы продуктивиз…

1 month, 3 weeks назад @ soundcloud.com
Хабр ПРО // Прощай, NFC? Обсуждаем, придут ли QR-коды на смену картам
Хабр ПРО // Прощай, NFC? Обсуждаем, придут ли QR-коды на смену картам Хабр ПРО // Прощай, NFC? Обсуждаем, придут ли QR-коды на смену картам

Давным-давно, на заре эпохи Хэйсэй, Масахиро Хара придумал QR-код — новый формат меток для отслеживания деталей на автомобильном конвейере. Технология оказалась удачной, и спустя 30 лет продолжает проникать в нашу повседневную жизнь. В этом выпуске Хабр ПРО мы обсудили, чем же так удобны QR-коды, какие функции они выполняют в платежных системах и куда могут развиться дальше. Наши гости: → Екатерина Аккузина, руководитель центра развития мобильных платежей, Мир Plat.Form → Игорь Тростников, директор по развитию продуктов СБП, Мир Plat.Form 01:20 Почему технология QR-кодов сейчас так популярна

05:03 Чем технология QR-кодов удобна пользователям

05:36 Как работают платежи с использованием QR-ко…

4 months назад @ soundcloud.com
Хабр ПРО // Hello world: две истории о старте в IT
Хабр ПРО // Hello world: две истории о старте в IT Хабр ПРО // Hello world: две истории о старте в IT

Старт карьеры в ИТ похож на гонки на выживание: и там и там цели достигают не все. В этом выпуске — те, кто её достиг. Мы поговорили с Junior-разработчиками о том, как они строили карьеру, что им помогало, а что мешало. Итак, сегодня в нашей виртуальной студии

Толибжон Сохибов из Лаборатории Касперского,

Максим Набиуллин из Московского кредитного банка. 00:56 Почему именно ИТ

02:29 Чувствуется ли разница между теми, кто учит программирование со школы, и теми, кто с ним знакомится позже.

04:33 Нужно ли начинать учиться программированию рано

06:14 Самый сложный барьер при поиске работы

10:08 Откуда ждать помощи в обучении

11:44 Как ощущалась нехватка практического опыта

13:38 Как учат командн…

5 months назад @ soundcloud.com
Хабр ПРО // В чём магия геоданных и как их найти без регистрации и СМС
Хабр ПРО // В чём магия геоданных и как их найти без регистрации и СМС Хабр ПРО // В чём магия геоданных и как их найти без регистрации и СМС

В книгах и фильмах про пиратов всегда были карты сокровищ. В современном мире карты и дополняющие их данные — сокровища сами по себе.

В этом выпуске говорим о геоданных и о том, как разработчики их используют. Завесу тайны над геоданными приоткроют:

Елена Гоголева, начальник управления аналитических исследований и инновационных технологий Промсвязьбанка,

Мария Сакиркина, продуктовый аналитик 2ГИС. 01:05 Где работают с геоданными

02:50 Можно ли считать пиратскую карту Джека Воробья геоданными

03:30 Задачи, в которых помогают геоданные

09:13 Как геоданные помогают выбирать места для магазинов, офисов и банкоматов

10:45 Типовые задачи при работе с данными

15:23 Спасут ли геоданные наш любимый …

5 months, 1 week назад @ soundcloud.com
Хабр ПРО // Охапка дров, деврел готов: как выжать максимум пользы из техноавторства
Хабр ПРО // Охапка дров, деврел готов: как выжать максимум пользы из техноавторства Хабр ПРО // Охапка дров, деврел готов: как выжать максимум пользы из техноавторства

Контент — сложный и часто неблагодарный труд, но что-то толкает людей становиться авторами. И дело не только в амбициях — если бы контент не приносил технарям пользу, постов на Хабре бы на порядок меньше. Так какие бенефиты может выжать хороший автор из своего аккаунта? Стоит ли признаваться работодателю, что в свободное время пишешь о технологиях? И есть ли вариант остаться в разработке, если к написанию кода уже подостыл? Спойлер: есть, становитесь деврелами. 1:00 Наши гости: Елена Кабанец, руководитель HR-бренда Сбера, и Григорий Петров, деврел компании Еврон. 1:15 Путь в деврелы начинается со статей? Личный опыт гостя. 4:40 Как Сбер находит авторов внутри команды и мотивирует их писать …

8 months, 1 week назад @ soundcloud.com
Хабр ПРО // Ретроспектива фронтенда: ностальгируем по jQuery и кроссбраузерности
Хабр ПРО // Ретроспектива фронтенда: ностальгируем по jQuery и кроссбраузерности Хабр ПРО // Ретроспектива фронтенда: ностальгируем по jQuery и кроссбраузерности

Кто-то называет прогресс движением по кругу, кто-то заменой одних неприятностей другими, а кто-то считает его законом природы. В IT это чувствуется особенно сильно — и в этом выпуске мы обсудим, какой путь прошла фронтенд-разработка. Вспомним, когда вообще появился этот термин, что было до него, поностальгируем о кроссбраузерности и узнаем, смог бы senior десятилетней давности сойти сегодня за джуна. Ностальгировали с опытными фронтендерами: Максимом Ореховым, руководителем центра компетенций по разработке веб-приложений в Промсвязьбанке, и Евгением Дмитриевым, руководителем разработки дизайн-системы ivi. Запись онлайна от 07/07. 1:24 Опыт гостей: первое вхождение во фронтэнд. 2:21 Эпоха ве…

8 months, 1 week назад @ soundcloud.com
Мысли и Методы Мысли и Методы
последний пост None
Трёп Себранта Трёп Себранта
последний пост 4 days, 6 hours назад
LLMs как герои 23Q1; готовимся встречать мультимодальность, эмбодимент и эмерджентность
LLMs как герои 23Q1; готовимся встречать мультимодальность, эмбодимент и эмерджентность LLMs как герои 23Q1; готовимся встречать мультимодальность, эмбодимент и эмерджентность

На фоне уже который месяц не спадающего интереса к ChatGPT и прочим большим языковым моделям я снова позвал в Трёп любимого собеседника — Ваню Ямщикова. Много лет он занимается обработкой естественного языка и языковыми моделями не только как практик, но и как ученый. Потому и его взгляды на происходящее и его ожидания от будущего, да еще в задорном и полемичном стиле изложенные, — очень своевременное и очень освежающее слушание. Несколько ссылок, упоминавшихся в разговоре: Выступление Вани на YaC-2018 про (прошлым летом, июль 2022) Статья в QuantaMagazine, которую Работа, в которой наглядно показано, что такое

4 days, 6 hours назад @ sebrant.chat
Предновогоднее: чуток итогов-2022, чуток ожиданий-2023
Предновогоднее: чуток итогов-2022, чуток ожиданий-2023 Предновогоднее: чуток итогов-2022, чуток ожиданий-2023

-=Выпуск 71=- По традиции, под Новый год немного моего сольного трёпа про технологические итоги года уходящего и ожидания от года наступающего. Содержит для меня нетипичный фрагмент: хоть и не люблю я списки всяких персон года, решил объясниться, почему для меня в мире хайтека человеком уходящего года стал Илон Маск.

2 months, 3 weeks назад @ sebrant.chat
Зачем декану ИТМО Hard Science Fiction
Зачем декану ИТМО Hard Science Fiction Зачем декану ИТМО Hard Science Fiction

-=Выпуск 70=- Саша Капитонов рассказывает, какую научную фантастику он любит и почему считает ее полезной и для себя, и для студентов. Выпуск может быть источником чтива на приближающихся новогодних каникулах, но я специально не даю здесь ссылок на многочисленные упомянутые книжки: внимательно слушайте и ищите авторов и их произведения на своих любимых сервисах: тут вкусы бывают сильно разные.

3 months, 1 week назад @ sebrant.chat
Два продуктово-технологических итога 2022
Два продуктово-технологических итога 2022 Два продуктово-технологических итога 2022

-=Выпуск 69=- Настал сезон, чтоб оглянуться на уходящий потихоньку год: не хочу длинных списков; порассуждаю о всего лишь двух не столько событиях, сколько процессах, которыми лично мне запомнился пейзаж области высоких технологий в 2022. В рассказе я обещаю ссылки на прошлые подкасты здесь в тему метавселенной (в моем её понимании) и на статьи, где можно посмотреть на генеративную графику ныне модных инструментов и поверхностно сравнить их. Майский рассказ на конференции CodeFest-2022 в Новосибирске Первое здесь — как я её для себя понимал (больше года назад) Как полтора года назад из Мастерской-15 Видео со по текстовым описаниям Аналогичное а не ролика

5 months назад @ sebrant.chat
Саша Ларьяновский: визионер и оптимист EdTech (и не только)
Саша Ларьяновский: визионер и оптимист EdTech (и не только) Саша Ларьяновский: визионер и оптимист EdTech (и не только)

-=Выпуск 68=- Трёп про образование и технологии в нем, про визионерство и немножко про жизнь с давним другом и одним из тех, кто еще с прошлого века строил и продолжает строить интернет в разных местах, в разных компаниях, на разных должностях — но всегда с душой. Ссылки по теме: Упомянутый в разговоре — если хочется его регулярно почитывать

7 months, 3 weeks назад @ sebrant.chat
Ваня Ямщиков три года спустя
Ваня Ямщиков три года спустя Ваня Ямщиков три года спустя

-=Выпуск 67=- Трёп в своем идеальном виде — про всё на свете, куда язык заведёт: про науку, машинное обучение, генеративное искусство, очеловечивание алгоритмов, климатический кризис и странности наших мозгов. Ссылочки на тему упомянутого в выпуске (и ) Текст Лёши Тихонова Лев Манович

8 months, 4 weeks назад @ sebrant.chat
Кому в метавселенной жить хорошо
Кому в метавселенной жить хорошо Кому в метавселенной жить хорошо

-=Выпуск 66=- Аудиоверсия моего открывающего доклада на конференции CodeFest-12 28 мая 2022 в Новосибирске: слегка отредактированная аудиодорожка презентации обрамлена моими уже домашними комментариями. Ссылки по теме: , сооснователями Мастерской-15, исследователями метавселенной Подкаст про то, (пока ее не опошлили)

9 months, 4 weeks назад @ sebrant.chat
⌨ Coding
Martin Fowler
последний пост 3 weeks, 1 day назад
Brass Birmingham becomes #1 on BoardGameGeek
Brass Birmingham becomes #1 on BoardGameGeek Brass Birmingham becomes #1 on BoardGameGeek

I got into hobby board games while at school and have continued my involvement, these days streaming regularly on YouTube with Heavy Cardboard.

Then a couple of weeks ago that last champion - Gloomhaven - was toppled by exactly the kind of game that I like: Brass Birmingham.

The original Brass, now called Brass Lancashire, appeared in 2007 and has been a highly rated game, staying in BGG's top 40, ever since.

Brass Birmingham, which came out in 2018 isn't necessarily superior, despite being the one that took the top ranking.

They were driven by their love of the original Brass game, and wanted to take over its publication.

3 weeks, 1 day назад @ martinfowler.com
Shaky Twitter Two-Factor Authentication Interaction
Shaky Twitter Two-Factor Authentication Interaction

Martin Fowler: 18 Feb 2023Accessing Twitter this morning, I was greeted with a prompt saying that they were getting rid of text messages as a form of two-factor authentication unless you subscribed to Twitter Blue.

I thought “fine”, because I don’t use text messages for that, preferring a one-time code managed by 1Password.

It seems that Twitter had mistakenly deleted my one-time code link.

I don’t think this is a huge deal, as I just set up another one-time code.

But it’s the sort of thing that reinforces the impression that bits are steadily falling off Twitter.

1 month назад @ martinfowler.com
Modularizing React Applications: fixing Shotgun Surgery
Modularizing React Applications: fixing Shotgun Surgery Modularizing React Applications: fixing Shotgun Surgery

This article explores the application of established UI building patterns to the React world, with a refactoring journey code example to showcase the benefits.

The emphasis is placed on how layering architecture can help organize the React application for improved responsiveness and future changes.

While I've put React application, there isn't such a thing as React application.

The evolution of a React application For small or one-off projects, you might find that all logic is just written inside React components.

Single Component Application It can be called pretty much a Single Component Application: Figure 1: Single Component Application But soon, you realise one single component require…

1 month назад @ martinfowler.com
Retrospectives Antipatterns
Retrospectives Antipatterns Retrospectives Antipatterns

Aino Corry, author of "Retrospectives Antipatterns", is a teacher, a technical conference editor and retrospectives facilitator.

Retrospectives Antipatterns are descriptions of what can go wrong in that activity and how to remedy it.

With detailed scenarios, imaginative illustrations and step-by-step instructions, this book started my journey as a retrospective facilitator.

Their book helped me to plan shorter, more efficient retrospectives, but also contains tools for the facilitator that helped me with the actual process of planning the retrospectives in a more efficient way.

I wrote ”Retrospectives Antipatterns” to answer these questions, so that you can avoid making the same mistakes I …

1 month, 1 week назад @ martinfowler.com
Modularizing React Applications: adding a new feature
Modularizing React Applications: adding a new feature Modularizing React Applications: adding a new feature

This article explores the application of established UI building patterns to the React world, with a refactoring journey code example to showcase the benefits.

The emphasis is placed on how layering architecture can help organize the React application for improved responsiveness and future changes.

While I've put React application, there isn't such a thing as React application.

The evolution of a React application For small or one-off projects, you might find that all logic is just written inside React components.

Single Component Application It can be called pretty much a Single Component Application: Figure 1: Single Component Application But soon, you realise one single component require…

1 month, 1 week назад @ martinfowler.com
An example of modularizing a React application
An example of modularizing a React application An example of modularizing a React application

This article explores the application of established UI building patterns to the React world, with a refactoring journey code example to showcase the benefits.

The emphasis is placed on how layering architecture can help organize the React application for improved responsiveness and future changes.

While I've put React application, there isn't such a thing as React application.

The evolution of a React application For small or one-off projects, you might find that all logic is just written inside React components.

Single Component Application It can be called pretty much a Single Component Application: Figure 1: Single Component Application But soon, you realise one single component require…

1 month, 2 weeks назад @ martinfowler.com
Comparing Engagement on Twitter and the Fediverse
Comparing Engagement on Twitter and the Fediverse Comparing Engagement on Twitter and the Fediverse

One of the new features on Mastodon for a recovering twitterer is the CW field for new posts.

Mastodon is a federated network, so I have to accept that different parts of the community will have different standards.

My publisher is Thoughtworks, as that company controls the Mastodon server I post from.

Mastodon allows longer posts than Twitter, and I’ve seen even longer posts that I assume came from other Fediverse software.

Many Mastodon guides state that all political posts should be behind CWs.

1 month, 2 weeks назад @ martinfowler.com
Modularizing React Applications with Established UI Patterns
Modularizing React Applications with Established UI Patterns Modularizing React Applications with Established UI Patterns

The emphasis is placed on how layering architecture can help organize the React application for improved responsiveness and future changes.

While I've put React application, there isn't such a thing as React application.

With all this extra context, trying to squeeze everything into React components or hooks is generally not a good idea.

The evolution of a React application For small or one-off projects, you might find that all logic is just written inside React components.

Single Component Application It can be called pretty much a Single Component Application: Figure 1: Single Component Application But soon, you realise one single component requires a lot of time just to read what is goin…

1 month, 2 weeks назад @ martinfowler.com
Exploring Mastodon: status for February 2023
Exploring Mastodon: status for February 2023 Exploring Mastodon: status for February 2023

One of the new features on Mastodon for a recovering twitterer is the CW field for new posts.

Mastodon is a federated network, so I have to accept that different parts of the community will have different standards.

My publisher is Thoughtworks, as that company controls the Mastodon server I post from.

Mastodon allows longer posts than Twitter, and I’ve seen even longer posts that I assume came from other Fediverse software.

Many Mastodon guides state that all political posts should be behind CWs.

1 month, 2 weeks назад @ martinfowler.com
Remaining activities for the Data Mesh Accelerate Workshop
Remaining activities for the Data Mesh Accelerate Workshop Remaining activities for the Data Mesh Accelerate Workshop

The Data Mesh Accelerate workshop helps teams and organisations accelerate their Data Mesh transformation, by understanding their current state and exploring what the next steps will look like.

The Data Mesh Accelerate Workshop At Thoughtworks, our response has been a process called Data Mesh Accelerate.

Where the accelerate workshop fits in The Data Mesh Accelerate Workshop is one part of a data mesh transformation.

from: Data Mesh in practice: Getting off to the right start The Data Mesh Accelerate workshop fits in when you have got the domain stakeholders (business and technical people) interested and available for a few hours to kick start a successful Data Mesh transformation.

Discover…

2 months, 1 week назад @ martinfowler.com
My favorite musical discoveries of 2022
My favorite musical discoveries of 2022 My favorite musical discoveries of 2022

I've now made it a habit of mentioning six new musical discoveries I made this year.

Dancing Wittgenstein by Jazzrausch Bigband sample track: Dancing Wittgenstein Jazzrausch Bigband is compelling evidence that, however unlikely it sounds, Duke Ellington had a baby with Kraftwerk.

Chants by Al-jiçç sample track: Route The Mediterranean is a fascinating mixing pot: Graeco-Roman classicism, catholic Europe, the Maghreb, Ottoman, and Arabian cultures united by trade over the course of centuries.

Jokers by Vincent Peirani sample track: River The accordion is a rarity in serious musical circles, usually only found in Folk and Tango.

The main reason I make this annual article is to hopefully lead …

2 months, 1 week назад @ martinfowler.com
Some activities for the Data Mesh Accelerate Workshop
Some activities for the Data Mesh Accelerate Workshop Some activities for the Data Mesh Accelerate Workshop

The Data Mesh Accelerate workshop helps teams and organisations accelerate their Data Mesh transformation, by understanding their current state and exploring what the next steps will look like.

The Data Mesh Accelerate Workshop At Thoughtworks, our response has been a process called Data Mesh Accelerate.

Where the accelerate workshop fits in The Data Mesh Accelerate Workshop is one part of a data mesh transformation.

from: Data Mesh in practice: Getting off to the right start The Data Mesh Accelerate workshop fits in when you have got the domain stakeholders (business and technical people) interested and available for a few hours to kick start a successful Data Mesh transformation.

Prep wor…

2 months, 1 week назад @ martinfowler.com
Data Mesh Accelerate Workshop
Data Mesh Accelerate Workshop Data Mesh Accelerate Workshop

The Data Mesh Accelerate workshop helps teams and organisations accelerate their Data Mesh transformation, by understanding their current state and exploring what the next steps will look like.

The Data Mesh Accelerate Workshop At Thoughtworks, our response has been a process called Data Mesh Accelerate.

Where the accelerate workshop fits in The Data Mesh Accelerate Workshop is one part of a data mesh transformation.

from: Data Mesh in practice: Getting off to the right start The Data Mesh Accelerate workshop fits in when you have got the domain stakeholders (business and technical people) interested and available for a few hours to kick start a successful Data Mesh transformation.

Prep wor…

2 months, 2 weeks назад @ martinfowler.com
Finding accounts to follow on Mastodon
Finding accounts to follow on Mastodon Finding accounts to follow on Mastodon

One of the new features on Mastodon for a recovering twitterer is the CW field for new posts.

Mastodon is a federated network, so I have to accept that different parts of the community will have different standards.

My publisher is Thoughtworks, as that company controls the Mastodon server I post from.

Mastodon allows longer posts than Twitter, and I’ve seen even longer posts that I assume came from other Fediverse software.

Many Mastodon guides state that all political posts should be behind CWs.

3 months назад @ martinfowler.com
Installing Orbi Wifi Mesh broke my Sonos
Installing Orbi Wifi Mesh broke my Sonos Installing Orbi Wifi Mesh broke my Sonos

Last week I upgraded my wifi by installing a Netgear Orbi Wifi Mesh.

I've been very happy with my Sonos system, it delivers music around the house, with only occasional problems.

When Sonos is set up like this, the speakers create their own wifi network, independent of any other wifi network in the building.

Looking around the internet, I found good reviews for the Netgear Orbi system, so I picked one up.

The Sonos app on my iPhone couldn't see any of my Sonos speakers.

3 months, 2 weeks назад @ martinfowler.com
Антон Жиянов Антон Жиянов
последний пост 1 week, 1 day назад
AI-ассистент для SQLite
AI-ассистент для SQLite AI-ассистент для SQLite

Попросите ИИ объяснить или найти проблемы в SQL-запросе.

1 week, 1 day назад @ antonz.ru
ChatGPT-бот на Python
ChatGPT-бот на Python ChatGPT-бот на Python

Telegram-бот, который использует официальное API OpenAI

1 week, 6 days назад @ antonz.ru
Интерактивные SQL-примеры на JavaScript
Интерактивные SQL-примеры на JavaScript Интерактивные SQL-примеры на JavaScript

Интерактивные SQL-примеры на JavaScriptЧитать про SQL хорошо, но пробовать запросы вживую еще лучше!

Поэтому я разработал виджеты, которые помогут вам превратить статичные SQL-запросы в статьях в интерактивные примеры.

Вот рабочий пример, попробуйте его:select * from employees limit 5;А вот четыре шага, которые помогут настроить интерактивные примеры в ваших статьях или документации:1.

sqlime-db.js — веб-компонент базы данных.

— веб-компонент базы данных.

2 weeks, 5 days назад @ antonz.ru
Чтение и запись файлов в SQLite
Чтение и запись файлов в SQLite Чтение и запись файлов в SQLite

Чтение и запись файлов в SQLiteИногда бывает удобно загрузить набор данных из внешнего файла или выгрузить результаты запроса в файл.

В отличие от других СУБД, добавить расширение в SQLite элементарно.

Построчно записать результаты в файлДопустим, мы хотим выгрузить записи лога с уровнем ERROR в отдельный файл.

name ), files ;Убедимся, что все записи логов попали в таблицу:select fname , count ( * ) from logs group by fname ;┌────────────────┬──────────┐ │ fname │ count(*) │ ├────────────────┼──────────┤ │ logs/app.log.1 │ 5 │ │ logs/app.log.2 │ 5 │ │ logs/app.log.3 │ 6 │ └────────────────┴──────────┘Порядок!

УстановкаСкачайте свежий релиз Подключите в командной строке SQLite ( sqlite.exe )…

3 weeks, 4 days назад @ antonz.ru
Сводные таблицы в SQLite
Сводные таблицы в SQLite Сводные таблицы в SQLite

В SQLite ничего такого нет.

Теперь выберем из него данные:select * from v_sales ;┌─────────┬──────┬──────┬──────┬──────┐ │ product │ 2020 │ 2021 │ 2022 │ 2023 │ ├─────────┼──────┼──────┼──────┼──────┤ │ alpha │ 100 │ 120 │ 130 │ 140 │ │ beta │ 10 │ 20 │ 40 │ 80 │ │ gamma │ 80 │ 75 │ 78 │ 80 │ └─────────┴──────┴──────┴──────┴──────┘Работает!

select load_extension ( './pivotvtab' ); create virtual table v_sales using pivot_vtab ( -- строки ( select distinct product from sales ), -- столбцы ( select distinct year , year from sales ), -- ячейки ( select sum ( income ) from sales where product = ?

2 ) );Дальше расширение само все сделает:select * from v_sales ;┌─────────┬──────┬──────┬──────┬───…

1 month, 1 week назад @ antonz.ru
Избранные фичи Go 1.20
Избранные фичи Go 1.20 Избранные фичи Go 1.20

Избранные фичи Go 1.20Go 1.20 принес немало новых фич и улучшений.

Err ()) // context canceledНачиная с 1.20, контекст можно создать с помощью context.WithCancelCause() .

Println ( context .

И, начиная с версии 1.20, добавили три новые маски:DateTime = "2006-01-02 15:04:05" DateOnly = "2006-01-02" TimeOnly = "15:04:05"Теперь наконец-то можно делать так:t , _ := time .

CutPrefix ( s , "> " ) fmt .

1 month, 2 weeks назад @ antonz.ru
Регулярные выражения в SQLite
Регулярные выражения в SQLite Регулярные выражения в SQLite

Проверяйте текст по шаблону и заменяйте фрагменты прямо из SQL.

1 month, 2 weeks назад @ antonz.ru
Композиция атомиков в Go
Композиция атомиков в Go Композиция атомиков в Go

Композиция атомиков в GoАтомарная операция в многозадачной программе — отличная штука.

Int32 func increment () { counter .

Но первый пример при этом гарантирует итоговое значение counter в многозадачной среде:var counter atomic .

Int32 func increment () { counter .

Add ( 1 ) }Если запустить 100 горутин, counter в итоге будет равен 200 (если в процессе выполнения не было ошибок).

2 months назад @ antonz.ru
Идемпотентный Close в Go
Идемпотентный Close в Go Идемпотентный Close в Go

Идемпотентность — это когда повторный вызов операции над объектом не приводит к изменениям или ошибкам.

Очень полезная в разработке штука.

Давайте посмотрим, как применить идемпотентность, чтобы безопасно освободить занятые ресурсы.

Например, есть у нас ворота:Конструктор NewGate() открывает ворота, занимая какие-то системные ресурсы, и возвращает экземпляр Gate .

Понятно, что в итоге занятые ресурсы надо освободить:// do stuffПроблемы начнутся, если в какой-то ветке кода мы захотим явно закрыть ворота:

2 months, 1 week назад @ antonz.ru
Пользовательские функции в SQLite
Пользовательские функции в SQLite Пользовательские функции в SQLite

Как писать функции на чистом SQL.

6 months, 2 weeks назад @ antonz.ru
JSON Lines
JSON Lines JSON Lines

JSON LinesНа днях оценил формат JSON Lines.

Это такой CSV на стероидах:каждая запись идет отдельной строкой, как в CSV;но при этом представляет собой полноценный JSON.

JSON, в принципе, тоже можно читать потоково.

Но посмотрите, насколько это проще с JSON Lines:import json from typing import Iterator def jl_reader ( fname : str ) -> Iterator [ dict ]: with open ( fname ) as file : for line in file : obj = json .

strip ()) yield obj if __name__ == "__main__" : reader = jl_reader ( "employees.jl" ) for employee in reader : id = employee [ "id" ] name = employee [ "name" ] dept = employee [ "department" ] print ( f "# { id } - { name } ( { dept } )" )#11 - Diane (hr) #12 - Bob (hr) #21 - Emma …

7 months, 3 weeks назад @ antonz.ru
Многозначительное многоточие в Python
Многозначительное многоточие в Python Многозначительное многоточие в Python

Не самая известная штука в Python — многоточие:Это рабочий код.

В питоне ... (он же Ellipsis ) — реальный объект, который можно использовать в коде.

Ellipsis — единственный экземпляр типа EllipsisType (аналогично тому, как None — единственный экземпляр типа NoneType ):Авторы Python в основном используют ... , чтобы показать, что у типа, метода или функции отсутствует реализация — как в примере с fly() .

И в тайп-хинтах:

9 months, 3 weeks назад @ antonz.ru
Летающая свинья, или протоколы в Python
Летающая свинья, или протоколы в Python Летающая свинья, или протоколы в Python

Допустим, вы написали утилиту, которая отправляет что угодно в полет:Ну, то есть не прям все что угодно.

Очень удобно — одной функцией запускаем и голубя Френка, и самолет, и даже Супермена:Не то чтобы наши герои особо успешно справлялись с задачей, но запуск на них работает.

Дать понять, что параметр thing в launch() — это не любой объект, а обязательно летающая хреновина с методом fly() .

Если вы привыкли избегать типов, то обойдетесь именем переменной или комментарием к функции:Почему бы и нет.

Беда в том, что чем сложнее код, тем чаще сбоит «описательный» подход.

9 months, 3 weeks назад @ antonz.ru